Can Language Models Imagine Without Seeing? Ekphrasis: Measuring Visual Creative Ideation in Text-Only LLMs
Ekphrasis 是一个包含 400 个任务的基准，用于衡量纯文本语言模型的视觉创意构思（VCI），涵盖抽象、组合、变换和适应四个维度。它使用匿名成对比较和维度清单，通过 Bradley-Terry 模型聚合偏好，并利用类型化思想图将任务特定的流行陈词转化为新颖性参考。在 14 个语言模型上的评估表明，VCI 将有用性、表现力和新颖性分离，而非简化为流畅性。跨模态基础研究表明，文本级 VCI 排序在忠实渲染和盲图像级偏好判断下基本保持。
Development
- First ReportCan Language Models Imagine Without Seeing? Ekphrasis: Measuring Visual Creative Ideation in Text-Only LLMsarXiv cs.CL
- Current AssessmentEkphrasis 基准的出现表明，行业对纯文本语言模型的评估正从流畅性转向更细粒度的能力，如视觉创意构思。这可能会影响模型开发方向，促使模型在文本规划阶段就注重视觉可渲染性和新颖性。对于多模态模型，该基准可能成为评估文本到图像生成前规划能力的标准工具。下一步可观察：该基准是否被主流模型卡（如 GPT、Claude）采用，以及是否出现基于 VCI 的模型优化方法。Agent Pulse · analysis
Ekphrasis 基准旨在评估纯文本语言模型在图像生成前能否产生视觉概念。现有评估无法区分流畅的视觉散文与真正的视觉规划能力，模型可能重复视觉陈词或无法指定可渲染场景。Ekphrasis 定义了视觉创意构思（VCI），即产生有用、表现力强且新颖的文本视觉计划的能力。基准包含 400 个任务，涵盖抽象、组合、变换和适应。评分采用匿名成对比较和维度清单，通过 Bradley-Terry 模型聚合偏好，并使用类型化思想图将任务特定流行陈词转化为新颖性参考。在 14 个语言模型上的评估显示，VCI 将有用性、表现力和新颖性分离，而非简化为流畅性：强模型通过不同特征达到相似总分，有用的计划可能仍视觉陈词。跨模态基础研究表明，文本级 VCI 排序在忠实渲染和盲图像级偏好判断下基本保持，支持 Ekphrasis 作为视觉创意构思的度量。
Ekphrasis 引入的 VCI 评估框架将创意构思分解为有用性、表现力和新颖性三个维度，并通过类型化思想图将任务特定的流行陈词转化为新颖性参考，这为评估文本到图像生成前的视觉规划能力提供了可操作的方法。其使用 Bradley-Terry 模型聚合成对比较偏好，可能比传统评分更稳健。跨模态基础研究显示文本级 VCI 排序在渲染后仍保持，暗示文本规划能力与图像生成质量存在相关性。下一步可验证：VCI 分数是否与下游图像生成质量（如人类评分）一致，以及不同模型在 VCI 各维度上的差异是否可归因于特定训练数据或架构。
Ekphrasis 基准的出现表明，行业对纯文本语言模型的评估正从流畅性转向更细粒度的能力，如视觉创意构思。这可能会影响模型开发方向，促使模型在文本规划阶段就注重视觉可渲染性和新颖性。对于多模态模型，该基准可能成为评估文本到图像生成前规划能力的标准工具。下一步可观察：该基准是否被主流模型卡（如 GPT、Claude）采用，以及是否出现基于 VCI 的模型优化方法。
对于依赖文本到图像生成的业务（如设计、广告、内容创作），Ekphrasis 提供了一种评估模型视觉创意能力的方法，有助于选择或优化模型。对于模型提供商，VCI 分数可能成为差异化卖点。下一步可观察：是否有商业产品采用 VCI 作为质量指标，或模型提供商是否公开 VCI 分数。
Ekphrasis 可能推动文本到图像生成领域的发展，使模型在生成前就能产生更具体、新颖的视觉计划。未来可能出现基于 VCI 的模型训练目标或评估指标，并可能扩展到其他模态（如视频）。可验证信号：Ekphrasis 是否被后续研究引用，以及是否有模型在 VCI 上取得显著进步。