Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects
arXiv 论文 2607.24645v1 提出 Feature-Effect Geometry Analysis (FEGA)，一种无监督框架，通过在不同上下文中移除相同的活跃 SAE 特征并分析 logit 变化云来研究特征干预引起的模型 logit 变化几何。研究发现跨 SAE 变体，一致的一维效应罕见，少数特征像可复用方向；区分了与静态信息相关的 value-like 特征和与上下文相关操作相关的 pointer-like 特征，value-like 特征更常表现出结构化低维效应。
Development
- First ReportSparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature EffectsarXiv cs.AI
- Current Assessment该研究可能影响可解释性工具的设计和使用，特别是基于 SAE 的模型编辑和 steering 方法。若 SAE 特征多数不是可复用方向，依赖单一特征干预的产品或研究需重新评估。区分 value-like 和 pointer-like 特征可能指导更可靠的特征选择，但当前框架仍处于研究阶段，实际应用需进一步验证。Agent Pulse · analysis
Sparse autoencoders (SAEs) 作为可解释性工具的大规模使用受限于 SAE 特征与模型行为之间不一致的联系。具有清晰激活描述的特征可能具有弱或意外的因果效应；steering 可能因提示而异或与预期方向相反；基于激活的特征选择可能遗漏产生所需输出变化的特征。先前工作研究了特征在模型内部（计算处）的几何，本文转而研究特征干预引起的模型 logit 变化的几何。作者引入 FEGA，一种无监督框架，在不同上下文中移除相同的活跃 SAE 特征，并分析由此产生的 logit 变化云。跨 SAE 变体，一致的一维效应罕见：少数特征像可复用方向。为解释这种变化，区分 value-like 特征（与静态信息如事实属性相关）和 pointer-like 特征（与上下文相关操作相关）。value-like 特征更常表现出结构化低维效应，尽管这些效应通常跨越多个方向。
FEGA 将可解释性分析从特征激活几何转向特征效应几何，通过跨上下文干预并观察 logit 变化云，提供更直接的行为关联。发现一致一维效应罕见，表明 SAE 特征作为可复用方向（如 steering vector）的假设在多数情况下不成立，这对基于 SAE 的干预方法构成挑战。value-like 与 pointer-like 的区分可能解释特征因果效应的变异性，但效应通常多维，需要更复杂的干预策略。
该研究可能影响可解释性工具的设计和使用，特别是基于 SAE 的模型编辑和 steering 方法。若 SAE 特征多数不是可复用方向，依赖单一特征干预的产品或研究需重新评估。区分 value-like 和 pointer-like 特征可能指导更可靠的特征选择，但当前框架仍处于研究阶段，实际应用需进一步验证。
对依赖模型可解释性的企业，如提供模型审计或安全服务的公司，该研究可能提供更可靠的特征-行为关联方法，但当前为早期研究，商业价值需在更多场景验证。
后续可验证信号包括：FEGA 是否被应用于更大模型或更多 SAE 变体；是否出现基于效应几何的特征选择或干预方法；value-like 与 pointer-like 分类是否被其他研究采用或扩展。