SPEX 与 ProxySPEX：大规模识别 LLM 交互作用的算法框架

Berkeley AI Research 提出了 SPEX 和 ProxySPEX 算法框架，用于大规模识别驱动大语言模型决策的关键特征、数据和模型组件间的交互作用。SPEX 利用稀疏性和低度性，将交互发现重构为可解的稀疏恢复问题；ProxySPEX 则利用交互的层次性结构，能以约 10 倍更少的消融操作达到与 SPEX 相当的性能。这些方法在特征归因、数据归因和模型组件归因中实现了高效交互发现。