Ai2 发布 StateBench:评测语言模型长文档状态追踪能力
Ai2(allenai)发布 StateBench,一个面向长上下文状态追踪的基准测试,用于衡量语言模型在长文档中能否持续跟踪实体信息的变化。该基准按难度分为四级:r trivial(不可变赋值)、aperiodic(按值重新赋值)、soluble(自引用更新)和 general finite(按引用赋值),并要求同一底层问题在多种格式下测试。 在预训练模型测试中,团队使用了同为 70 亿参数的 Olmo 3(Transformer)与加入...