这项由复旦大学、浙江大学与上海期绥智风公司联合开展的研究，以预印本形式发布于2026年6月23日，论文编号为arXiv:2606.24526v1，有兴趣深入了解的读者可通过该编号查询完整论文。

假设你是一家跨国公司的财务分析师，老板今天早上把一个装满文件的硬盘扔给你，里面有将近一万份报告、表格、年鉴和合同，格式各异，语言混杂，日期标注方式也五花八门。老板只问了你一句话："把这里面有用的数字给我找出来，算一个结果。"你手里没有万能搜索引擎，只能靠自己逐步翻查。这件事，对人类来说已经够难了——而研究团队想知道的是，那些号称无所不知的大型语言模型，在这种情况下到底能不能胜任？

这正是AGORA这套测试体系的出发点。AGORA是"Archive-GroundedOfficeReasoningAssessment"的缩写，翻译过来就是"基于档案库的办公室推理能力评估"。它不是在考模型背了多少知识，而是在考模型能不能像一个真正的职场老手那样，在一堆乱糟糟的真实文件里翻找线索、理清矛盾、最终算出一个准确答案。

在正式展开之前，有必要先解释一下为什么要做这件事。过去几年，大型语言模型的发展速度惊人，从ChatGPT到各类国产模型，它们在标准考题、代码生成、文章写作上的表现越来越亮眼。但研究团队注意到一个问题：企业真正需要AI帮忙做的事情，往往不是回答"谁发明了电灯"这类可以直接从训练数据里调取答案的问题，而是在自家内部档案里翻出几份相互关联的报告，把里面的数字对齐、换算、综合，最终给出一个能用于决策的结论。这类能力，现有的测试体系几乎没有覆盖到。

一、为什么现有的AI考题还不够用

现在市面上已经有不少针对AI的测试体系，但研究团队发现它们大多各有缺陷。打个比方，现有的测试就像是在考一个厨师能不能背出标准食谱——但企业真正需要的，是一个能在冰箱只剩一堆零散食材的情况下，自己想办法烧出一桌好菜的厨师。

以多跳问答测试为例，这类测试要求AI综合多条信息才能得出答案，但它们用的素材几乎清一色是维基百科的文章——格式统一、内容可靠、来源单一。真实职场里的文件哪有这么规整？一份政府统计年鉴可能用农历纪年，一份企业财报可能用财年而非自然年，一份合同可能用英文，配套的附件却是日文表格，而且同一个指标在不同文件里的单位和定义都可能不一样。

另一类测试，比如专门考验AI在网络上搜索和浏览信息能力的GAIA和BrowseComp，虽然更接近真实任务，却走向了另一个极端——它们考的是在整个开放互联网上找信息的能力，而不是在一个固定的、封闭的企业内部档案库里工作。这两件事在本质上是不同的：前者需要判断哪个网页可信，后者需要在已知的文件集合里精确定位。

最接近AGORA设计思路的是一个叫做OfficeQAPro的测试，它把检索和计算结合起来，要求AI在一个大型企业风格的文档库里工作。然而，这个测试的所有文件都来自同一个来源——美国财政部的通知公告——这意味着AI只要摸清了这一类文件的特点，就能占据相当大的优势，并不能真正说明它在其他类型文件上的表现。

AGORA想做的，就是把这三个方向都纳进来：真实的档案库、必须主动探索而非被动接受信息、同时覆盖多个完全不同的专业领域。只有这样，才能真正考验一个AI模型是否具备在职场中独立工作的能力。

二、这套"大考"究竟考什么，文件库有多大

AGORA的核心设计是这样的：给AI一个包含大量真实文件的文件夹，然后提出一个问题，要求AI自己在这个文件夹里翻找、推理、计算，最后给出一个精确的数字答案。

整个测试覆盖八个专业领域，包括农业与能源、建筑与房地产、商业管理、教育与学术、金融经济、医疗健康、法律，以及技术与制造。每个领域都有自己独立的文件库，合计收录了9664份真实职场文件，总字符数约达3.72亿。

这个规模意味着什么？目前市面上最强大的AI模型，一次能"看"的文字大概是几十万到几百万字，也就是说，即便是最顶尖的模型，对着一个领域的文件库，也根本没办法把所有文件全部读完再回答问题。它必须学会像一个经验丰富的档案员那样，先判断哪些文件可能有用，再有针对性地深入阅读，而不是漫无目的地把所有东西都扫一遍。这种"有策略地探索"的能力，正是AGORA想考察的核心技能之一。

测试中一共有362道题目，每道题都有且只有一个精确的数字答案，而且必须来自文件库内部，不能依赖模型之前学到的背景知识。这样设计的好处是显而易见的：不需要人工评判答案好不好，直接比对数字对不对就行了，评价结果客观、可重复，不受评判者主观判断的影响。

每道题的设计都要求AI跨越多份文件来收集证据。也就是说，答案不会出现在某一份文件里，而是需要从文件A里取一个数字，再从文件B里取另一个数字，然后还要处理这两份文件在时间单位或货币单位上的差异，最后才能完成计算。这对AI来说，既是信息检索的挑战，也是逻辑推理的考验。

三、这些文件是怎么收集和整理的

研究团队构建AGORA的过程本身就是一项相当精细的工程，可以分成三个大的阶段来理解。

第一个阶段是收集和整理文件。研究人员从官方的职业分类系统出发，提炼出八个主要专业领域，然后让一个自动化的深度搜索程序去网络上检索相关的公开文件，人工核验后下载存档。这些文件涵盖PDF、Markdown文本、Excel表格和CSV数据表四种格式，每种格式都按照专门的规则进行切分处理，最终统一转换成纯文本格式。PDF文件每五页合并成一个片段，文本文件按8000个词元的滑动窗口切割，Excel和CSV文件则被提炼为包含列名、数据类型、统计摘要和样本行的紧凑表格描述。切分完成后，系统对每个片段打了一个"信息密度分数"，优先保留那些充满数字、表格和时间序列数据的片段，剔除目录页、标题页这类没有实质内容的碎片。每个领域最终保留分数最高的100个片段作为出题的种子材料。

第二个阶段是出题。这个过程本身就用到了AI。一个专门的AI程序拿到种子片段之后，会主动在文件库里搜索相关的其他片段，找到跨越多个文件的关联事实，然后起草一道问题，同时给出参考推理路径和验证代码。起草完成之后，还要经过两道加工工序。第一道叫做"精炼"，目的是确保问题表述清晰、没有歧义、回答路径合理；第二道叫做"混淆处理"，目的是防止作弊。

说到"混淆处理"，这是一个非常有意思的设计。研究团队发现，如果问题里直接提到了关键实体的名字，AI只需要两步搜索就能找到答案，这就失去了考察"在茫茫文件海洋里主动探索"能力的意义。于是，他们专门设计了一套测试程序，检测问题里是否存在"词汇泄露"（题目里的词直接指向答案文件）和"结构泄露"（题目直接说出了本该由AI自己推断出来的实体）。一旦发现泄露，就把相关的实体名称或关键词替换成角色描述或等价表达，比如把某家具体公司的名字替换成"持仓报告中排名最高的一篮子股票里规模最大的上游动物蛋白集团"这样的迂回表述。这样一来，AI就不得不真正去理解文件内容、自己推断出具体指的是哪家公司，而不是靠关键词直接搜到答案。

第三个阶段是质量控制。每道题都要经过多重筛查。首先，把题目以"闭卷"方式交给DeepSeek-V4-Pro，如果这个模型不看文件就能答对，说明答案可以从它的训练数据里直接调取，这道题就会被淘汰——因为AGORA考的是在文件库里找答案的能力，而不是考知识储备。接着，把题目交给三个模型组成的评审小组（GPT-5.5、DeepSeek-V4-Flash和DeepSeek-V4-Pro），如果三个模型都答对了，说明题目太简单，同样淘汰。然后，用一个代码模型在两种条件下分别解题——一次只给问题，一次给问题加参考推理路径——来验证题目是否有唯一正确答案、推理路径是否合理。最后，还要经过人工标注员的逐题审核。经过这一系列关卡，最终保留了362道题。

四、八个领域的"考卷"长什么样

通过AppendixE中的示例题目，可以非常直观地感受到AGORA的难度和复杂程度。

农业与能源领域的一道题，要求AI扮演一个投资组合分析师，先在德国可再生能源监管数据里按照特定条件筛选出符合要求的技术类别行，再从三份不同的政府简报中提取投资数据，计算两种增长率的均值，最后用百分点表示差值，精确到小数点后两位。

建筑与房地产领域的题目则更加曲折：要求AI在日本住房调查报告里找到特定的受访者选择项，再在英国国家住房调查的估值报告里找到另一个指标，然后把两个数字做除法，结果精确到小数点后三位。

法律领域的题目里，AI需要在英格兰和威尔士的殡葬改革项目文件里找出公众意见征集窗口的开始和结束日期以及收到的提交件总数，还要在法国法定法典摘录页面里找出满足特定条件的法典，计算每份法典两个日期戳之间的有符号日历天数差值，然后用这些数字经过一系列运算得出最终答案。

这些题目的共同特点是：答案藏在多份文件里，每份文件只提供一块拼图，而且各块拼图之间往往存在单位、定义或时间框架上的不一致，需要AI自己识别并处理这些不一致之后才能完成计算。

五、八个模型参加考试，结果如何

研究团队选择了八个当下主流的大型语言模型参加测试，其中既有商业闭源模型，也有开源或部分开源的模型，覆盖了当前性能梯队的不同层级。参加测试的模型分别是：GPT-5.5、Gemini-3.1-Pro、Gemini-3.1-Flash-Lite、DeepSeek-V4-Flash、DeepSeek-V4-Pro、GLM-5.1、Qwen3.5-35B-A3B以及Qwen3.5-9B。

所有模型都在同一套测试环境下运行。每道题的执行环境是一个完全隔离的沙盒，文件库以本地目录的形式挂载，没有任何网络访问权限。模型只有一个工具可以用：bash命令行。它可以用这个工具浏览目录结构、查看文件内容、搜索关键词、执行Python脚本做计算，但除此之外别无其他。每道题最多允许200轮交互，时间上限是3600秒，也就是一小时。如果模型在规定时间和轮次内没有输出一个格式正确的答案，这道题直接记为答错。

测试结果在整体上形成了一个非常清晰的两级分化格局。第一梯队的五个模型，准确率集中在40%到60%之间：Gemini-3.1-Pro以59.39%排名第一，GPT-5.5以54.70%位居其次，GLM-5.1以50.00%排名第三，DeepSeek-V4-Pro以45.86%位列第四，DeepSeek-V4-Flash以40.06%排在第五。第二梯队的三个模型则表现惨淡：Qwen3.5-35B-A3B只有11.33%，Gemini-3.1-Flash-Lite只有6.35%，Qwen3.5-9B只有3.04%。

两个梯队之间的差距高达28.73个百分点，远远超过同一梯队内部任意两个模型之间的差距。更令人注目的是，第二梯队的模型不是在某几个领域表现差——它们在几乎所有领域都接近了0%的地板。Qwen3.5-9B在八个领域中有五个的得分在3%以下，Gemini-3.1-Flash-Lite在八个领域中有六个的得分在7%以下。

六、分域成绩才是真正的照妖镜

总分排名只是故事的一半，更有意思的是各个领域的横向比较。

排名第一的Gemini-3.1-Pro在八个领域中拿下了五个第一，但它在金融与经济领域的得分只有41.03%——这个分数甚至低于它在其他领域的整体平均水平，而且在金融领域排名第四，输给了GLM-5.1（56.41%）、GPT-5.5（53.85%）和DeepSeek-V4-Pro（46.15%）。GPT-5.5在法律和技术领域排第一，却在商业管理领域只拿到38.00%，是五个第一梯队模型里商业领域得分最低的。DeepSeek-V4-Pro总分比GPT-5.5低了将近9个百分点，却在商业管理领域（42.00%）超过了GPT-5.5（38.00%）。

研究团队用了一个非常直观的方式来呈现这种分域差异：把每个模型在某个领域的得分，减去这个模型的总分，得到一个"残差"。正数表示这个模型在这个领域超出了自己的平均水平，负数表示低于平均水平。从这张图可以看出，难度在很大程度上不是某个领域本身的固有属性，而是某个模型与某个领域的特定组合决定的。商业领域对Gemini-3.1-Pro来说是强项（比均值高了13个百分点），对GPT-5.5来说却是弱项（比均值低了17个百分点）。金融领域对Gemini-3.1-Pro来说是软肋（比均值低了18个百分点），对GLM-5.1来说却是强项（比均值高了6个百分点）。

这个发现的实际意义在于：如果你只用一个领域的测试结果来评价AI模型的能力，你很可能会得出完全错误的排名。一个在金融领域排名第四的模型，在整体能力上实际上排名第一。只有跨越多个领域测试，才能得到一个更接近真实情况的全面评价。

七、答错的原因，比答错本身更值得关注

研究团队不只是统计了对错，还逐一分析了所有答错的案例，把失败原因归纳成五大类别。

第一类叫做"检查不完整"，也就是模型跳过了解题所需的某份关键文件，根本没有找到该找的证据。第二类叫做"证据识别错误"，也就是模型找到了正确的文件，但从里面提取了错误的数值——比如把错误的一列数据当成了正确的指标。第三类叫做"资源耗尽"，也就是模型把允许的轮次、时间或上下文窗口全用光了还没得出答案。第四类叫做"指令不遵从"，也就是模型忽视了题目里明确提出的某个计算要求。第五类叫做"幻觉"，也就是模型凭空捏造了答案，或者在推理过程中遗忘了之前已经找到的正确信息。

在第一梯队的五个模型中，前三类与证据相关的错误（检查不完整、证据识别错误、指令不遵从）是最主要的失败原因，说明这些模型的瓶颈在于如何在大量文件里准确定位和提取证据，而不是在推理和计算环节。幻觉问题在第一梯队中相对较小，没有超过12%。

但各个模型在"资源耗尽"这一项上的差异极为悬殊。GPT-5.5在所有失败原因里，资源耗尽排名第一，比例高达24.59%——这意味着这个模型经常在还没得出答案的时候就把可用资源用完了。DeepSeek-V4家族则完全是另一个极端，资源耗尽的比例不超过1.10%，说明这个系列的模型在探索过程中更加简洁高效。最夸张的是Gemini-3.1-Flash-Lite，资源耗尽的比例高达69.61%——它几乎在每一道题上都跑到时间或轮次耗尽才停下来，却得出不了正确答案，基本上相当于交了一份大量空白的试卷。

对于第二梯队的模型（Qwen3.5-9B和Qwen3.5-35B-A3B），幻觉问题上升为主要失败原因，比例约达40%。这说明这些较小的模型和第一梯队模型的差距，不主要来自计算能力，而来自它们在面对大量文件时无法保持"只说文件里有的内容"这种基本原则——它们更容易自己编造答案，而不是坦承没有找到足够的证据。

八、探索时间越长，越可能是迷路了

研究团队还专门分析了模型在每道题上花了多少轮交互才给出最终答案，以及这些轮次数与答题结果之间的关系。

在所有第一梯队模型中，可以观察到一个非常一致的规律：答对的题目，往往在交互轮次比较少的时候就给出了答案；而交互轮次越来越多、一直拖到接近上限的题目，几乎清一色是答错的。换句话说，如果一个模型在20到40轮内搞定了一道题，它很可能是找到了正确的路径，从容地完成了检索和计算；但如果它一直在探索，翻来覆去地搜索，却迟迟无法给出答案，那它很可能已经迷失在文件库里，只是在做无效的重复工作，而不是在接近答案。

这个发现对于理解AI在实际工作中的行为模式很有启发意义。在真实的职场环境里，当一个员工在同一件事情上反复折腾却毫无进展，通常意味着他需要换一种思路，而不是继续做同样的事情。AI模型在这个测试里表现出了同样的问题——它们缺乏"意识到自己已经走错路"并及时调整策略的能力。

归根结底，AGORA这套测试想说的是：让AI模型帮你在企业文件库里找证据、算数字，这件事目前还远未到可以放心交出去的程度。即便是当前全球性能最强的模型之一，也只能答对不到60%的题目。而且，同一个模型在不同专业领域的表现差异极大，你无法通过它在某一个领域的成绩来推断它在其他领域的可靠性。

这对于现实中已经开始把AI引入工作流程的企业和团队来说，是一个值得认真对待的警示。现在市场上很多AI工具宣传自己能在企业内部知识库里检索和推理，但这份测试告诉我们，"能做"和"做得准"之间还有相当大的距离。在那些需要精确答案的场合——比如财务核对、法规合规检查、医疗数据分析——盲目信任AI的输出结果，可能会带来真实的风险。

另一方面，这份研究也揭示了一个值得持续关注的方向：当前AI模型在"主动、有策略地探索大型文件库"这件事上还有明显的短板，特别是在跨文件对齐不一致的数据这个环节，以及在"知道何时该放弃当前路径、重新思考"这个判断上。这些方向的进步，才是让AI真正成为可信职场助手的关键所在。

如果你对这个话题感兴趣，不妨思考一个延伸问题：假如给AI模型配备更强大的工具（比如专门的表格处理插件或领域专属的搜索引擎），它的表现会有多大提升？目前AGORA的设计故意只给了模型一个bash命令行工具，就是为了把工具影响剥离出去，专注于评估模型本身的能力。下一步，更精细地研究不同工具配置对表现的影响，将会是这个领域的重要课题。有兴趣深入了解这项研究全貌的读者，可以通过arXiv编号2606.24526查阅完整论文。

Q&A

Q1：AGORA测试和其他AI能力测试有什么本质区别？

A：AGORA要求AI在一个固定的、封闭的真实文件库里主动探索和推理，而不是回答可以从训练数据里直接调取答案的问题，也不是在开放互联网上搜索。它同时覆盖八个专业领域，强调跨文件拼合证据、处理不一致数据，并要求给出精确数字答案，这三个要素组合在一起是现有测试体系没有同时覆盖到的。

Q2：为什么排名第一的Gemini-3.1-Pro在金融领域反而不如其他模型？

A：研究团队发现，难度在很大程度上是"模型与领域的组合"共同决定的，而不是某个领域本身固定更难。不同模型在训练数据构成、指令遵从方式和推理习惯上存在差异，这些差异会在不同类型的文件和问题上产生不同方向的影响，导致总分领先的模型在某些特定领域反而落后于其他模型。

Q3：AGORA测试中AI答错的最主要原因是什么？

A：对于性能较强的第一梯队模型，最主要的失败原因是三类与证据相关的问题：跳过了关键文件没有检查、找到了正确文件但提取了错误数值、以及忽略了题目里的某个具体计算要求。对于较小的第二梯队模型，幻觉问题更突出，这些模型更容易在没有找到足够证据的情况下自行编造答案。