机器之机杼剪部
跟着上个月 2025 连接生覆按的收场，最新的考研数学真题成为大谈话模子尤其是推理模子的「试真金不怕火场」，将进修它们的深度念念考才气。
业内曾有着这么一种共鸣：大谈话模子在翰墨水平上的推崇令东谈主印象深远，但说到数学就不甚令东谈主适意了。客岁一度火出圈的「9.9 与 9.11」比大小的问题，包括 GPT-4o 在内的许多大模子王人翻车了，直到深度推理模子出现后才从根蒂上改善了这一情状。
OpenAI 发布的 o1 模子在波及复杂和专科的数理问题方面推崇让东谈主印象深远，大模子在经过一定技艺仔细念念忖后，求教问题的才气和准确度大幅升迁，这种被称为推理侧 Scaling Law 的振奋照旧成为络续鼓舞大模子才气升迁的关节力量。在黄仁勋最新 CES 2025 的演讲中，他也把测试时（即推理）Scaling 描写为大模子发展的三条弧线之一。
不错看到，继 o1 之后，国内大模子厂商也连续推出了我方的深度推理模子，并在某些任务上有亮眼的推崇。数了一下技艺轴概况是这么的：
2024 年 11 月 21 日，深度求索团队发布 DeepSeek-r1 模子；
2024 年 11 月 28 日，阿里通义团队发布 QwQ 模子；
2024 年 12 月 16 日，月之暗面团队发布 Kimi-k1 模子；
2024 年 12 月 31 日，智谱 GLM 团队发布 GLM-Zero 模子；
2025 年 1 月 6 日，昆仑万维发布 Skywork-o1 模子。
行家也许会意思意思，这些深度推理模子的才气（尤其是数学推理才气）到底有多强，又是谁能拔得头筹呢？这时就需要一场公谈的尺度化覆按了。
清华 SuperBench 大模子测评团队（以下简称测评团队）为了全面评估这些模子在数学推理方面的才气，团结 2025 年考研数学（一、二、三）的试题，成心对以上各家深度推理模子进行了严格的评测。同期，为了确保评测的全面性，参与评测的还包括各家的旗舰基础模子。
这次遴选的 13 个模子具体如下：
从舍弃来看，统统模子中以平平分计，第又名是 OpenAI 的 GPT-o1模子，这亦然没什么有时的。第二名则是来自智谱的 GLM-Zero-Preview，它以三门数学平均 138.70 的收成仅次于 o1，成为国产大模子第一，且距第又名不到 3 分。第三名则是来自通义的 QwQ。
测试次序
在本次评测经过中，测评团队发现并非统统模子均提供 API 撑合手，且部分提供 API 工作的模子在输出本色长度超出一定截止时，会出现本色截断的情况。为确保评测责任的刚正性与准确性，测评团队决定谐和禁受各模子厂商的网页端进行测试操作。
在测试经过中，每谈题目均在寂然的对话窗口中进行，以此摈弃高下文信息对测试舍弃可能产生的侵犯。
鉴于部分模子输出存在一定不踏实性，为裁减由此激勉的分数波动，测评团队设定当归拢模子在三次测试中有两次及以上求教正确时，方将其纪录为正确谜底。
舍弃分析
接下来从测试总分、单张试卷分数、深度念念考模子 vs 基础模子三个方面来详备分析这次测评的舍弃。
总分
关于总分数，测评团队对三张试卷的分数进行乞降并计较平均值，按照分数落魄进行排序。舍弃如下图所示：
从图中不错看到，GPT-o1 仍然处于早先的地位，是独逐一个达到 140 分以上的模子，相较于排行末位的 GPT-4，分数上风高达 70 分。
位于第二梯队（130 分以上）的模子有 GLM-zero-preview 和 QwQ，辞别斩获 138.7 分和 137.0 分。
DeepSeek-r1-lite、Kimi-k1、Tiangong-o1-preview、DeepSeek-v3 则处于第三梯队（120 分以上）。
不错看出，期权交易深度念念考模子多数能够达到 120 + 的水平。这也彰显了深度念念考模子在处置数常识题方面的雄壮才气。
值得介意的是，曾于 2023 年位居榜首的基础模子 GPT-4，在本次测试中仅获 70.7 分，位列末席。这一舍弃标明，在往常一年（2024 年）中，谈话模子在数学推理规模的跳动权贵。
而另一方面，在枯竭深度念念考才气补助的情况下，仅凭逻辑推理才气，DeepSeek-v3 行动基础模子，照旧能够踏进第三梯队，这阐明基础模子和深度念念考模子之间的才气并非范畴分明。
单张试卷分析
为了更显明地展现大模子在各张试卷答题才气方面的推崇，测评团队对每张试卷的错题分散情况进行了深入分析。
在数学一的评测经过中，GPT-o1、GLM-zero-preview、QwQ、DeepSeek-r1-lite 四款模子的得分疏通。通过进一步领悟错题情况，测评团队发现统统模子均在第 20 题（12 分，波及曲面积分求解）以考取 21 题第二问（6 分，波及特征向量求解）上出现了造作。
在数学二的评测中，各模子的分数分散较为分散。经统计分析发现，第 3 题、第 5 题、第 7 题成为统统模子犯错的聚拢区域。具体错题分散情况如下图所示：
针对数学三的评测舍弃裸露，模子出错的重灾地主要聚拢在第 14 题、第 15 题、第 16 题、第 19 题。关系错题分散情况如下图所示：
概括上述各试卷错题的具体分析，咱们不错显明地看到，GPT-o1（暗影列所示）在共计 66 谈题目中，仅答错 3.5 谈题；而况 GPT-o1 答错的题目，其他模子亦多数存在造作，这裸露了 GPT-o1 现在依然是深度推理模子的天花板。
基础模子 vs 深度念念考模子
临了，为了全面深入地商量各模子厂商在深度念念考才气优化方面所得到的效果，测评团队对相应基础模子与深度念念考模子进行了精良对比分析。
需要阐明的是，此处对比并非意味着各深度念念考模子是基于对应基础模子所作念优化，其主要决策在于直不雅呈现各厂商在模子概括才气升迁方面的进展与奏凯。
关系对比舍弃如下图所示：
注：OpenAI 的基础模子禁受的是 GPT-4o。
通过对比分析，OpenAI 的深度念念考模子 GPT-o1 相较于基础模子 GPT-4o，升迁幅度最为权贵，达到 57.3 分。紧随自后的是阿里的 Qwen 模子和智谱的 GLM 模子，升迁幅度辞别为 47.0 分和 34.3 分。
另外，深度求索和月之暗面的升迁幅度相对较小，这主若是由于其基础模子本因素数较高。以深度求索为例，其基础模子 DeepSeek-v3 出手分数高达 120.3 分，在参评基础模子中位居榜首。
在本次测试中，测评团队考取推崇最为优异的基础模子 DeepSeek-v3 行动参照基准，进而对各厂商深度念念考模子的性能升迁情况进行评估，关统统据呈现如下图所示：
不错看出，OpenAI、智谱、阿里在深度念念考模子上的性能升迁作念了很大的优化，而 DeepSeek-v3 等其他模子在本项测试中的舍弃基本接近。
这些测试舍弃逐一看下来，咱们不错发现：固然 OpenAI 的 o1 在深度推理方面仍然是最强的，但国产推理大模子正在逐渐减轻与它的差距，这次智谱 GLM-zero-preview 和阿里 QwQ 的收成阐明了这小数。