数据集概述
什么是 HLE？
Humanity's Last Exam（HLE）是由 Center for AI Safety（CAIS） 与 Scale AI 联合发起、全球近 1,000 名顶尖学者共同构建的多模态学术推理基准数据集。该基准于 2026年1月发表于 Nature 正刊（Vol.649, pp.1139-1146），被斯坦福大学《2025 AI Index Report》列为评估 AI 前沿能力的核心新基准。
HLE 包含 2,500 道高难度试题，覆盖数学、物理、化学、生物、计算机科学、人文社科、工程学等 100+ 细分学科，所有题目均为硕士/博士以上难度，答案无法通过简单网络搜索获取，是全球公认的"大模型终极考卷"。
朗慧科技 HLE 数据资产
朗慧科技 AI+科学家团队基于对 HLE 全部 100+ 学科的深度研究，构建了完整的 HLE 数据服务体系：
- HLE 原始题库：2,500 题完整数据集（含题目、标准答案、解题理据）
- HLE 三期扩充题库：1,000 题按学科分布精确采购，经 16 次采样验证
- 训练数据开发：基于 HLE 标准的高质量 SFT/RLHF 微调数据集
- 评测服务：基于 HLE 口径的模型能力诊断与短板分析
核心数据指标
严格的多级筛选流程
全球专家投稿
前沿模型无法答对
进入专家评审
硕/博/JD 评审
最终入库
入选率仅 3.6%，每道题均附带专家解题理据（rationale）
学科领域分布
| 学科大类 | 题目占比 | 子领域数 |
|---|---|---|
| 数学 | 41.8% | 8 |
| 人文社科 | 15.9% | 9 |
| 跨学科/其他 | 14.5% | 10 |
| CS / AI | 10.4% | 3 |
| 物理学 | 9.3% | 7 |
| 工程学 | 3.6% | 9 |
| 生物医药 | 2.3% | 4 |
| 化学 | 2.2% | 4 |
全球主流模型 HLE 表现
| 时间 | 模型 | HLE 准确率 |
|---|---|---|
| 2025.01 | GPT-4o / Claude 3.5 | <3% |
| 2025.04 | OpenAI o1 | 8.8% |
| 2025.06 | Kimi-Researcher | 26.9% |
| 2025.07 | X-Masters (上交大) | 32.1% |
| 2025.07 | Grok 4 Heavy | 44.4% |
| 2025.12 | GLM-4.7 | > GPT-5.1 |
| 2026.02 | 阿里 Qwen | HLE-Verified |
朗慧科技 HLE 三期数据集建设方案 NEW
完整 HLE 公开数据集，含题目、标准答案与专家解题理据（rationale），覆盖 100+ 细分学科
按学科精确分布采购，经 16 次国产头部模型采样验证（DeepSeek/Kimi/GLM），Judge 口径与官方对齐
基于 HLE 标准的高质量难例 SFT 数据，含多轮推理思维链，适用于大模型微调训练
基于 HLE 难度的偏好对齐数据，覆盖正例/负例对比，适用 RLHF/DPO 训练流程
数学/物理/CS/化学等特定学科深度数据集，含图文联合推理题目，支撑垂域模型建设
基于 HLE 官方口径的模型能力评测诊断，含短板分析报告与针对性改进建议
典型题目示例
"Compute the reduced 12-th dimensional Spin bordism of the classifying space of the Lie group G2."
"Determine the VC dimension of the class H_{z-ones} = {h: X → {0,1}: |{x: h(x)=1}| = z} in terms of z and T."
"The product γ_{μν} γ_{μ₁...μₖ} γ^{μν} is proportional to γ_{μ₁...μₖ} in d dimensions. Find the proportionality factor."
"If the PIE root *kʷeys were inherited into English as an o-grade causative via Proto-West Germanic, what would the 3sg present verbal form of its reflex in Middle English be?"
HLE 在大模型训练中的核心价值
高质量难例训练数据
HLE 题目天然具备"反检索性"——答案无法通过简单网络搜索获取，要求模型真正理解推理过程。题目难度经 16 次采样验证，精准控制在"正确率 6.25%-50%"的有效区间，是 RLHF/DPO 训练的理想难例来源。
基准天花板突破
传统基准（MMLU 等）已趋于饱和（准确率 >90%），丧失区分度。HLE 通过私有测试集 + Canary GUID 防泄密机制 + HLE-Rolling 动态更新，持续保持对前沿模型的挑战性，是衡量"真·专家级智能"的唯一有效标尺。
多维度能力探针
100+ 学科覆盖使 HLE 成为天然的能力诊断工具——可精确探测模型在数学推理、知识广度、跨模态整合、校准能力等维度的短板，指导定向优化。
评-筛-训-验 闭环
HLE 评测定位短板 → 针对性采集难例 → 构造 SFT/RLHF 训练数据 → HLE 私有集复测验证提升。将"考卷"转化为"教练"，实现数据驱动的模型迭代。