数据集概述

ما هو (هـل)؟

آخر معرض للإنسانية Center for AI Safety（CAIS） 与 Scale AI The data set of the multi-modical academic reasoning benchmarks, which was co- sponsored by nearly 1,000 leading scholars around the world. نُشرت في كانون الثاني/يناير 2026 في الطبيعة العادية.(Vol.649, pp. 11339-1146)، التي أدرجتها جامعة ستانفورد 2025 AI Index Report as a core new benchmarks for assessing AI forward capacity.

HLE تشمل 500 2 سؤال صعب● تشمل الرياضيات والفيزياء والكيمياء والبيولوجيا وعلوم الحاسوب والإنسانية والهندسة وما إلى ذلك. 100+ الانضباط المصنفكل المواضيع هي مشاكل الماجستير/المهن، التي لا يمكن الحصول عليها من خلال عمليات بحث بسيطة على الشبكة، وهي مقبولة عالمياً كاختبار نهاية النموذج الكبير.

Longhui Tech HLE Data Asset

قام فريق العلماء التابع لوكالة العلوم البيئية بتشييد خدمة كاملة للبيانات ذات المستوى العالي استناداً إلى دراسة متعمقة لجميع التخصصات HLE 100+:

المكتبة المصدر: 500 2 مجموعة بيانات كاملة (بما في ذلك الألقاب، والإجابات الموحدة، والمذيبات)
HLE 三期扩充题库000 1 عملية شراء دقيقة حسب الانضباط، تم التصديق عليها 16 مرة
تطوير البيانات التدريبية: مجموعات بيانات عالية الجودة من طراز SFT/RLHF بشأن تحسين نوعية البيانات استنادا إلى معايير مستوى الصحة
التقييمخدمات: قدرات التشخيص والتحليل على أساس مقياس الارتجاف

مؤشرات البيانات الأساسية

2,500

مجموع عدد المواضيع (الجمع العام)

+ التحفظات الخاصة التي تجمع ضد احتمال الاندماج

100+

النصوص التي يغطيها التقسيم الفرعي

الرياضيات/النظام المنسق/الهندسة/الإنسانيات والمجتمع

76%

Accurate Matching Threshold

24 في المائة من الاختيارات المتعددة + 10-14 في المائة من الوحدات المتعددة

3.6%

最终入选率

70,000+مجندون؟

عملية فحص متعددة المستويات

70,000+
مساهمات الخبراء العالمية

صعوبة الإدارة المحلية في الفرز
النموذج الأمامي ليس صحيحا

13,000 题
إمكانية الحصول على استعراض الخبراء

مراجعو خبراء مزدوجون
Suk/Bo/JD Review

2,500 题
最终入库

لم يكن معدل الاختيار سوى 3.6 في المائة، مع وجود مذيبات للخبراء (غير منطقية) ملحقة بكل موضوع

توزيع مجالات الدراسة

学科大类	题目占比	子领域数	典型子领域
الرياضيات	41.8%	8	الجمع والرسوم البيانية، والمسح الجيولوجي، والارتقاء والتحليل، والأجبرا، والنظرية الرياضية، والمنطق الرياضي، وإحصاءات الاحتمالات
人文社科	15.9%	9	اللغات، الأدب، التاريخ، القانون، الفلسفة واللوجيكية، الاقتصاد والمالية
تخصصات/مختلفة	14.5%	10	الوحوش والمائدة واللعب، الألغاز الرياضية، الموسيقى، الفيديو، ألعاب الفيديو، علوم الأرض
CS / AI	10.4%	3	النظريات والحساب، والبرمجة، وهندسة البرمجيات، والاستخبارات الاصطناعية والتعلم الآلات
物理学	9.3%	7	ميكانيكيين كلاسيكيين، نظرية ميدانية كمية وفيزياء الجسيمات، ميكانيكيات الكهرومغناطيسية، ميكانيكيات كمية
工程学	3.6%	9	الكهرباء والإلكترونيات والاتصالات والبصريات والميتالورجيات والنقل المدني والهندسة الحاسوبية
Biologyالصيدليات	2.3%	4	علم المنهجيات والسايتولوجيا، والإيكولوجيا والتطور، وعلم الأوبئة، والصحة العامة
الكيمياء	2.2%	4	الكيمياء العضوية والكمية والحسابية والفيزيائية الكيميائية والكيميائية الحيوية

أداء النموذج الرئيسي العالمي

时间	نماذج	معدل دقة الذكاء	里程碑
2025.01	GPT-4o / Claude 3.5	<3%	المعيار المنشئ، لم يتجاوز جميع النماذج 10 في المائة
2025.04	OpenAI o1	8.8%	当时最高分
2025.06	Kimi-Researcher	26.9%	أول راحة 25% من الجسم الذكي
2025.07	X-Masters (overturn)	32.1%	العطلة الأولى، 30%.
2025.07	Grok 4 Heavy	44.4%	مهرجانات متعددة الذكاء إلى الأمام
2025.12	GLM-4.7	> GPT-5.1	والنموذج الوطني هو أول نموذج للعكس.
2026.02	علي كوين	HLE-Verified	إصدار صيغة معدلة لتعزيز الطابع العلمي للتقييم

LANG Huitech HLE 3rd DDS Construction Program NEW

NEW

المكتبة المصدر

2,500 题 | تعددية اللغات + النص

مجموعة بيانات مفتوحة كاملة عن العنوان والإجابة الموحدة وحل الخبراء (الرسمية)، تغطي 100+ شعبة فرعية

NEW

HLE 三期扩充题库

1,000 题 | 图文

موزعة بدقة حسب الانضباط، مصدق عليها 16 مرة حسب نموذج الإنتاج الرئيسي للدولة (DeepSeek/Ki/GLM)، القاضي المعايرة المتوائمة مع النظام الرسمي

NEW

مجموعة بيانات التدريب على توفير الخدمات الصحية للجميع

定制规模 | 对话格式

بيانات عالية الجودة، من الصعب التعرض لها على أساس معايير الحد الأدنى من الانبعاثات، مع خطوط تعليل متعددة العجلات، من أجل تدريب محسن في النماذج الكبيرة

NEW

مجموعة بيانات الأفضلية ذات التردد العالي جدا

定制规模 | 对比格式

تطبيق عملية التدريب على الترددات العالية جدا/المكتب على أساس بيانات مواءمة الصعوبات في مستوى المرتفعات، والمقارنات الإيجابية/الدنيا

NEW

领域增强包

按学科定制 | الوحدات المتعددة

مجموعات بيانات عن انحرافات تخصصات محددة، بما في ذلك الرياضيات/الفيزياء/CS/كيمياء، مع مواضيع مجمّعة للتفسير البياني لدعم بناء نموذج مهيمن

NEW

خدمات التقييم النموذجية

التقييمتقارير | 诊断分析

تشخيص القدرة على وضع النماذج استنادا إلى المستوى الرفيع، وتحليلات قصيرة، وتوصيات لإجراء تحسينات محددة الهدف

مثال على العنوان النموذجي

الرياضيات، الهندسة والصيد

"Compute the reduced 12-th dimensional Spin bordism of the classifying space of the Lie group G2."

-أجسام صغيرة، بحث علمي

جيم - الاستراتيجية الدولية للمحاسبة - نظرية التعلم الحاسوبي

"Determine the VC dimension of the class H_{z-ones} = {h: X → {0,1}: |{x: h(x)=1}| = z} in terms of z and T."

VCV - Theory of Machine Learning

- حقول الكواتم المادية

"The product γ_{μν} γ_{μ₁...μₖ} γ^{μν} is proportional to γ_{μ₁...μₖ} in d dimensions. Find the proportionality factor."

فيزياء نظرية عالية الطاقة

الإنسانية - التاريخ واللغويات

"If the PIE root *kʷeys were inherited into English as an o-grade causative via Proto-West Germanic, what would the 3sg present verbal form of its reflex in Middle English be?"

المقارنة بين البلدان الأوروبية والبلدان الأوروبية: الخبرة في مجال الدكتوراة

HLE Core Values in Large Model Training

بيانات تدريبية عالية الجودة في الحالات الاستثنائية

(هول) طبيعياً "قابلية التعافي" الجواب غير متاح من خلال البحث البسيط على الشبكة ويشترط أن يفهم النموذج حقاً عملية التعليل، وصعوبة الموضوع يتم التحقق منها 16 مرة، ودقيقة الجواب واردة في النطاق النشط لـ "معدل الحق 6.25-50%" الذي هو المصدر المثالي للتدريب على الترددات العالية جداً/الترددات العالية جداً.

خرق سقف القاعدة

وقد أصبح المعيار التقليدي (MMLU، إلخ) مشبعة (معدل دقة قدره 90 في المائة) وفقدت التمييز، ويحتفظ المركز بتحدي نموذج خط المواجهة من خلال تحديث ديناميكية للاختبار الخاص + آلية الكشف عن المواد الكيميائية الكنارية + HLE-Rolling، التي تعد قاعدة مرجعية هامة لقياس " المعلومات الاستخبارية الحقيقية " .

مراقبة القدرات المتعددة الأبعاد

100+Scientific coverage makes HLE a natural capacity diagnostic tool - a short panel that can accurately detect the dimensions of the model in mathematical reasoning, knowledge breadth, cross-modular integration, calibration capacity, etc., and directs orientation optimization.

ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر - ستة عشر -

فريق التقييم القصير؟

Dataset Overview

What is HLE?

Humanity's Last Exam (HLE) is a multi-modal academic reasoning benchmark co-developed by the Center for AI Safety (CAIS) and Scale AI, with contributions from nearly 1,000 subject-matter experts across 50+ countries. Published in Nature (Vol.649, pp.1139-1146, January 2026) and recognized by Stanford's 2025 AI Index Report as a key benchmark for frontier AI capabilities.

HLE comprises 2,500 challenging questions spanning 100+ academic disciplines — from advanced mathematics to medieval literature. Every question is graduate-level or above, with answers intentionally unsearchable via the web, making it the definitive "final exam" for frontier AI models.

Langhui's HLE Data Assets

Leveraging our AI+ Scientist team's deep research across all HLE disciplines, Langhui Technology offers a complete HLE data service ecosystem:

HLE Original Dataset: Complete 2,500-question set with answers and expert rationales
HLE Phase III Expanded Set: 1,000 precisely curated questions validated with 16-shot sampling
Training Data Development: High-quality SFT/RLHF datasets built to HLE standards
Evaluation Services: Model capability diagnosis and weakness analysis

Key Metrics

2,500

Public Questions

+ private held-out test set

100+

Academic Disciplines

STEM / Humanities / Engineering

~1,000

Expert Contributors

500+ institutions, 50+ countries

<10%

Initial Accuracy

All frontier models at launch

Rigorous Selection Pipeline

70,000+
Global Submissions

LLM Difficulty Filter
Models must fail

13,000 Passed
Enter expert review

Dual-Round Review
Graduate-level reviewers

2,500 Finalized
3.6% acceptance rate

Discipline Distribution

Category	Share	Subtopics	Example Fields
Mathematics	41.8%	8	Combinatorics, Geometry & Topology, Analysis, Algebra, Number Theory
Humanities / SS	15.9%	9	Linguistics, Literature, History, Law, Philosophy, Economics
Other / Interdisc.	14.5%	10	Board Games, Math Puzzles, Music, Film, Video Games, Earth Science
CS / AI	10.4%	3	Algorithms & Theory, Programming & Software Engineering, AI & ML
Physics	9.3%	7	Classical Mechanics, QFT & Particle Physics, E&M, Quantum Mechanics
Engineering	3.6%	9	Electrical, Communications, Optical, Manufacturing, Civil
Bio / Medicine	2.3%	4	Molecular & Cell Biology, Ecology & Evolution, Epidemiology
Chemistry	2.2%	4	Organic, Quantum & Computational, Physical, Biochemistry

Model Performance on HLE

Date	Model	Accuracy	Milestone
2025.01	GPT-4o / Claude 3.5	<3%	All models below 10% at launch
2025.04	OpenAI o1	8.8%	Highest at the time
2025.06	Kimi-Researcher	26.9%	First agent system above 25%
2025.07	X-Masters (SJTU)	32.1%	First above 30%
2025.07	Grok 4 Heavy	44.4%	Multi-agent variant leading
2026.02	Alibaba Qwen	HLE-Verified	Corrected version published

Sample Questions

Mathematics · Geometry & Topology

"Compute the reduced 12-th dimensional Spin bordism of the classifying space of the Lie group G2."

Differential topology · PhD-level research

CS/AI · Computational Learning Theory

"Determine the VC dimension of H_{z-ones} in terms of z and T."

VC dimension · ML theory foundation

Physics · QFT & Particle Physics

"The product of antisymmetrized gamma matrices is proportional to γ_{μ₁...μₖ}. Find the proportionality factor in d dimensions."

Spinor algebra · High-energy theory

Humanities · Historical Linguistics

"Trace the PIE root *kʷeys through Proto-West Germanic to its Middle English 3sg present verbal reflex."

Comparative IE linguistics · PhD-level

Value for LLM Training

High-Quality Hard Negatives

HLE questions are inherently unsearchable, requiring genuine reasoning. Difficulty is calibrated to the "sweet spot" (6.25%-50% accuracy), making them ideal hard negatives for contrastive learning and RLHF.

Ceiling Effect Breakthrough

With MMLU exceeding 90% saturation, HLE remains the only benchmark resisting ceiling effects. Private test set + Canary GUID + HLE-Rolling ensure enduring challenge.

Multi-Dimensional Diagnostic

100+ disciplines enable precise capability probing — identifying weakness in math reasoning, knowledge breadth, cross-modal integration, and model calibration.

Evaluate → Curate → Train → Verify

HLE diagnosis pinpoints weaknesses → targeted hard-example curation → SFT/RLHF training data construction → HLE private set re-evaluation. Transforming the "exam" into a "coach."

HLE Humanity'''s last Exam