代码审阅与调试
Python/C++/Java/JavaScript多语言Bug定位与修正。
证据:HumanEval+ GPT-4o 仅 48.1%。
朗慧AI STEM-Questions · 学科中心
专为SOTA多模态大模型打造。覆盖计算机科学、电子工程、机械工程、材料科学、土木工程和化学工程六大工程子领域,统一5模型×5轮通过率≤40%难度门槛。
技术与工程占题库总量25%,仅次于医学。工程类题目要求多模态大模型同时理解代码片段、工程图纸(CAD/电路图/数据流图)、数学公式和文本指令,是衡量模型"真实逻辑推理"能力的核心基准。朗慧AI工程题库覆盖6大子领域,重点攻克代码审阅与调试、CAD工程图读图、电路图分析、材料相图与应力-应变曲线判读等高价值工种场景。
Python/C++/Java/JavaScript多语言Bug定位与修正。
证据:HumanEval+ GPT-4o 仅 48.1%。
二叉树/BFS/DFS/动态规划图示推理题。
证据:LiveCodeBench v6 综合 38.0%。
UML类图/时序图/架构图推理,分布式系统一致性。
电阻网络/运放电路/滤波器/振荡器的传递函数与频响分析。
组合逻辑/时序逻辑/状态机/Verilog/VHDL代码理解。
傅里叶变换/拉普拉斯变换/卷积图示/频域分析。
三视图/剖视图/公差标注/表面粗糙度符号判读。
四杆机构/凸轮/齿轮系的运动分析与自由度计算。
铁碳相图/二元相图、金相显微组织识别。
应力-应变曲线判读、断裂力学、疲劳S-N曲线分析。
弯矩图/剪力图/影响线绘制与判读。
建筑平面/立面/剖面图解读、地形图等高线分析。
精馏塔/反应器/换热器/分离单元流程图解读。
相平衡图/焓-熵图、对流传热/传质计算。
| 难度 | 学段 | 占比 | 典型题型 |
|---|---|---|---|
| L1 大学低年级 | 大一大二(基础课) | 12% | 基础代码阅读/简单电路分析 |
| L2 大学高年级 | 大三大四(专业课) | 48% | 数据结构图示/电路图+信号分析/CAD图纸 |
| L3 专业资格 | 注册工程师级别 | 30% | 多图+多步骤推导+开放式设计 |
| L4 研究生/研究 | 前沿研究方向 | 10% | 论文级推导+复杂系统建模 |
题干:以下Python递归函数用于计算斐波那契数列第n项,请找出2处Bug并给出修复代码。def fib(n): return fib(n-1)+fib(n-2); print(fib(5))
答案:Bug1:缺少base case(n<=1时返回n);Bug2:缺少n为负数的处理。
5模型评测
题干:附Sallen-Key二阶有源低通滤波器电路图(R1=R2=10kΩ,C1=100nF,C2=47nF)。求截止频率f_c和品质因数Q,并判断滤波器类型(Butterworth/Chebyshev/Bessel)。
答案:f_c≈1/(2π√(R1R2C1C2))≈237Hz;Q=√(C1/C2)/(R1/R2+1)≈0.73。Q≈0.73<0.707→非Butterworth,接近Bessel(Q≈0.577)。
5模型评测
题干:附Fe-Fe3C二元相图(局部)。0.77wt%C的钢从奥氏体区缓慢冷却至室温。请描述其最终室温组织及各组织的相对含量。
答案:最终组织为珠光体(100%)。珠光体由α-Fe铁素体(88.7%)和Fe3C渗碳体(11.3%)的层片状交替排列组成。
5模型评测
JSONL批量下载:完整字段+图片URL+5模型评测+推理链。
REST API:GET /DataAssetsAPI/stem-questions/engineering。企业API Key请联系 lk@langhuiai.com。
6大子领域:计算机科学、电子工程、机械工程、材料科学、土木工程和化学工程。
5模型×5轮通过率≤40%(GPT-5.1/Claude Opus 4.6/Gemini-3.1-Pro/Qwen3.6-Plus/DeepSeek-V4),人类专家≥95%。
代码审阅与调试、电路图分析、CAD工程图读图、数据流图推理、材料相图与应力-应变曲线判读等。
无。经pHash+n-gram指纹去重,与MMLU/C-Eval/HumanEval等公开基准重合度<0.5%。
所有题目经双审制校验,含推理链验证。结构化数据来自权威工程手册标准。