Langhui

LangHuiAI · STEM Multimodal Benchmark

Biblioteca de modelos de dificultad universitaria

Pre-entrenamiento y evaluación de múltiples modelos modelo SOTA para GPT-5 / Claude Opus / Gemini / Qwen / DeepSeek

Está construido para filtrar "el conocimiento que realmente se necesita" - es sólo posible entrar en la biblioteca con una tasa del 40%.

30%
健康与医学
Patología / Imagen / Cardiotrón etc.
25%
技术与工程
Circuito / Equivalente de Oro / Mecánico
25%
自然科学
Ewing / Espectroscopia / Geología, etc.
20%
Matemáticas
Diagrama / Geometría / Popup, etc.
100%
Dependencia de Imagen Fuerte
El texto es inseparable.
Rollo trimestral
Update on an ongoing basis
Archivo de reevaluación

¿Por qué el modelo AI necesita una biblioteca así?

Panel corto real de modelos multimodulares

El modelo multimodular actual todavía tiene una tabla corta clara en el razonamiento de imagen, especialmente donde se necesita conocimiento en el campo de la experiencia para combinar el entendimiento visual. Una simple capacidad de "show-and-talk" no puede reemplazar la lógica de fondo imprimido implícita en la imagen.

Diferenciar los entendimientos. patrón que coincide

El diagrama de dificultad universitaria es una buena manera de distinguir entre la verdadera comprensión del modelo y el patrón. El tema requiere modelos que comprendan la información visual, el conocimiento científico y la lógica.

Criterios de entrada extremadamente estrictos

Cinco veces cada uno de los cinco modelos de nivel superior se ejecuta, y sólo dos veces se acepta un par de respuesta modelo (40% de tasa de paso) lo que significa que el título en la biblioteca representa "la frontera actual de la IA".

Una prueba de capacidad de investigación.

Una verdadera capacidad de razonamiento a nivel de investigación está disponible para estabilizar los modelos de estos temas, no sólo para probar el grupo de conocimientos, sino también para probar la integración y el profundo razonamiento de la información multimodular.

Cuatro disciplinas principales de STEM 32+ subáreas están completamente cubiertas

健康与医学 30%

Medicina clínica Diagnóstico Medicina básica Farmacología Salud pública rehabilitación
Identificación de secuencias patológicas (desorden de Dinastía del EH) Radiografía / TAC / interpretación de imágenes RM 12 El T.C.C.C.C. Conectónico es mal calculado. Daño por cuero/eye/oal reconocimiento de imagen clínica Desarrollo microbiológico e identificación de patógenos cromosomas de glándula Pregunta y respuesta de la función de la estructura anatómica Sangre de sangre / urén de la slag prueba interpretación Análisis de curvas protomáticas para el fármaco

技术与工程 25%

Electrónica mecánica y computadoras eléctricas Materiales civiles Ingeniería agrícola
Interpretación anotada de piezas mecánicas/conceptores de la escala Análisis funcional de electro-mapa y cálculo del parámetro Tipo de juicio de material de microimage de oro Análisis mecánico gráfico computación interna/twirl/morfo Análisis de la estabilidad del marco de control automático Reconocimiento y prevención de imágenes de enfermedades vegetales Análisis de algoritmos de estructura de datos (árboles/grafos/tapas) Termodinámica T-s/p-V Análisis de eficiencia

自然科学 25%

Biología — Química — Física — Ciencia de la Tierra y el Medio Ambiente
Análisis de resultados de gemografía/o trama occidental Reconocimiento estructural de microimage celular/organización NMR/IR/masa de la estructura molecular extrapolación Carto de circuito equivalente resistencia eléctrica/dirección de flujo Análisis de perfil geológico/forma de columna Los espectros genéticos extrapolan patrones genéticos y probabilidades Análisis de movimiento de diagrama mecánico Cálculos de eficiencia del Fondo Europeo de Desarrollo Agrícola

Matemáticas 20%

Prioridad geométrica . Matemáticas combinadas . Estadísticas de probabilidad .. Álgebra de expansión ..
Theoremic (Ola retorno road judgement/colour count) Simetría de patrón mezclado/a Extrapolación de datos en gráficos estadísticos (línea de recuadro/captura) La naturaleza del mapeo del espacio/curvatura Extrapolación de forma 3D de tres vistas/show Análisis de las propiedades de las líneas de coordenadas curvas/curve funciones Ampliar diagrama 3d a cálculos de superficie Computación de ángulo geométrico complejo/área con líneas guía

Cinco modelos, cinco razonamientos, cinco monitorización de corrientes.

Cada tema está sujeto a una pregunta de un experto en campo, una doble revisión, una evaluación automatizada, una rigurosa selección de todo el proceso del repositorio, asegurando que sólo los problemas más difíciles estén en la línea delantera.

Cuestiones de expertos sobre el terreno

• Experto en el tema, Máster, 3 años de experiencia en enseñanza/rebusca, asegurando rigor académico y dependencia de imagen en cada tema.

Doble-Reviser

Cada tema es revisado independientemente por dos revisores, control cruzado para asegurar la corrección de la respuesta 95%, y las imágenes corresponden estrictamente a la lógica seca.

Automatización de la línea de flujo.

Se pidió a cinco megamodelos multimodulares de alto nivel que se evaluaran de la siguiente manera:

GPT-5.1 Claude Opus 4.6 Gemini-3.1-Pro Qwen3.6-Plus DeepSeek-V4

5 tasas de pase estadísticos

Cada modelo se llama cinco veces (temperatura = 0) independientemente para eliminar las fluctuaciones aleatorias. 5x5 = 25 resultados de razonamiento se agregan para calcular la tasa de pase global.

Cero por ciento.

Sólo un 40% de la tasa de pase (es decir, dos veces la respuesta para cada modelo). Un título que va más allá de este umbral significa que el modelo actual es estable y no tiene un valor de desafío de aspecto futuro.

Revisión trimestral de la rodadura y auto-arquive

Reprueba los temas introducidos en la biblioteca utilizando la última versión modelo trimestralmente. Si un sujeto se estabiliza por un nuevo modelo (tasa de paso > 60%), el archivo se reduce automáticamente para asegurar que el repositorio siga siendo un límite frontal.

Comparación estricta:Este criterio es al menos 2-3 veces más estricto que los criterios de selección para parámetros abiertos como MMU. Los parámetros como MMU generalmente requieren un solo modelo para deducir, mientras que hemos elevado significativamente el umbral de entrada utilizando un mecanismo de certificación transversal de cinco modelos x cinco-doctrea.

Cumplimiento y aislamiento

Cuarentena de evaluación y medición pública

No hay solapamiento con los siguientes 8 conjuntos de evaluación pública, asegurando el aislamiento mediante texto doble + imagen:

MMMUMMMU-ProMathVisionMathVista SeePhysDynaMathCMMMUScienceQA

Recarga interna y contenido Línea roja

El texto interno + la imagen es de doble hilo y los siguientes tipos de datos están estrictamente prohibidos:

Pantallas Texto/formula Imágenes decorativas Plantilla de datos de homogeneización Información de imagen Redundancia

Entrega de datos ..

Formato estándar: JSON Lines

Un registro completo de título por fila, que contiene texto de título, imagen (tamaño original + sastre estándar), respuestas estándar, pasos detallados de desprogramación. Compatible con el cargador de datos del marco de entrenamiento LLM principal.

API Caller

Admite la reducción de la par de datos completos, actualizaciones incrementales de suscripciones (nuevos títulos por semana/mes). Retful API+ de página interruptor, adaptado a líneas de entrenamiento automatizadas.

MetadatosAnotación

Cada dato se acompaña de metadatos completos: título ID / disciplina / subarea / dificultad / tamaño original de la imagen / formación de modelo recomendado tamaño / tipo de confianza / registro de revisión.

Infraestructura de datos para AGI

Vea el gráfico, vea el razonamiento.

Los modelos multimodulares están evolucionando desde "hablar" hasta "justificar crítico" y los diagramas de dificultad universitaria son el combustible clave que impulsa esta transformación.

4 University Section 32+ Subarea

La biblioteca cubre los cuatro campos principales de salud y medicina, tecnología e ingeniería, ciencias naturales y matemáticas, y simula escenarios de exámenes universitarios reales, que abarcan niveles de pregrado y posgrado.

Trimestralmente rodando barrios

Se añaden y revisan trimestralmente nuevos temas, se archiva automáticamente los temas obsoletos, se registran las capacidades de modelo de forma continua y se proporcionan datos fronterizos actualizados a los clientes.

Servicio de laboratorio de IA en todo el mundo

Los clientes incluyen los principales laboratorios de IA en todo el mundo, que se utilizan para la mejora de datos pre-entrenamiento, evaluación de competencias, aprendizaje de cursos (Aprendizaje de Currículum) y la promoción de la investigación en línea delantera de AGI.

Obtener directorio completo STEM y muestra de bibliotecas multimodulares

DataAsetsAPI continúa ampliando la Biblioteca STEM Multi-Modes para apoyar la entrega personalizada por disciplina, dificultad y problema. Contacte con nuestros especialistas en datos para obtener un catálogo completo, muestras de datos y citas.