Langhui

LangHuiAI · STEM Multimodal Benchmark

Bibliothèque modèle de difficulté universitaire

Pré-formation et évaluation de modèles de grande taille SOTA multiples pour GPT-5 / Claude Opus / Gemini / Qwen / DeepSeek

Il est construit pour filtrer « les connaissances qui sont vraiment nécessaires » -- il est seulement possible d'entrer dans la bibliothèque avec un taux de 40%.

30%
健康与医学
Pathologie / Image / Cardiotron etc.
25%
技术与工程
Circuit / mécanique / équivalent or
25%
自然科学
Ewing / Spectroscopie / Géologie, etc.
20%
Mathematics
Diagramme / Géométrie / Popup etc.
100%
强图像依赖
Le texte est indissociable.
季度滚动
持续更新
Réévaluer les archives

Pourquoi le modèle d'IA a-t-il besoin d'une telle bibliothèque?

Panneau court réel de modèles multimodulaires

Le modèle multimodulaire actuel a encore une courte image claire sur le raisonnement de l'image, surtout lorsque des connaissances dans le domaine de l'expertise sont nécessaires pour combiner la compréhension visuelle. Une simple capacité de « montrer et parler » ne peut pas remplacer la logique profondément ancrée implicite dans l'image.

Différentiate compréhensions. modèle correspondant

Le diagramme de difficulté universitaire est un bon moyen de distinguer entre la compréhension réelle du modèle et le modèle. Le thème exige des modèles qui comprennent l'information visuelle, les connaissances scientifiques et la logique.

Critères d'entrée extrêmement stricts

Cinq fois chacun des cinq modèles de haut niveau sont exécutés, et seulement deux fois une paire de réponses de modèle (40% de pass rate) est acceptée. Cela signifie que le titre dans la bibliothèque représente « la frontière actuelle de l'IA ».

Un test de capacité de recherche.

Une véritable capacité de raisonnement au niveau de la recherche est disponible pour stabiliser les modèles de ces sujets – non seulement pour tester le bassin de connaissances, mais aussi pour tester l'intégration et le raisonnement profond de l'information multimodulaire.

Quatre grandes disciplines de la STIM 32+ sous-domaines sont entièrement couverts

健康与医学 30%

Médecine clinique Diagnostic Médecine de base Pharmacologie Réadaptation des soins de santé publics
Identification pathologique des scripts (troubles de la dynamique de l'HE) Radiographie / CT / IRM 12 La C.C.C.C. conectonique est mal calculée. Dommages au cuir/réception de l'image clinique des yeux/des yeux Développement microbiologique et identification des pathogènes chromosomiques des glandes Questions et réponses de la fonction de structure anatomique Interprétation des analyses de scories/d'urines sanguines Analyse de courbe pharmacoprotomatique

技术与工程 25%

Electronique mécanique et informatique Matériaux civils Énergie Génie agricole
Interprétation annotée des pièces mécaniques/icônes de montage Analyse fonctionnelle et calcul des paramètres de l'électromap Type jugement de matériau de microimage or Calculs internes/twirl/morphiques du graphique d'analyse mécanique Analyse de stabilité du cadre de contrôle automatique Reconnaissance et prévention de l'image des maladies végétales Analyse de la structure des données (arbres/graphiques/pierres) Analyse de l'efficacité des figures T-s/p-V

自然科学 25%

Biologie — Chimie — Physique — Sciences de la Terre et de l'environnement
Gémographie/analyse des résultats du transfert ouest Microimage cellulaire/organisationnelle reconnaissance structurelle Structure moléculaire de l'extrapolation du spectre RMN/IR/masse Schéma de circuit équivalent résistance électrique/direction du flux Profil géologique/analyse de la forme de la colonne Les spectres génétiques extrapolent les modèles génétiques et les probabilités Analyse mécanique du mouvement des cartes Calculs de l'efficacité du FEC

Mathematics 20%

Priorité géométrique . Mathématiques combinées . Statistiques de probabilité .. algèbre d'exposition ..
Théorémie (jugement de retour sur route d'Ola/nombre de couleurs) Symétrie de motifs en défilement/mélange Extrapolation de données dans les graphiques statistiques (case ligne/distribution) Nature de la cartographie spatiale/courbure Extrapolation de la forme 3D à trois vues/présenter Analyse des propriétés des courbes des lignes de coordonnées/fonctions de courbure Élargir le graphique 3d aux calculs de surface Calcul de l'angle géométrique complexe/zone avec lignes directrices

Cinq modèles, cinq raisonnements, cinq surveillance des courants.

Chaque sujet fait l'objet d'une question d'un expert de terrain, d'une double révision, d'une évaluation automatisée, d'un examen rigoureux du dépôt en totalité, en veillant à ce que seuls les problèmes les plus difficiles soient en première ligne.

Questions d ' experts dans le domaine

• Expert en matière, Master, 3 ans d'expérience en enseignement/recherche, assurant la rigueur académique et la dépendance à l'image de chaque sujet.

Double-réviseur

Chaque sujet est examiné de façon indépendante par deux réviseurs, en recoupant les vérifications pour assurer l'exactitude de la réponse 95 %, et les images correspondent strictement à la logique sèche.

Automatisation de la ligne de débit.

Cinq mégamodèles multimodulaires de premier niveau ont été demandés pour l'évaluation comme suit :

GPT-5.1 Claude Opus 4.6 Gemini-3.1-Pro Qwen3.6-Plus DeepSeek-V4

5 taux de réussite statistique

Chaque modèle est appelé cinq fois (température = 0) indépendamment pour éliminer les fluctuations aléatoires. 5x5 = 25 résultats de raisonnement sont agrégés pour calculer le taux de passage global.

Zéro pour cent, seuil d'entrée strict.

Un titre qui dépasse ce seuil signifie que le modèle actuel est stable et n'a aucune valeur de défi prospective.

Revue trimestrielle et auto-archive

Revérifier les sujets entrés dans la bibliothèque en utilisant la dernière version du modèle sur une base trimestrielle. Si un sujet est stabilisé par un nouveau modèle (pass rate > 60%), l'archive est automatiquement dégradée pour s'assurer que le dépôt reste une limite frontale.

Comparaison stricte:Ce critère est au moins 2-3 fois plus rigoureux que les critères de sélection pour les repères ouverts comme l'UME. Les repères comme l'UME ne nécessitent habituellement qu'un seul modèle pour en déduire, alors que nous avons considérablement augmenté le seuil d'entrée en utilisant un mécanisme de certification croisée cinq modèles x cinqdoctractions.

Respect et isolement Aucune protection recoupant

Évaluation publique et quarantaine de mesure

Il n'y a pas de chevauchement avec les 8 ensembles d'évaluation publics suivants, assurant l'isolement par double couplage texte + image:

MMMUMMMU-ProMathVisionMathVista SeePhysDynaMathCMMMUScienceQA

Recharge interne et contenu Ligne rouge

Texte interne + image est double-lourd et les types de données suivants sont strictement interdits:

Capture d'écran texte/formule 装饰性图像 Modèle de données homogénéisantes Info image Redondance

Livraison de données ..Production d'entrées

Format standard : Lignes JSON

Un enregistrement de titre complet par ligne, contenant le texte de titre, l'image (taille originale + taille standard), les réponses standard, les étapes de déprogrammation détaillées. Compatible avec le chargeur de données du cadre de formation LLM général.

Appeler API

Prise en charge du retrait par lots de données complètes, mises à jour progressives des abonnements (nouveaux titres par semaine/mois). ResTful API+ disjoncteur de page, adapté aux lignes de formation automatisées.

MetadataAnnotation

Chaque donnée est accompagnée de métadonnées complètes : titre ID / discipline / sous-zone / difficulté / taille d'image originale / formation du modèle taille recommandée / type de référence / révision enregistrement.

Infrastructure de données pour l'AGI

Voir le graphique, voir le raisonnement.

Les modèles multimodulaires évoluent de « parler » à « raisonnement critique » et les diagrammes de difficulté universitaire sont le principal moteur de cette transformation.

4 Sous-zone de la section 32+ de l'université

La bibliothèque couvre les quatre principaux domaines de la santé et de la médecine, de la technologie et du génie, des sciences naturelles et des mathématiques, et simule de véritables scénarios d'examen universitaire, couvrant les niveaux de premier cycle et de troisième cycle.

Quartiers trimestriels

De nouveaux sujets sont ajoutés et examinés tous les trimestres, des sujets périmés sont automatiquement archivés, les capacités du modèle sont suivies de façon continue et des données à jour sur les frontières sont fournies aux clients.

Service le laboratoire de l'IA le plus haut dans le monde

Les clients comprennent les meilleurs laboratoires d'IA du monde, qui sont utilisés pour l'amélioration des données de pré-formation, l'évaluation des compétences, l'apprentissage des cours (apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de l'apprentissage de

Obtenez le répertoire complet STEM et l'échantillon de bibliothèques multimodulaires

DataAsetsAPI continue d'étendre la bibliothèque multimodalité STEM pour soutenir la livraison personnalisée par discipline, difficulté et problème. Contactez nos spécialistes de données pour obtenir un catalogue complet, des échantillons de données et des devis.