Mistral AI、科学推論評価で好成績　工学や天文学など6分野120課題のベンチマーク

画像: ulam.ai

結論（先に3行）

1. Mistral AIの「Mistral Large 4」が、科学推論を測るベンチマークで高い評価を得ました。2. 評価基準をまとめた監査スナップショットは、2026年10月14日に公開されました。3. 科学計算や高度な工学シミュレーションにAIを活用したい研究者や技術者が対象です。

研究機関のUlamは2026年10月14日、科学推論ベンチマーク「STEMBench」の監査スナップショットを公開しました。Mistral AIの基盤モデル「Mistral Large 4」が、工学と天文学の2分野で好成績を記録しています。

この評価は生物学、化学、物理学、天文学、地球科学、工学の6分野を対象にしています。各分野に20課題、合計で120課題が設定され、全10回の試行で1,200件の回答が採点されました。全試行を通じて最終目標を完全に達成したモデルは0件でした。

評価の採点は0から4の整数段階で行われ、途中経過の有用性も部分点として評価されます。あわせて、達成度や検証可能性、再現性などの項目を組み合わせた独自の指数で細かく点数化されます。各モデルには最大3回までの再試行が認められています。

自社の研究や開発で科学技術計算を進める人は、公開された60課題のテストセット「STEMBench-small」を使って自前で評価を行えます。難度の高い課題に対するモデルの推論進捗を段階ごとに把握しやすくなります。

ざっくり言うと、Mistral AIのモデルが、理系の難問テストで高い実力を示しました。

たとえるなら、大学院レベルの物理や天文学の演習問題を解かせたところ、完全な正答には届かなくても、途中の計算や解法の組み立てが高く評価された形です。正解か不正解かの二者択一ではなく、正解にどこまで近づけたかを細かく測る試験で好成績を残しました。

10回の試行すべてで満点解答が0件という結果には、筆者もさすがに驚きました。最先端のAIであっても、現実の科学課題を一発で解き切るのはまだまだ難しいのが実情です。

難問の壁。

ただ、途中のアプローチを正当に評価する枠組みが整った意義は大きいです。学術研究や製品開発にAIを組み込みたい人なら、単なる正答率の比較ではなく、推論の過程をどこまで信じられるかでモデルを選ぶことになりそうです。

今後は、公開された「STEMBench-small」の60課題に対し、各モデルがどれだけの部分点を積み上げられるかを見たいところです。

科学技術の検証にAIを活用している人は、工学や天文学の分野で精度の高い推論を進められるようになります。