科学的に正しい分子設計が可能な化学特化AI推論モデル「ether0」登場、既存の言語モデルに強化学習を施して人間や既存AIを上回る性能を発揮

以下のグラフはether0を含む複数のAIモデルや人間に化学に関する問題を解かせた際の正答率を示しています。グラフの中央から左側が自由記述形式の問題、右側が選択式問題の正答率を示しています。グラフを見ると、自由記述形式の問題ではether0が人間や他のAIモデルを圧倒する成績を残していることが分かります。

また、ether0は質問に対する直接的な回答に至るまでの思考内容も出力可能で、その内容は科学的に説得力のあるものだったとのこと。

FutureHouseのCEOを務めるSam Rodriques氏はether0の注目すべき点として「特化型モデルと比べて効率的な学習が可能」という特徴を挙げています。以下のグラフは横軸が学習の進行度、縦軸が正答率を示しており、ether0が早い段階から高い精度を備えられていることが分かります。

ただし、ether0はあくまでプロトタイプモデルであり、「分子に関する問題以外では性能が低下する」「学習データの影響から、一部のタスクでは間違った回答を出力する」といった問題があるとのこと。それでも、Rodriques氏は「今回の研究のは、適切な学習データさえあれば、言語モデルが科学的課題において非常に効率的に超人的なパフォーマンスを発揮できることを示した概念実証と言える」とアピールしています。

ether0のモデルデータは以下のリンク先で配布されています。

futurehouse/ether0 · Hugging Face

また、以下のページでether0の動作を試すこともできます。

ether0 Chemical Reasoner