「世界最高のAIモデル」発表後に性能疑問の声広がる

2024年9月6日、ニューヨークのスタートアップ企業HyperWriteは、新しいオープンソース大規模言語モデル「Reflection 70B」を「世界最高のオープンソースモデル」として発表しました。

このモデルは、MetaのLlama 3.1の派生であり、先行研究に基づいた「Reflection Tuning」という技術を用いることで、数学や文章作成など多くのタスクでの精度向上が図られているとされました。

CEOのMatt Shumer氏は、ソーシャルメディアXを通じてモデルの驚異的な性能を強調し、技術的な詳細を公開。

しかし、翌日「Artificial Analysis」というAIモデル評価団体が、このモデルのパフォーマンスに関して懐疑的な報告を発表しました。

彼らが評価したところ、Reflection 70Bの性能はMetaのLlama 3.1よりも劣り、HyperWriteが主張した結果とは一致しないというのです。

Shumer氏はこれを受け、X上で「モデルのウェイトがアップロード過程で問題が発生した」と釈明し、公開バージョンと社内APIバージョンの間に差が生じた可能性を示唆しました。

その後、Artificial AnalysisはプライベートAPIを通じて改めてReflection 70Bをテストし、初期の主張ほどではないものの、優れた性能を確認しましたが、独立した検証が困難であることを指摘。

この件に関して、AI研究コミュニティではShumer氏に対して詐欺の疑いがかけられるなど、批判が広がっています。

一方で、Shumer氏を擁護する声もあり、モデルの性能を評価するユーザーも存在します。

現在、研究コミュニティは、Shumer氏の正式な反応と更新されたモデルウェイトの公開を待っているところです。

参考記事：Venture Beat