【AI-Scientists】SakanaAIのわずか15ドルでアイデア生成、実験、論文執筆をしてくれるAIを徹底解説
＼生成AIを活用して業務プロセスを自動化／
AIが研究・論文執筆を自動で行う！？
AI-Scientistsがついに人間を超える…？
AI-Scientistsは2024/8/13に、Sakana AIが公開したAIモデルを使った研究論文執筆・査読システムです。
Xでは多くの人が興味を示している、科学進歩を大幅に前進させる可能性があるAIシステム。
AI-Scientistsは人々の介入をほとんど必要としません。人々の介入を必要としないのが、AI-Scientistsの最大のポイントとも言えます。
AI-Scientistsが自動でブレストを行い、論文レビューを行い、試行錯誤を繰り返して論文を執筆します。さらに執筆された論文をAI-Scientistsが査読を行い、論文内容の修正も行います。
最終的に執筆された論文がこちら
なお、AI Artifactsについて詳しく知りたい方は、こちらの記事も合わせてご覧ください。
AI-Scientistsを実現する技術
AI-Scientistsを実現するために使われている技術は主に大規模言語モデルとAiderです。
大規模言語モデルでは、論文のアイデア出しや先行研究調査を踏まえ、新規性のあるテーマを考えます。
また、研究計画立案やコードの記述、実験実行、結果の可視化などもLLMによって実現しており、論文執筆まで担当をします。
Aiderは、LLMをベースとしたコーディングアシスタントで、AI-Scientistsの実験コードの実装やエラー修正、リファクタリングなどを自動化。
実験の各段階において、Aiderは実行履歴を把握しており、エラーが発生した場合やタイムアウトになった場合には、コードを修正して最大4回まで再試行します。
他にもAPIを使った論文調査やPDF解析なども行われています。AI-ScientistsはLLMを中心技術としていますが、それを支え、その能力を最大限に引き出すためには、コーディングアシスタントやAPI、その他の機械学習技術、そして計算機科学の様々な分野の概念が不可欠です。
AI-Scientistsによる論文査読
AI-Scientistsは論文を生成したのち、自身で生成した論文を査読します。本来であれば、客観的に評価することができないため、論文執筆者が査読者に回ることはありませんがこれがAIを使った論文査読の強みですね。
AI-Scientistsの論文査読精度を検証するために、ICLR 2022 OpenReviewデータセットを用いて自動査読と人々による査読のパフォーマンスを比較しています。このパフォーマンス比較では、500本の論文に対して精度、F1スコア、AUC、偽陽性率、偽陰性率などの評価指標を使用して、AIによる論文査読と人による論文査読のパフォーマンスを測定しています。
表の結果から総合的には人が査読をした方が良いという結果が読み取れます。
特に偽陽性率に関しては、人による査読が0.17であり、AIモデルよりも低いです。偽陽性率が低いということは、誤って不適切な論文を受け入れる可能性が低いということになります。論文は世界に発信するものであり、その影響力は絶大です。
そのため、誤って不適切な論文を世に出してしまうと大変なことになるため、偽陽性率の精度などは今後の改善が期待されます。
AI-Scientistsの具体的な手法
まずAI-Scientistsにテンプレートを与え、アイデアをブレストとしてもらいます。ブレスト結果を新規性のある研究かどうか評価を実施。この時のアイデアには、実験の概要や実験計画、新規性、多くの人々が興味を持つ面白さ、実験可能性を検証して、数値化をします。
アイデアの出し方はまさに人が行っている研究と同じ流れで、FINERの基準に則っていますね。
次にブレストしたアイデアとテンプレートをもとに、提案された実験を実行し、結果を可視化します。実験はコーディングアシスタントのAiderを使って行われます。各実験が完了するとAiderにその結果が与えられ、研究と同じスタイルでメモを取ります。
各実験は最大5回繰り返され、すべての実験が完了したら可視化された内容と実験メモをもとに、論文を執筆するのに必要な情報を全て用意。
次に論文執筆です。AI-ScientistsはLaTexを使って簡潔かつ有益になるよう記述を進めていきます。この時に記述する内容は論文の導入から背景、方法、実験手順、結果、結論の順に行われます。
さらにAI-ScientistsはSemantic Scholar APIを使って、AI-Scientistsが執筆した論文とすでに報告されている論文とを深くして、最も関連性の高い論文を探し出し、先行研究として論文内に追加します。
論文の執筆が終了したら、最後にNeural Information Processing Systemsカンファレンスの査読ガイドラインに基づいて、GPT-4oベースのエージェントを使用して論文の査読を行います。
以上がAI-Scientistsの大まかな流れです。これを人力で行うと研究計画立案から論文投稿までは早くても半年くらいはかかります。それがたった15ドルで論文執筆終了までいけるので、かなり革新的なシステムです。
GitHubにサンプルコードがあるので、実装できる方は参考にしてください。
AI-Scientistsの活用例
AI-Scientistsが実用レベルになると、研究活動の効率化や論文査読の自動化、企業での研究開発支援などに活用することができるでしょう。
研究活動の効率化
新規性のある研究を創出するのは非常に時間と労力がかかります。AI-Scientistsを使うことで、先行研究を調べたり仮説検証を繰り返したりして、新規性のあるテーマを生み出すことができます。また、新規性のあるテーマが思い浮かんでも実験プロトコルを設計したりデータ解析を行ったりと研究者にとっては負担が大きいですし、時間も非常にかかります。
しかしAI-Scientistsを使うことでこれらの論文執筆過程を自動で行うことができ、最終チェックに人の目があれば良いという状態にまで持っていくことができます。
このようにAI-Scientistsを使うことで研究活動が効率化できるでしょう。
論文査読の自動化
AI-Scientistsは論文の査読も自動で行えます。論文の査読者はその分野に明るい人でないと行うことができません。しかし、AI-Scientistsは論文の内容を理解して、科学的な妥当性や新規性、研究プロトコルの適切さなどを評価できるようになるでしょう。
また、実験結果から考えられることと、考察の内容が飛躍していないかなどのチェックも行うことができるようになれば、論文の質自体も向上することが考えられます。
企業での研究開発支援
企業では新製品や新技術の創出が重要です。しかし、新製品や新技術の創出には非常に多くの時間とリソースが必要になります。
その時にAI-Scientistsを活用すれば過去の研究データや特許情報、業界のトレンドを分析して新しいアイデアを自動で創出できるでしょう。
また、企業の研究開発でも実験が必要です。実験は研究過程で時間とコストがかかる部分であり、金銭的に余裕のある企業しか行うことができません。しかし、AI-Scientistsを活用すれば、実験の設計から実験、データ解析までを自動で行うことができ、時間とコストを節約ができます。
さらに研究開発において、倫理的考慮や安全性管理も重要事項です。
AI-Scientistsの論文査読システムを使うことで、研究開発における倫理的問題点や安全性に関する懸念を自動でチェックすることができ、問題が発生する前に対応することが可能になるでしょう。
なお、Google Geminiを使った論文執筆について詳しく知りたい方は、下記の記事を合わせてご確認ください。
AI-Scientistsの今後の課題
現状では、AI-Scientistsで作成した論文には、LLM由来の正確性の揺らぎや自動生成コードがタイムアウトしてしまう、意図せず論文を盗用・悪用をしてしまう点をSakana AIも報告しており、執筆された論文をそのまま投稿するのは難しいです。
AI-Scientistsによる査読でも触れましたが、AIモデルを活用した論文査読は偽陽性率がまだ高く、誤ったものを世に出してしまう可能性があります。
また、現状では1本の論文を生成するのに最大で300ドル程度はかかってしまうことが報告されています。
しかし、将来的には上記の課題を解消して、科学技術の発展に寄与してくれるでしょう。科学技術の発展に論文は必要不可欠ですが、論文の執筆が非常に困難な部分でもあるため、困難な部分をAIが担当してくれるというのは、科学技術の躍進につながるでしょう。
結論：AI-Scientistsはまだ実用レベルではない
AI-Scientistsの今後の課題としては、まずは意図せず論文を盗用・悪用をしてしまう点の改善でしょうか。研究者において論文の盗用は御法度とされています。そのため、盗用・悪用を改善してから、論文執筆・論文査読の質が改善すれば、実用レベルになると考えられます。
Xでもまだ実用レベルではないという点について言及されています。
最後に
いかがだったでしょうか？
GPT-3.5 Turboの最新アップデートで、より高速かつ低コストでのAI活用が可能になりました。自社での導入・活用を検討する際に、最適なモデル選定や活用方法について、一緒に考えてみませんか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、サービス紹介資料もご用意しておりますので、併せてご確認ください。
