LLMが自己最適化を行い、巡回セールスマン問題も解けるという論文が公開

論文・専門文書解説

2023-09-17

本記事では、最新LLMの論文である「Large Language Models as Optimizers」について解説します。

この論文では、LLMだけで最適化問題を解決できることが示唆されています。さらに、人間が設計したプロンプトよりも、最大で50％優れた結果を出すプロンプトを生成できたそうです。

さらに、「巡回セールスマン問題」もLLMだけで解けたのだとか。

本論文は、つい最近報告された研究なので、これからのLLMの動向を追うためにも、重要になってくるかもしれません。

LLMだけで最適化もプロンプト生成も可能

9月7日に、GoogleのDeepMindは、LLMが「最適化問題を解くツール」として有用であることを発表しました。具体的には、人間がLLMに自然言語で命令し、それをもとにLLMが最適化問題を解くというもの。

本研究の中では「ある方法を用いれば、線形回帰問題や巡回セールスマン問題などの最適化問題において、LLMは人間よりも優れた性能で解ける」ということが示唆されています。

それに加えて、「LLMは自身でプロンプトも最適化できる」ということが判明しました。これを利用すれば、人間がプロンプトエンジニアリングをしなくても、LLMによって最適なプロンプトを自動生成できるようになります。

最適化問題とは？

最適化問題とは、与えられた条件の中で最も良い結果を求める問題です。例えば、コストを最小にする、利益を最大にするなど、特定の条件下で最適な解を探します。以下のようなイメージ。

このグラフでは、コストが増加すると利益が減少し、ある点で最大の利益が得られ、それ以降は逆に利益が下がることがわかります。この「最大の利益」を得るための「コスト」が「最適化問題の解」となります。

巡回セールスマン問題とは？

巡回セールスマン問題（Traveling Salesman Problem: TSP）は、都市を一度だけ訪れて出発地に戻る最短のルートを見つける問題です。目的は、このルートの合計距離を最小化することです。

参考記事：巡回セールスマン問題にみる実践と学習のギャップ

この問題は、実際の世界の多くの場面で応用されます。例えば、物流、配達、製造ラインの最適化などです。しかし、TSPはNP困難な問題として知られており、都市の数が増えると、最適な解を求めるのが非常に難しくなります。

そのため、効率的に良い解を探索する研究が、100億年以上もの間、盛んに行われています。

ユーザーは文章で最適化問題を記述するだけ

本研究で紹介されていた「LLMを用いた最適化」の方法は、以下の手順で行われています。

人間が最適化問題をプロンプト（自然言語）で記述
プロンプトをもとにLLMが解を生成
その解をLLMが評価しフィードバック
そのフィードバックをもとにプロンプトを更新
ステップ2~4を繰り返す
これ以上、解の精度が向上しないと判断されれば終了

上記のステップが終了した時点での解を「最適解」とします。

ここで、人間が手を加えるのは、ステップ1の「最適化問題をプロンプト（自然言語）で記述」の部分だけです。ここでは、たとえば巡回セールスマン問題を解きたい場合、以下のようにプロンプトを記述します。

「巡回セールスマン問題とは、都市を一度だけ訪れて、出発地に戻る最短のルートを見つける問題です。目的は、このルートの合計距離を最小化することです。合計距離が最小であるルートを探してください」

こうすることで、LLMが、

「プロンプト生成」→「プロンプトを利用した最適化」→「フィードバック」→・・・

を繰り返し、最適解を導くのです。

人間よりも優れた答えを導ける

この研究では、線形回帰問題や巡回セールスマン問題など、様々なタスクにおいて高い性能を発揮することが示されました。また、LLMによって自動生成したプロンプトで最適化問題を解いた方が、人間が設計したプロンプトよりも、最大で50％優れた結果を出すことができたそうです。

上記の表の見方・用語としては、以下の通りです。

Source: プロンプトを作った人・モデル
Instruction: プロンプト
Acc: Accuracyの略で「精度」を表す（高いほど精度が良い）
Baselines: 世間一般で使われている「有名なプロンプト例」を作った人
Ours: LLM

この表を見ると、人間が作ったプロンプトよりも、LLMの方が精度が良いことが分かります。例えば、最高精度を叩き出しているのは、「PaLM 2-L-IT」による「Take a deep breath and work on this problem step-by-step」のプロンプトで、そのAccuracyは80.2です。

BaselinesとOursの、Accuracyの平均値を比べると、以下の通り。

BaselinesのAccuracy平均値: 54.9
OursのAccuracy平均値: 78.3

平均値を見ても、LLMで生成したプロンプトの方が精度が高いですね。これらの結果から、LLMによる最適化手法が、様々な問題において有望な手法であることが分かります。

なお、AIの人間代替えリスクについて知りたい方はこちらをご覧ください。
→【Channel 1 AI】AIだけで運営される次世代のニュース番組が登場！AIが人間を代替するか、リスクを考察してみた

LLMだけで最適なプロンプトエンジニアも可能になる

内容を見るに、本研究の本筋は結局「LLMによる最適なプロンプトの自動生成」なのかな？と感じました。

また、本論文でも「人間よりも優れた答えを導ける」という結果が出た通り、これを利用した新たなプロンプトエンジニアリング手法も、出てくるのではないかと思います。そうなれば、人の手でわざわざプロンプトを工夫して書かなくても、AIが「自動でプロンプト生成→問題解決」までしてくれるかもしれません。

「もう人の手によるプロンプトエンジニアリングは要らなくなるかも」と思わせてくれるような研究でした。また、初めてChatGPTを使う人にも有用かもしれないです。

ただ、個人的には「どうしてそのプロンプトが、精度向上に役立つのか」を知ることができれば面白いなと思いました。説明可能なAIの研究にも着目したいですね。

生成系AIの業務活用なら！

・生成系AIを活用したPoC開発

・生成系AIのコンサルティング

・システム間API連携

無料ダウンロード

最後に

いかがだったでしょうか？

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ