異種大規模言語モデルの円卓会議による推論能力の向上

automatically summarised by GPT

GPT-4、Bard、Claude2などの異なる大規模言語モデル（LLM）が円卓を囲んで議論すると、より高精度な回答が得られることが研究報告されました。この「異種LLMs円卓会議」のアプローチは、各モデルの強みを活かし、弱点を補完することで、全体としての推論能力を向上させる可能性があります。また、この「異種LLMs円卓会議ツール」は公開されており、研究者や開発者が容易にこの手法を試すことができます。 この研究は、米ノースカロライナ大学のJustin Chih-Yao Chen、Swarnadeep Saha、Mohit Bansalによって行われました。彼らは、異なる種類のLLM同士に議論させるというアプローチを採りました。このアイデアの背後には、異なるモデルがそれぞれの強みと弱みを持っているという認識があります。例えば、GPT-4は一般的なテキスト生成に優れている一方で、Bardは物語生成に特化しています。これらのモデルを組み合わせることで、より高度な推論が可能になると考えられています。 研究者らは、複数の異なるLLM（GPT-4、Bard、Claude2など）を円卓会議のような形で議論させるアイデアを形にしました。各モデルは独自の視点と推論能力を持ち寄り、最終的な回答や結論を出す過程が検証されました。また、研究者らはLLM同士に議論させて答えを提出させるプロセスを自動化するツールも提供しています。このツールを使用することで、一般のユーザーも実際に異種LLM同士の議論を行わせることができます。 研究者らは100のテーマで実験を行い、その結果、このLLM円卓会議フレームワークは既存の単一エージェントやマルチエージェントのベースラインを7.7%上回る性能を示しました。GPT-4に注目した場合、そのパフォーマンスが絶対値で10.0%向上したことが確認されました。さらに、議論が進むにつれて各エージェントの精度が向上するという結果も得られました。 この研究の最も注目すべき点は、異なるLLMが協力することで、それぞれのモデルが持つ限界を補完し合い、全体としてより高い推論能力を発揮することです。しかし、このような高度な手法にはコストがかかる場合もあります。そのため、具体的なケースによってコストとパフォーマンスのバランスを考慮する必要があります。 なお、異種LLMsを円卓会議させるツールはGitHubリポジトリで確認できます。また、Claude-APIに関する詳細な情報も提供されていますので、必要に応じて参照してください。 また、本研究をXでポストしたところ、「エヴァンゲリオンのMAGIを彷彿とさせる」といったコメントが多く寄せられました。「新世紀エヴァンゲリオン」（通称：エヴァ）は、日本のアニメーション作品であり、多くのファンがその深いテーマ性とストーリーに魅了されています。この作品には、MAGI（マギ）と呼ばれるスーパーコンピューターシステムが登場します。MAGIは、NERVという組織が使うもので、エヴァンゲリオン（巨大ロボット）の運用や、複雑な計算、戦略分析などを行います。MAGIは3つの異なる「個性」を持つコンピューターから構成されており、それぞれが異なる角度から問題を分析します。本研究とMAGIにはいくつかの興味深い類似点があります。もちろん、今回の研究がエヴァンゲリオンのような壮大な物語を意味しているわけではありません。しかしテクノロジーの進歩がどのようにフィクションと現実をつなげるかを考える上で、面白い比較になるのは間違いありませんね。