【タイムライン】AGI終末時計

現在のAIビックテックのAGI到達レベル

– 2024年11月15日更新 –

AIビックテックのAGI到達レベルの変遷

変更理由

2024年11月15日、Googleから新たなGeminiモデル「Gemini-exp-1114」が公開。 ベンチマーク上ChatGPTを抑え、総合世界1位に。複雑で曖昧な指示や難しい質問にも的確に応答する能力を持ち、 さらに数学的な計算や数式に基づく問題を正確に解く能力が優れているとのこと。 45→49に変更。

2024年11月12日、アリババクラウドが新たな大規模言語モデル「Qwen2.5-Coder」を公開。 「Qwen2.5」のコードバージョンである「Qwen2.5-Coder」は、オープンソースで公開され、コードアシスタントやコード生成に活用可能。 GPT-4oのコーディング能力に匹敵する性能があるとして、35→36に変更。

2024年10月31日、OpenAIが検索エンジン機能「ChatGPT search」をChatGPTに実装。 GoogleやPerplexityといった外部の検索エンジンにアクセスしなくても、必要十分な情報が引用付きで得られるように。 リアルタイム検索が可能となったことで利便性が向上。よって、54→57に変更。

2024年10月22日、イーロンマスクが率いるAI企業xAIがAPIを公開。 Grokモデルを使用するためのAPIであり、エンジニアや開発者はGrokの大規模言語モデルをもとにアプリケーションの開発が可能に。 17→20に変更。

– 2024年10月23日更新 –

AIビックテックのAGI到達レベルの変遷

変更理由

2024年10月23日にClaude 3.5 Sonnetの更新と、新しいClaude 3.5 Haikuを公開。さらに、computer useというAPI経由で動作するAIエージェントも発表。47→50に。
しかし、この機能はベータ版で、スクロールやドラッグが苦手で、スパムや詐欺への流用が懸念されている。

– 2024年10月10日更新 –

AIビックテックのAGI到達レベルの変遷

変更理由

2024年10月10日にGoogleが「Imagen3」を公開。 人物の表情や服のしわ、風景の細かな質感など、より細部まで正確に再現できるように。 また、テキストの描画能力も格段に向上。よって43→45に更新。

– 2024年10月3日更新 –

AIビックテックのAGI到達レベルの変遷

変更理由

日本時間2024年10月3日、ChatGPTの新機能「Canvas」が公開された。 生成した文章・ソースコードの気になる箇所を指定してピンポイントで修正ができる GPT-4oでは素のモデルよりも、コメントの正確性が30％、質が16％向上した。

– 2024年9月25日更新 –

AIビックテックのAGI到達レベルの変遷

変更理由

「Advanced Voice Mode」がChatGPT アプリPlusとTeamユーザーに公開された。 日本語を含む50以上の言語に対応しており、自然な音声会話が可能。 9種類の音声から選択でき、口調やアクセントの記憶までできるようになった。 その精度の良さに全世界のユーザーが驚いた。49→52に変更。

2024年9月24日Geminiの最新版「Gemini-1.5-Pro-002 / Gemini-1.5-Flash-002」が公開。 GPT-4oと比較したところ、理数科目のタスクに対してはそこまで良い結果が得られなかった。 しかし、要約タスクでは、順番を変更したり、複数の表を使ることで読みやすい回答を得られた。よって、42→43に更新した。

– 2024年9月12日更新 –

AIビックテックのAGI到達レベルの変遷

変更理由

日本時間2024年9月12日、OpenAI o1-previewを公開。 このモデルは回答する前に考えるように設計され、より複雑なタスクに対しても回答が可能になった。 特に物理学、化学、生物学、数学での高いベンチマークで評価されている。しかし、回数制限があることを踏まえ、48→49に変更。

同日にGoogleが、ハルシネーション（幻覚）を抑えたモデル「DataGemma」を公開。 実際に使ってみた結果、間違った情報を出力することはなかったが、求めていた情報を完全に出力することができなかったため、大幅な変更はなく、41→42。

– 2024年8月29日更新 –

AIビックテックのAGI到達レベルの変遷

変更理由

Qwen2-VLは、アリババクラウドが発表した最新の視覚言語モデルであり、優れた視覚理解能力を持っているとのこと。

弊社で検証してみた結果、確かに忠実に画像を認識し、解説できることがわかった。動画の解析もできるということで、33に設定。

– 2024年8月13日更新 –

AIビックテックのAGI到達レベルの変遷

– 2024年7月18日更新 –

AIビックテックのAGI到達レベルの変遷

– 2024年5月14日更新 –

AIビックテックのAGI到達レベルの変遷

– 2024年5月13日更新 –

AIビックテックのAGI到達レベルの変遷

– 2024年4月23日更新 –

AIビックテックのAGI到達レベルの変遷

– 2024年4月5日更新 –

AIビックテックのAGI到達レベルの変遷

– 2024年3月4日更新 –

AIビックテックのAGI到達レベルの変遷

変更理由

日本時間2024年3月4日、AnthropicがClaude 3を公開。公式の発表によると、全ベンチマークでGPT-4を超えるLLMであるとのこと。

弊社で検証してみた結果、確かにGPT-4に匹敵かそれ以上の性能を出していることがわかった。
しかし、ChatGPTは、性能が良い上に、GPTsやCode Interpreterなどの機能があり、総合的に判断するとChatGPTの方が優れているため、42に設定。

– 2024年2月20日更新 –

AIビックテックのAGI到達レベルの変遷

変更理由

2024年2月15日、OpenAIが動画生成AI「Sora」を公開。世界中に激震が走った。
Soraは、ユーザーがプロンプトで何を要求したかだけでなく、それらのものが物理世界にどのように存在するのかも理解し、もはや本物と見分けがつかないレベルの動画生成が可能。
公式文書では、Soraは「AGI達成への重大なマイルストーンである」と述べられており、AIの技術革新を大きく推し進めた。

（参考：https://openai.com/sora#research）

– 2024年2月13日更新 –

AIビックテックのAGI到達レベルの変遷

変更理由

日本時間2024年2月8日 、GoogleがGemini Ultra 1.0を発表。Googleの発表によると、OpenAIのGPT-4を超えるとのこと。
弊社で検証してみた結果、GPT-4の方が優れていると感じた。加えて、Googleのレポートが示すよりもGemini UltraとGPT-4の差は大きいと考えた。
これは、Gemini Ultraの性能が低いのではなく、GPT-4が非公表のマイクロアップデートを経て、性能が上がっていると思う。
そのため、今回はGoogleのスコアは変わらず、OpenAIのスコアを38に引き上げた。

– 2024年2月7日更新 –

AIビックテックのAGI到達レベルの変遷

変更理由

Alibabaの数値を23％から30%に変更した。

日本時間2024年2月4日、AlibabaがQwen-1.5を発表。今回のQwen-1.5は、2023年に発表されていたQwenの強化版。

公式のレポートによると、Claude-2.1、GPT-3.5-Turbo-0613を上回り、GPT-4に迫る性能。その状況を見て、AlibabaのAGI到達レベルを30に引き上げた。

※我々の検証によって、到達レベルを変更する可能性あり。（https://qwenlm.github.io/blog/qwen1.5/）