【タイムライン】AGI終末時計

現在のAIビックテックのAGI到達レベル

– 2024年3月4日更新 –

AIビックテックのAGI到達レベルの変遷

変更理由

日本時間2024年3月4日、AnthropicがClaude 3を公開。公式の発表によると、全ベンチマークでGPT-4を超えるLLMであるとのこと。

弊社で検証してみた結果、確かにGPT-4に匹敵かそれ以上の性能を出していることがわかった。
しかし、ChatGPTは、性能が良い上に、GPTsやCode Interpreterなどの機能があり、総合的に判断するとChatGPTの方が優れているため、42に設定。

– 2024年2月20日更新 –

AIビックテックのAGI到達レベルの変遷

変更理由

2024年2月15日、OpenAIが動画生成AI「Sora」を公開。世界中に激震が走った。
Soraは、ユーザーがプロンプトで何を要求したかだけでなく、それらのものが物理世界にどのように存在するのかも理解し、もはや本物と見分けがつかないレベルの動画生成が可能。
公式文書では、Soraは「AGI達成への重大なマイルストーンである」と述べられており、AIの技術革新を大きく推し進めた。

（参考：https://openai.com/sora#research）

– 2024年2月13日更新 –

AIビックテックのAGI到達レベルの変遷

変更理由

日本時間2024年2月8日 、GoogleがGemini Ultra 1.0を発表。Googleの発表によると、OpenAIのGPT-4を超えるとのこと。
弊社で検証してみた結果、GPT-4の方が優れていると感じた。加えて、Googleのレポートが示すよりもGemini UltraとGPT-4の差は大きいと考えた。
これは、Gemini Ultraの性能が低いのではなく、GPT-4が非公表のマイクロアップデートを経て、性能が上がっていると思う。
そのため、今回はGoogleのスコアは変わらず、OpenAIのスコアを38に引き上げた。

– 2024年2月7日更新 –

AIビックテックのAGI到達レベルの変遷

変更理由

Alibabaの数値を23％から30%に変更した。

日本時間2024年2月4日、AlibabaがQwen-1.5を発表。今回のQwen-1.5は、2023年に発表されていたQwenの強化版。

公式のレポートによると、Claude-2.1、GPT-3.5-Turbo-0613を上回り、GPT-4に迫る性能。その状況を見て、AlibabaのAGI到達レベルを30に引き上げた。

※我々の検証によって、到達レベルを変更する可能性あり。（https://qwenlm.github.io/blog/qwen1.5/）