Google Geminiのデモ動画はフェイク！プロからは期待外れの評価？Geminiの本当の姿を徹底解説

GoogleGeminiを極める

2023-12-12

2023年12月7日にGoogleが次世代生成AIとして「Gemini」を発表しました。

発表内容には、今日の次世代生成AIとしてけん引するOpenAIの「ChatGPT-4」との比較結果も合わせて公表されている一方、Geminiのデモ動画が捏造である可能性や、実はGeminiは期待外れな評価であるという意見も。

この記事では、あえてGeminiのネガティブな部分に焦点を当てて、Geminiの解説をしていきます。

ネガティブな側面とポジティブな側面の両方を知って、Geminiを誰よりも活用したいという方は、ぜひ最後までご覧ください。

なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。

Googleの生成AIであるGeminiの特徴

Googleは、Open AIのGPT-4に対するGoogleの生成AI対応策として長い間噂されてきたGeminiについての内容を発表しました。

主な特徴は以下のとおり。

GeminiはGoogleが開発した生成AI
ChatGPT-4をわずかに上回るパフォーマンス
複数の入力が可能
Geminiには3つのモデルで使い分けが可能

それぞれを解説します。

GeminiはGoogleが開発した生成AI

GeminiはGoogleにとってこれまでで最大のAIの発表であり、AIの覇権争いで競合のOpenAIとマイクロソフトに挑むためのものです。

Googleとその親会社Alphabetの最高経営責任者（CEO）であるスンダル・ピチャイ氏は、MITテクノロジーレビューにこう語りました。「それはプラットフォームです。AIは、ウェブやモバイルよりも大きなプラットフォームの転換です。そして、それは私たちにとって大きな一歩となります」。

GeminiがChatGPTを上回っているが、差はわずか

GoogleのDeepmindは、Geminiが32の標準的な性能測定のうち30でGPT-4を上回っていると主張している。しかし、その差はわずかです。

GoogleのDeepmindが成し遂げたことは、AIの能力を高める1つの強力なパッケージとなったことと言われています。

デモから判断すると、多くのことを非常にうまくこなしているが、これまでに見たことのないような新しいことはないようです。

大規模生成AIについての話題は絶えないが、Geminiの話題に関しては今がピークとなる可能性も示唆しています。

オンライン検索を専門とするワシントン大学のチラグ・シャー教授は、今回のGoogleの発表について、アップル社が毎年新しいiPhoneを発表するのになぞらえています。

Geminiは複数の入力が可能

GPT-4と同様、Geminiはマルチモーダルです。

主な入力方法は以下のとおり。

テキスト
画像
音声

これら複数の種類の入力ができるようになっている。

さらには、これらの異なる形式を組み合わせて、家事から大学の数学、経済まであらゆる質問に答えることができるとされています。

先日行われたジャーナリスト向けのデモで、発表された内容は以下のとおりです。

GoogleはGeminiが既存のグラフのスクリーンショットを取り込み、何百ページもの調査結果を新しいデータで分析し、その新しい情報でグラフを更新する能力を示しました。

別の例では、Geminiはフライパンで焼かれたオムレツの写真を見せられ、音声でオムレツはまだ焼けていないのかと尋ねたところ「卵がまだ水っぽいので、まだです」とGeminiは答えました。

しかし、Geminiの能力はまだ完全でないと言われています。

今回発表されたバージョンは、Googleのテキストベースの検索チャットボットであるBardのバックエンドであり、同社によれば、より高度な推論、計画、理解能力を与えるものだという。

Geminiを強化した新しいバージョンは、EUと英国を除く170カ国以上で、順次英語から利用できるようになる予定です。

Geminiには3つのモデルで使い分けが可能

Geminiには「Ultra」「Pro」「Nano」と3つのサイズが用意されている。

それぞれの内容は以下のとおり。

「Ultra」：フルパワーバージョン
「Pro」：限られたコンピューティングリソースで動作するアプリケーション向け
「Nano」：Googleの新しいPixelフォンなどのデバイス上で動作するアプリケーション向け

まずは「Pro」を12月13日から開発者と企業は、利用できる予定となっている。

また、最上位モデルである「Ultra」は「2024年の初め」に利用可能になると、Google幹部はプレスコールで記者団に語りました。

なお、Geminiについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
→【Gemini】GPT-4の最大の対抗馬GoogleのGemini！使い方〜GPT-4との性能比較まで

Geminiのデモ動画は捏造されている可能性がある

2023年12月にGoogleが開発した生成AIである「Gemini」のデモ動画が公表されました。

上記の動画が「Gemini」のデモ動画として公表され、1日で100万回の再生回数を記録しましたが、これが捏造ではないかという意見があります。

捏造の内容としては、動画が編集されすぎているため、こんなに認識読度は早くないというものです。

動画内では「じゃんけん」を行っていますが、1つの動作だけでGeminiはじゃんけんと判断しています。
1つの動作だけでは、じゃんけんと判断できないため、Geminiに対して他にもヒントを出す必要があります。

その他の動画でも判断が速すぎるため、ヒントを出した部分をカットしている可能性が高いです。

編集の程度は不明なため、少しのヒントを与えただけでほぼ動画のような動きをしてくれるかもしれませんし、期待外れになる可能性もあります。

これからGeminiが一般ユーザーでも触れるようになるため、そこで確かめてみるのがよさそうです。

詳しくは、以下の記事をご覧ください。

参考記事：Google’s best Gemini demo was faked

Geminiはそこまですごくないという声も

業界のゴールドスタンダードと見なされているOpenAI社のChatGPT-4とGoogle社のGeminiとの比較結果が公表されました。

ただ、その結果はそこまで驚くべきではないものだという意見もあります。

比較結果としては以下のとおり。

GeminiはChatGPT-4を上回る結果を獲得
学習データの中身に透明性がないため、優秀と言えない
一般ユーザーは感じにくい差

それぞれを解説します。

GeminiはChatGPT-4を上回る結果を獲得

Google社は特にMMLU（大規模マルチタスク言語理解）と呼ばれるベンチマークに注目しています。

これは、読解・大学数学・物理学・経済学・社会科学の多肢選択式クイズなど、テキストと画像を含むタスクにおけるモデルのパフォーマンスを測定するために設計された一連のテストです。

このテストをGeminiとChatGPT-4で実施した結果を以下に示します。

テキスト問題での正答率は以下のとおり。

	Gemini	ChatGPT-4	専門家(人)
正答率	90%	86%	89%

マルチモーダルな問題での正答率は以下のとおり。

	Gemini	ChatGPT-4
正答率	59%	57%

結論としてはわずかだが、GoogleのGeminiはChatGPT-4のスコアを上回っている。

学習データの中身に透明性がないため、優秀とは言えない

Google社はGeminiがChatGPT-4を上回る性能があると公表しているが、それをうのみにすることはできないとされています。

スタンフォード大学のファウンデーションモデル研究センターのディレクターであるパーシー・リアンは語りました。「このモデルはベンチマークスコアでは優れているが、学習データの中身がわからない以上、この数字をどう解釈すればいいのかわからない」。

ミッチェル氏もまた、Geminiは画像や動画よりも、言語やコードのベンチマークではるかに優れたパフォーマンスを発揮することも指摘しています。

専門家によれば、GoogleがGeminiの性能を測定するために使っているベンチマークは、狭い可能性があり、評価しにくい。透明性がなければGoogleの主張を確認するのは難しいとのことです。

一般ユーザーは感じにくい差

結論、一般的な生成AI利用ユーザーにとっては、競合モデルが多少改善されたところで、差を感じるのは難しいと言われている。

利便性、ブランド認知度、既存の製品との統合性などの方が、生成AIの能力より重要となる可能性を示唆している。

参考記事：Google DeepMind’s new Gemini model looks amazing—but could signal peak AI hype

なお、Gemini Ultraが搭載される予定のGemini Advancedについて知りたい方は、下記の記事を合わせてご確認ください。
→【Gemini Advanced】Google最強のGemini Ultra搭載！ChatGPTを超えるAIの概要〜使い方まで

Geminiの開発経緯

最後に、Geminiがこれまでどのような経緯を辿って開発されたのか、その経緯を説明します。

Geminiは以下のように開発されています。

2月：「Bard」を発表
3月：Deepmind社と統合
5月：統一したコミュニケーション用AIの導入を発表
12月：Geminiを発表

それぞれの開発経緯を以下に示します。

2月：「Bard」を発表

2月にChatGPTの競合であるBardを発表したが、すぐに欠陥がわかり、ネガティブな印象を与える結果となってしまいました。

3月：Deepmind社と統合

2023年4月、GoogleはAI研究部門であるGoogle Brainを、ロンドンに拠点を置くAI研究所であるDeepMindと統合すると発表しました。

そのためGoogleは、3月に公表され、有料版ChatGPTのバックボーンとなっているOpenAIの最先端大規模言語モデルGPT-4へ対抗するためにこの1年間を費やしてきた。

5月：統一したコミュニケーション用AIの導入を発表

5月にGoogleはEメールから生産性ソフトウェアまで、自社製品のほとんどにジェネレーティブAIを導入すると発表しました。しかし、その結果は批評家たちを感心させるものではなく、さらにネガティブな印象を強めることとなってしまいました。

これは大規模な言語モデル開発では避けて通れない問題です。

人間が書いたような文章を生成することには長けているが、生成AIシステムは定期的にでっち上げてしまいます。それ以外にも、ハッキングされやすく、バイアスに満ちているため、慎重に開発を進めなければならないとされています。

Googleはこれらの問題も幻覚の問題も解決していません。後者の問題に対する解決策は、人々がGoogle検索を使ってチャットボットの答えをダブルチェックできるようにするツールだが、これはオンライン検索結果自体の正確さに依存しています。

12月：Geminiを発表

2023年12月にGeminiを発表しました。

しかし、大規模な言語モデルに基づいて構築されたAIがどのように進化していくのかは発表されていないため、研究者の中には、これ以上の技術向上は見込めない可能性も示唆しているものもいます。

一方で、ピチャイ氏は「改善の余地が大きくあるため、より良くなっていくだろう」と語りました。

なお、Geminiの活用方法について詳しく知りたい方は、下記の記事を合わせてご確認ください。
→【Gemini Proの使い方まとめ】Googleが発表したGPT-4超えAIのおすすめ活用事例10選

まとめ

Google社はOpenAI社の「ChatGPT」に対抗するために、「Gemini」を開発しその内容が公表されました。

Google社が公表したGeminiの特徴は以下のとおり。

OpenAIやマイクロソフトに対抗するAI
ChatGPT-4をわずかに上回るパフォーマンス
複数の入力が可能

また、Geminiには以下の3つのモデルが用意されている。

「Ultra」：フルパワーバージョン
「Pro」：限られたコンピューティングリソースで動作するアプリケーション向け
「Nano」：Googleの新しいPixelフォンなどのデバイス上で動作するアプリケーション向け

デバイスや用途に応じて選択が可能になるようです。

今回の発表では、Googleが開発したGeminiは、現状ではOpenAI社のChatGPT-4よりも優れているが、差は少ないとされています。

また、デモ動画も捏造されている可能性があるということで、実際のGeminiの性能はユーザーがこれから使っていく中で明らかになっていくのではないでしょうか？

本当にGPT-4よりもすごいのかどうか、弊社でも検証していきます。

なお、GeminiとGPT-4の比較について知りたい方はこちらの記事をご覧ください。
→【Google Gemini VS OpenAI GPT-4】生成AI史上最高のLLMの性能を6つの観点から徹底比較

弊社では法人向け生成AI研修・勉強会を行なっています

いかがだったでしょうか？

弊社では、法人様向けに生成AI研修を行なっております。
また、研修に加えて本事業の支援も行わせていただいております。

詳しくはこちらをご覧ください！
セミナー実績 | WEEL

研修をさせていただいた企業様からは、以下のような好評をいただいております。

生成AIについて包括的に理解ができ、多くの業務で生成AIが活用されるようになった。
生成AIの事例を知ることで、社内で生成AIを活用するためのアイデアがたくさん出てくるようになった。
全社で生成AIに関する認識を共有できたので、生成AIに関するプロジェクトの理解が得られるようになった。

研修の内容としては、以下のようなものになっています。

1. 生成AIの概要
2. 生成AIの歴史
3. 生成AIのリスク・対応策
4. 生成AIの活用事例
5. 生成AIの未来予測
6. 〇〇業界特有の生成AI活用法（様々な業界に対応）
7. プロンプトエンジニアリング実践（ChatGPTや画像生成AIへの入力文）
8. AI開発実践（Pythonプログラミング）
9. 生成AIの社内導入手順