【Gemma 2】Llama 3を超えたGoogleのオープンLLM

WEELメディア事業部LLMリサーチャーの中田です。

6月27日、Googleがついに、研究者や開発者向けに最新LLM「Gemma 2」を公開しました。

MetaのLlama 3よりも性能が高く、ゲーミングノートPCからクラウドまで対応しているんです！

現在は9Bと27Bパラメータサイズのモデルが公開されており、Google AI Studioにおいて無料で利用可能です。

この記事ではGemma 2の使い方や、有効性の検証まで行います。

ぜひ、最後までご覧ください。

Gemma 2の概要

Gemma 2は、Googleが開発したLLMのGemmaの最新バージョンです。以前PaliGemmaが発表された時と同じタイミングで、「近いうちにGemma 2も公開する」と発表されていました。

Gemma 2の特徴

Gemma 2は、Googleの最先端のAIモデルであるGeminiと同じアーキテクチャを用いて構築されており、軽量でありながら高い性能を発揮します。

現在、以下の2つのモデルが公開されています。

• Gemma 2-9B
• Gemma 2-27B

特に270億パラメータモデルは、そのサイズクラスで最高の性能を発揮し、2倍以上の規模のモデルに匹敵する性能を実現しています。また、90億パラメータモデルも、同サイズの他のオープンモデル（Llama 3やGrok-1など）を上回る優れた性能を示しています。

さらに、安全性と責任あるAI開発のために、「Gemma 2の学習データのフィルタリング」や「安全性に関する指標を用いた評価」を実施することで、リスクの軽減にも注力しているとのこと。

今回用いられた安全性に関する指標には、以下のようなものがあります。

また、Gemma 2はHugging Face Transformers、JAX、PyTorch、TensorFlowなどの主要なAIフレームワークと互換性があり、簡単に利用できます。さらに、NVIDIA TensorRT-LLMを使用してNVIDIA製のインフラ上でも最適化されています。

Gemma 2のアーキテクチャ

Gemma 2モデルは、Gemma 1と同様にdecoder-onlyのTransformerアーキテクチャをベースにしています。主な特徴としては、以下の通りです。

• グローバルアテンションとローカルアテンション(sliding window attention)を交互に配置
  • 長い文脈を効率的に処理しつつ、高い性能を実現
• グローバルアテンションのスパンは8192トークン
• ローカルアテンションのウィンドウサイズは4096トークン
• 9Bと27Bモデルでは、Multi-Head Attention (MHA)の代わりにGrouped-Query Attention (GQA)を採用
• 位置情報の埋め込みには、Rotary Position Embeddings (RoPE)を使用
• 学習の安定化のため、RMSNormを用いて以下を正規化
  • 各Transformerサブレイヤーの入力と出力、アテンションレイヤー、フィードフォワードレイヤー

アーキテクチャの詳細は、以下の通りです。

ロジットのソフトキャッピングも行われており、9Bと27Bモデルではアテンションロジットを50.0、最終ロジットを30.0でキャップしています。ただし、一般的なFlashAttention実装との互換性の問題から、HuggingFace transformersライブラリやvLLM実装ではこの機能は削除されています。

トークナイザーには、Gemma 1やGeminiと同じSentencePieceトークナイザーを使用しており、256kのボキャブラリサイズを持っています。

さらに、9Bと2.6Bの小規模モデルの学習に、知識蒸留が用いられています。大規模モデルを教師として、各トークンの確率分布を用いて小規模モデルを学習し、利用可能なトークン数の50倍以上のトークンでトレーニングすることをシミュレートしています。

一方、27Bモデルはゼロから学習されています。

Gemma 2の学習データ

学習データについては、主に英語のデータを用いており、27Bモデルは13兆トークン、9Bモデルは8兆トークン、2.6Bモデルは2兆トークンのデータを使用しています。データソースには、Web上の文章、コード、科学論文などが含まれています。

データのフィルタリングも、Gemma 1と同様の手法が適用されています。具体的には、望ましくない発話や安全でない発話のリスクを減らすためのフィルタリング、個人情報などの機密データの除去、評価セットの除染、機密性の高い出力の拡散防止などが行われています。

Gemma 2の評価

事前学習モデルの評価では、27Bモデルの性能を同規模のQwen1.5 32Bモデルや、Gemma 2の2.5倍大きいLlama 3 70Bモデル（同規模のオープンモデル）と比較しています。

Gemma 2-27Bは同規模のモデルの中で最高の性能を示し、2.5倍大きいLlama 3 70Bとも数%の差しかないとのこと。

2.6Bと9Bモデルの評価では、知識蒸留を用いて学習したGemma 2モデルが、以前のバージョンや他のオープンモデルと比べて大幅に性能が向上したことが示されています。特に9Bモデルでは、一部のベンチマークで10%もの改善が見られました。

その他の評価や、アブレーションテストなどは、テクニカルレポートをご参照ください。

SynthIDによるテキストへの電子透かし

Gemma 2にも、GoogleのSynthIDが適用されています。

SynthIDはGoogle DeepMindが開発した技術で、AIが生成した画像や音声、テキスト、動画などのコンテンツに、人間の目や耳では気づかない「特殊な電子透かし」を埋め込むことが可能です。

テキストへの電子透かし埋め込みでは、LLMが文章を生成する際に予測する単語(トークン)の確率スコアを調整することで実現しています。各トークンには確率スコアが割り当てられており、スコアが高いほど選ばれる可能性が高くなります。この調整を文章の品質や創造性を損なわない範囲で、文章全体で繰り返し行うことで、電子透かしが可能となります。

そして、「透かし入り」と「透かしなしの文章」でスコアパターンと比較することで、AIが生成したテキストかどうかを判定できます。

そして、GoogleはこのSynthIDそのものもの、オープンソース化することを予定しています。

なお、前回バージョンのGemmaについて詳しく知りたい方は、下記の記事を合わせてご確認ください。

WEEL

【Gemma】”Llama 2超え”と噂のGoogleのオープンソースLLMの性能を徹底比較してみた | WEEL WEELメディア事業部LLMリサーチャーの中田です。 2月21日、オープンソースの大規模言語モデル「Gemma」を、Googleが公開しました。 このモデルはGeminiをもとに設計されて…

Gemma 2のライセンス

公式ページによると、Gemma 2は商用に適したGemmaのライセンス（Apache License 2.0）に基づいて提供されています。

Gemma 2の使い方

Gemma 2は、Google AI Studioで利用できるほか、KaggleやHugging Face Modelsからモデルの重みをダウンロードすることも可能です。近日中には、Vertex AI Model Gardenでも提供開始される予定です。

ここでは、Google AI StudioでGemma 2を実行してみます。

Modelの部分に「Gemma 2」を選択すれば、Gemma 2を利用できます。

Gemma 2を動かすのに必要な動作環境

単一のGoogle Cloud TPU、NVIDIA A100、NVIDIA H100などの上で、効率的に推論を実行できるとのこと。

なお、Gemma 2も使われているGoogleのマルチモーダモデルについて詳しく知りたい方は、下記の記事を合わせてご確認ください。

WEEL

【PaliGemma】画像を理解できるGoogleのオープン言語モデル | WEEL WEELメディア事業部LLMライターのゆうやです。 2024年5月15日、Googleから新しいビジョン言語モデル(VLM)の「PaliGemma」が公開されました！ https://twitter.com/Google/s…

Gemma 2とLlama 3の性能を比較してみた

Gemma 2に以下の3つのタスクを実行させてみました。

• 日本語のメール作成
• MNISTを用いた深層学習モデル構築
• PDFを用いた論文要約

その際、Llama 3 70B Instructにも同様の処理をさせてみて、性能を比較してみます。

日本語のメール作成

まずは、試しにGemma 2に日本語で「取引先の会社の人に送る用の、日本語のアポイントメールを作成してください。」と質問してみます。

9.6秒で生成してくれました。

そのままフォーマットとして使えそうなメール文を、素早く出力してくれました。

ちなみに、Llama 3 70B Instructの結果は、以下の通りです。

ところどころ英語になっていたり、なぜか英訳も出力していたりなど、日本語メールとしては不十分だと感じました。

また、「[目的や議題]に関するミーティングを、[日時]に[場所]で行うことを、提案致します。」の部分の文章も、不自然です。

全体的には、Gemma 2の生成したメールの方が、すっきりしている印象です。

MNISTを用いた深層学習モデル構築

続いて、日本語で「MNISTを用いて、画像認識モデルを学習できるPythonコードを出力してください。その際、なるべく精度が高くなるようモデル構築・データ前処理・パラメータチューニングを行ってください。また、学習が終わったモデルを用いて、1つのサンプルで推論を行えるようにしてください。」と入力してみます。

import tensorflow as tf
from tensorflow.keras.datasets import mnist
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout
from tensorflow.keras.utils import to_categorical
from tensorflow.keras.callbacks import EarlyStopping
import matplotlib.pyplot as plt

# MNISTデータセットの読み込み
(x_train, y_train), (x_test, y_test) = mnist.load_data()

# データの正規化 (0~1の範囲に)
x_train = x_train.astype('float32') / 255.0
x_test = x_test.astype('float32') / 255.0

# データの形状変更 (CNNに適した形状へ)
x_train = x_train.reshape(-1, 28, 28, 1)
x_test = x_test.reshape(-1, 28, 28, 1)

# ラベルのone-hotエンコーディング
y_train = to_categorical(y_train, num_classes=10)
y_test = to_categorical(y_test, num_classes=10)

model = Sequential()

# 畳み込み層1
model.add(Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=(28, 28, 1)))
model.add(MaxPooling2D(pool_size=(2, 2)))

# 畳み込み層2
model.add(Conv2D(64, kernel_size=(3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

# Flatten層
model.add(Flatten())

# 全結合層1
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5)) # 過学習防止

# 全結合層2 (出力層)
model.add(Dense(10, activation='softmax'))

# モデルのコンパイル
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])


# EarlyStoppingで過学習を防ぐ
early_stopping = EarlyStopping(monitor='val_loss', patience=3)

# モデルの学習
history = model.fit(x_train, y_train, batch_size=128, epochs=10, validation_split=0.2, callbacks=[early_stopping])

# 学習結果の可視化
plt.plot(history.history['accuracy'], label='accuracy')
plt.plot(history.history['val_accuracy'], label='val_accuracy')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.legend()
plt.show()

# テストデータを用いた評価
loss, accuracy = model.evaluate(x_test, y_test, verbose=0)
print('Test loss:', loss)
print('Test accuracy:', accuracy)

# サンプルデータを用いた推論
sample_index = 0
sample_image = x_test[sample_index]
sample_label = y_test[sample_index]

# 画像の表示
plt.imshow(sample_image.reshape(28, 28), cmap='gray')
plt.show()

# 推論
prediction = model.predict(sample_image.reshape(1, 28, 28, 1))
predicted_class = tf.math.argmax(prediction[0]).numpy()

print('Predicted class:', predicted_class)
print('True class:', tf.math.argmax(sample_label).numpy())

こちら、32秒で生成してくれました。

また、コードを実行したところ、テストデータのAccuracyは0.99%という結果に！

以下のサンプルを学習済みモデルに入力したところ、「7」と正しく認識してくれました。

Llama 3で実行した結果は、以下の通りです。

import tensorflow as tf
from tensorflow import keras
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import numpy as np

# Load MNIST dataset
(X_train, y_train), (X_test, y_test) = keras.datasets.mnist.load_data()

# Data preprocessing
X_train = X_train.astype('float32') / 255
X_test = X_test.astype('float32') / 255
X_train = X_train.reshape((-1, 28, 28, 1))
X_test = X_test.reshape((-1, 28, 28, 1))

# Split data into training and validation sets
X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.2, random_state=42)

# Define the model architecture
model = keras.Sequential([
    keras.layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
    keras.layers.MaxPooling2D((2, 2)),
    keras.layers.Flatten(),
    keras.layers.Dense(128, activation='relu'),
    keras.layers.Dropout(0.2),
    keras.layers.Dense(10, activation='softmax')
])

# Compile the model
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

# Train the model
history = model.fit(X_train, y_train, 
                    epochs=10, 
                    batch_size=128, 
                    validation_data=(X_val, y_val), 
                    verbose=2)

# Evaluate the model on the test set
test_loss, test_acc = model.evaluate(X_test, y_test)
print(f'Test accuracy: {test_acc:.2f}%')

# Use the trained model to make predictions on a single sample
sample_image = X_test[0]
sample_image = sample_image.reshape((1, 28, 28, 1))
prediction = model.predict(sample_image)
predicted_label = np.argmax(prediction)
print(f'Predicted label: {predicted_label}')

こちらも、テストデータで0.99%という精度を達成しました。

PDFを用いた論文要約

最後に、以下の「Mistralの論文」のPDFをアップロードし、論文の内容を日本語で要約してもらいました。プロンプトは「アップロードしたPDFの論文の内容を、日本語で分かりやすく要約してください。」です。

参考記事：Mistral 7B

Gemma 2による論文要約の結果は、以下の通りです。

Llama 3による論文要約の結果は、以下の通りです。

個人的には、Gemma 2の方がよくまとまっており、日本語も自然だと感じました。

なお、Gemmaをベースとしたコード生成LLMについて詳しく知りたい方は、下記の記事を合わせてご確認ください。

WEEL

【CodeGemma】GoogleのGemmaをコーディングタスクに特化させたLLMの使い方 | WEEL WEELメディア事業部LLMライターのゆうやです。 CodeGemmaは、Googleが公開したコーディングタスクに特化したLLMです。 https://twitter.com/_philschmid/status/1777673558…

Gemma 2の登場によってAI業界はどう変化するのか

本記事では、Googleの最新LLM「Gemma 2」について、ご紹介しました。

前回のGemmaの登場やPaliGemmaの発表以来、Gemma 2は性能面でかなり期待されてきました。今後のAI業界において、ゲームチェンジャーとなるのか要注目です！

Xを見ていると、日本語の性能もそこそこ良いようですね。

最後に

いかがだったでしょうか？

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。

セミナー内容や料金については、ご相談ください。

また、弊社紹介資料もご用意しておりますので、併せてご確認ください。

セミナーを依頼する

資料をダウンロードする