【Mistral 7B】Llama 2超えの性能を持つLLMらしいので、比較レビューしてみた

皆さんは、 Mistral 7BというLLMをご存じですか？

フランスのAIスタートアップであるMistral AI社が開発した大規模言語モデルで、モデルサイズが倍程も違うLlama2-13Bよりも高い性能を持っているとされています！

半分のサイズで性能は勝っているんですから、超コスパがいいですよね！

今回は、Mistral 7Bの概要や性能、他のLLMとの比較をご紹介します。

是非最後までご覧ください！

なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。

Mistral 7Bの概要

Mistral 7BはフランスのAIスタートアップであるMistral AI社が開発した大規模言語モデルです。

このモデルは、Sliding Window Attention (SWA) やGrouped-query attention (GQA)といった革新的な注意メカニズムを導入することで、モデルのサイズを抑えながら、倍ほどのサイズがあるモデルより高い性能を有しているといわれています。

そんなMistral 7Bの特徴は以下の3つです。

革新的な注意メカニズム：詳しい内容は後述しますが、SWAやGQAといった注意メカニズムを持っており、簡単に言うとモデルが「注意」を払う過去の情報の範囲を制限し、なおかつ一度に複数の情報に注意を払うことで、計算の効率化を図っています。

性能：すべてのベンチマークでLlama 2 13Bを上回り、多くのベンチマークでLlama 1 34Bと競合する性能を持っています。また、その性能を持ちながら、CodeLlama 7Bに迫るコーディング能力も持ち合わせています。

オープンソース：Mistral 7BはApache 2.0ライセンスの下でリリースされており、制限なく使用できます。このオープンソースモデルは、AIコミュニティ内での協力とイノベーションを奨励しています。

必要な情報だけに注意を払って、その情報を並列処理する事で、正確な出力を短時間で行うことができるので、他のサイズの大きなモデルと同等以上の性能を獲得した革新的なLLMという事ですね！

ただ、情報の範囲を狭くしてしまったら性能が落ちてしまうんじゃないかと思った方もいらっしゃると思います。

なので、ここからはMistral 7Bの注意メカニズムの仕組みや性能をご説明していきます。

注意メカニズム

Mistral 7Bの注意メカニズムは2種類に分かれています。

1つずつわかりやすく解説していきます。

Sliding Window Attention (SWA)

このメカニズムは、モデルが過去の情報に「注意」を払う範囲を制限するメカニズムです。具体的には、モデルが一度に考慮できるトークンの数を制限することで、計算を効率化させ、推論の高速化が可能になります。

Mistral 7Bでは、直近の4096の隠れ状態のみに注意を払うようになっています。これによって、少ないコストで長いシーケンスを処理できます。

以下がSWAのイメージ図です。

しかし、考慮するトークンの範囲が制限されるため、長い文脈だとすべての情報に注意を払えず、失われてしまい、性能が落ちてしまう可能性もあります。

そこで、性能の劣化を避けつつ、更なる計算の効率化を図るためにGrouped-query attention (GQA)が用いられています。

Grouped-query attention (GQA)

このメカニズムは、複数のクエリを一度に処理するための注意メカニズムです。具体的には、入力トークンをグループ（クエリ）に分け、それぞれのグループに対して一度に注意を払うことで、計算の効率化が可能になります。

SWAが考慮するトークンの範囲が制限することで、計算の効率化をは図っているのに対し、GQAは複数のクエリを同時に処理することで、計算の効率化を図っているため、2つを組み合わせることにより、さらに計算の効率化ができます。

また、GQAをSWAと組み合わせることによって、重要な情報をグループとしてまとめて処理できるので、考慮するトークンの範囲が制限されるため、長い文脈だとすべての情報に注意を払えないというSWA単体での欠点を補うことができます。

こうしたメカニズムをうまく組み合わせる事により、Mistral 7Bはモデルサイズを抑えて、高度な推論性能を獲得しました。

それでは実際どのくらいの性能なのか、公式ページの資料をもとに見ていきましょう。

性能

以下のグラフは、「Mistral 7B」「Llama2-7B」「Llama2-13B」「Llama1-34B」の各ベンチマークスコアを表したものです。

この結果を見ると、パラメータ数が同じのLLMにはすべてのベンチマークで圧倒しており、その他のパラメータ数が大きいモデルに対しても、性能で勝っている事が分かります。

てか、Llama 2にも勝っている…？
すごすぎ！！

もう一つ、Mistral 7Bの性能を示す興味深い指標として、推論、理解、知識および STEM 推論 (MMLU)に関して、Llama2がMistral 7Bと同等の性能を出すのにどれくらいのパラメータ数が必要なのかを計測した結果があります。

以下のグラフがその結果を可視化したものです。

少し見にくいかもしれませんが、最も差が大きいものだと、推論（Reasoning）でMistral 7Bと同じ性能を出すのに、なんと5倍以上のLlama2は380億パラメータが必要になります！

遥かに小さいサイズで同じ性能が出せるのですから、計算の効率化とそれによるリソースコストの削減の効果が如実に現れていますね。

以下の表に、Mistral 7B、GPT-3.5、Llama 2-13Bの概要をまとめました。

ベンチマークスコアでは申し分ない結果を出しているMistral 7Bですが、実際の性能はどうなのか気になるところです。

なので、実際に使ってみてLlama2との比較も行っていきたいと思います！

まずは導入方法から解説します。

Mistral 7Bの導入方法

まず、Transformerが最新版でないと動かないようなので、以下のコードで最新版のものをインストールします。

pip install git+https://github.com/huggingface/transformers -Uqq

その他の必要なパッケージをインストールします。

pip install accelerate sentencepiece bitsandbytes -Uqq

こちらは量子化を行うのに必要です。

次に、以下のコードでモデルのロードを行います。

import torch

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(

    load_in_4bit=True,

    bnb_4bit_use_double_quant=True,

    bnb_4bit_quant_type="nf4",

    bnb_4bit_compute_dtype=torch.bfloat16,

)

model_id = "mistralai/Mistral-7B-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_id, use_fast=True)

model = AutoModelForCausalLM.from_pretrained(

    model_id,

    trust_remote_code=True,

    quantization_config=quantization_config,

    # torch_dtype=torch.float16,

    device_map='auto',

).eval()

これでモデルの準備は完了です。

それでは実際に使っていきましょう！

なお、MistralAIによって開発されたその他のLLMについて知りたい方はこちらをご覧ください。
→【Mixtral-8x7B】GPT3.5とLlama2 70Bを上回る性能の無料オープンソースを使ってみた

Mistral 7Bを実際に使ってみた

まずは日本語を話せるかどうか検証しました。

結果が以下の画像です。

どうやらGithub Pagesでサイトを作る手法の説明を出力してくれたようですが、なぜこのチョイスなのかは謎です笑

出力された日本語がどこかから引っ張ってきたものではなく、生成されたものであればかなり自然な日本語を生成してくれるモデルと言えそうです。

次に、特徴の一つでもあるコーディング能力について検証してみました。

「Pythonで回帰分析のコードを書いてください」というプロンプトを入力した結果が以下の画像です。

線形回帰モデルだけでなく、ロジスティック回帰モデルとその説明、サポートベクターマシンの実装コードまで出力してくれました。

すべて正しく動作するコードで、出力時間もこの量で1分と早く、説明の日本語も自然でした。
他のモデルは一つだけ出力するものがほとんどだと思うので、3つも出力されたのは驚きました。

高性能なことは分かったので、この後はLlama2-13Bと比較して、本当にサイズの大きなモデルより高性能なのか見ていきます！

本当にLlama2に匹敵する性能なのか検証してみた

Mistral 7BとLlama2-13Bに以下のプロンプトを入力し、出力結果を比較していきます。

・日本語でクライアントに送信する丁寧語・謙譲語を正しく使用したビジネスメールを作成してください。

ただ、どちらもこのプロンプトに関しては日本語で出力できなかったので、英語で出力させました。

Mistral 7B

Llama2-13B

Llama2-13Bは私の意図したとおり、メールのテンプレートを出力し、さらにメールのポイントをまとめて説明してくれています。

一方Mistral 7Bは、長々と出力されていますが、メールの生成はしてくれず、しかも文章の内容はビジネスコミュニケーションについて述べられており、直接メールの作成に関係があるものではありませんでした。

このように、実際にユーザーが意図したとおりの出力をしてくれるかどうかは、ベンチマークスコアだけでは測れないと言えます。

その他にもいくつかプロンプトを入力し、出力された結果をまとめて表にしました。参考程度にGPT-4の結果も入れています。

この結果から、Mistral 7BはLlama2-13Bと比べ、出力の精度だけではなく、安全性や倫理性の面で大きな差があると感じました。

「あなたが支持する大統領は誰ですか？」に対して、「Donald Trump.」と出力されてしまうのは、ちょっと問題かもしれないですね…

これからのMistral 7Bに期待！

Mistral 7BはフランスのAIスタートアップであるMistral AI社が開発した大規模言語モデルです。

このモデルは、Sliding Window Attention (SWA) やGrouped-query attention (GQA)といった革新的な注意メカニズムを導入することで、モデルのサイズを抑えながら、Llama2-13Bなどの倍ほども大きなモデルよりも高いベンチマークスコアを記録しています。

しかし、Llama2-13Bとの性能比較では、こちらの意図しない回答や安全性に欠ける回答が出力されるなど、実際の性能ではLlama2-13Bに及ばない結果でした。

既にMistral 7Bをベースに、次のモデルのトレーニングを進められており、より大規模で性能の高いものになるそうなので期待しましょう！

生成系AIの業務活用なら！

・生成系AIを活用したPoC開発

・生成系AIのコンサルティング

・システム間API連携

無料ダウンロード

最後に

いかがだったでしょうか？

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。

セミナー内容や料金については、ご相談ください。

また、弊社紹介資料もご用意しておりますので、併せてご確認ください。

セミナーを依頼する

資料をダウンロードする