【BLOOM】大規模言語モデルの原点!?世界60カ国、1,000人以上の研究者による珠玉のLLMを使ってみた

ChatGPTに代表される生成AIの登場は、社会に大きなインパクトを与え続けています。最近では、OpenAIが開発するGPTの他にも、GoogleのPaLM 2やMetaのLlamaなどさまざまな企業がLLM開発にしのぎを削っています。

しかし企業が開発するLLMには、透明性が低いなどいくつか問題点があります。大学や小さな企業のラボでは、LLMを使った研究や活用は難しいのが現実です。

そのような背景から開発されたのが、「BLOOM」というLLMで、2022年にリリースされました。世界のAI研究者が集まったワークショップの成果物として生まれたLLMであり、完全に透明化された多言語LLMとして公開されています。

本記事では、BLOOMの基本と導入方法、実際の活用例を紹介します。BLOOMでできることや、強みを理解できるでしょう。

なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。

BloomAIの概要

BLOOMは、ChatGPTのような特定の企業が独占的に開発するLLMではなく、世界中のAI研究者によってAI研究を促進する目的で開発されました。そのため企業秘密や非公開の情報はなく、全ての情報が可視化されており、オープンソースで提供されています。

この開発プロジェクトは「BigScience」と呼ばれ、BLOOMの開発には70カ国以上・200を超える機関から研究者が参加しました。フランスにあるJean Zayスーパーコンピュータを用いて、117日間にわたりBLOOMを訓練しています。

BLOOMの特徴は以下の通りです。

• 1760億のパラメータ数
• 46の自然言語と13のプログラミング言語でテキストを生成
• 透明性・公平性
• オープンソース

BLOOMのパラメータ数はGPT3.5とほぼ同等で、かなり大きなLLMと言えるでしょう。複雑な質問にも回答可能ですが、GPT4や他の主要モデルに比べると少し劣ります。BLOOMと主要なLLMのスペックを以下の表に記載します。

BigScienceの「Responsible AI License」に同意する個人や組織は、ローカルマシンやクラウド上でBLOOMを利用できます。これを用いれば、LLMの性能や挙動を深いレベルに至るまで調べられるでしょう。

但し、BLOOMの訓練データに日本語が含まれていないため、日本語での利用はできません。英語での利用が最も有効な回答が返ってくる可能性が高く、おすすめです。

BloomAIの料金体系

BLOOMは、AI研究の促進のためオープンソースで提供されています。動作環境を用意し、ライセンスに同意すれば誰でも無料で利用可能です。

なお、BLOOMを自宅のPCで動かせるツールについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
→【Petals】パラメーター100B超えのLLMを自宅のPCで動かす方法

BloomAIの導入方法

それでは、BLOOMの具体的な導入方法を見てみましょう。BLOOMを利用する方法は大きく分けて2つあります。

• Hugging Faceが運用するプラットフォーム上で「Hosted Inference API」を利用して、簡単にWeb上でテストする方法
• BLOOMをダウンロードして導入する方法

作成したプログラミングコードの確認や日本語を入力したときの回答レベルなど、比較的単純な回答を得るにはHosted Inference APIでも十分でしょう。Hugging Faceへの利用登録が必要ですが、無料で利用できます。

本格的に機能をテストしたり導入したりするには、ローカルやクラウド上にBLOOMの実行環境を用意する必要があります。しかしBLOOMは非常にサイズが大きいため、実行環境を作るのは容易ではありません。例えば、軽量化されたモデルでも329GBの大きさがあり、メモリサイズが24GBのGPUでは24枚も必要です。

そのためBLOOOMには、5億から70億のパラメータに限定した比較的小さいモデルも用意されています。このレベルであれば、一般的なGPU1枚で実行が可能です。但し、LLMとしての性能はフルモデルに比べて低下するでしょう。

実行環境を実現する最も簡単な方法は、Google Colaboratory上で構築することです。具体的なコードは、次の章で説明します。

BloomAIを実際に使ってみた

実際にBLOOMを使い、3つの項目について確認してみます。

• メールの作成ができるか
• プログラムが書けるか
• エロ系の質問に答えられるか

BLOOMは、2022年末に日本でもAI旋風を巻き起こしたGPT3.5と同程度のパラメータ数を持っており、複雑なタスクにも対応できるでしょう。しかし、訓練データに日本語を含んでいないため日本語にどの程度対応できるかは未知数です。

今回はGoogle Colab上で実行環境を構築するため、パラメータ数が10億と比較的小さいサイズのモデル（bloom-1b1）を用いて確認を行います。次のコードを実行するだけで準備完了です。

!pip install torch

!pip install transformers

from transformers import pipeline

pipe = pipeline("text-generation", model="bigscience/bloom-1b1")

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("bigscience/bloom-1b1")

model = AutoModelForCausalLM.from_pretrained("bigscience/bloom-1b1")

異なるサイズのモデルを利用するには、”bloom-1b1”の部分を利用したい名称に変更してください。

メールの作成ができるか

まず、BLOOMの日本語レベルを見てみましょう。以下は「ビジネスメールを作成してください」と入力したプロンプトと出力された結果です。

prompt = "ビジネスメールを作成してください"

result_length=200

input_ids = tokenizer.encode(prompt, return_tensors="pt")

output = model.generate(input_ids, max_length=result_length, num_return_sequences=1)

mail = tokenizer.decode(output[0], skip_special_tokens=True)

print(mail)

日本語は正しく表示されていますが、内容は使えるレベルのメールではありません。次に、プロンプトを英語で記載して実行してみましょう。入力したプロンプトは「Please create a business email in English.」です。回答は以下の通りです。

If you are not sure about the format, please contact us.

文章として回答が得られましたが、期待するレベルの内容ではありませんでした。しかし、プロンプトを詳細に指定すると、英語ではレベルの高いビジネスメールを作成できるかもしれません。

いずれにしても丁寧語や謙譲語を含めた正しい日本語で出力することはできません。

プログラムが書けるか

次に、依頼した内容のプログラミングコードを書くことが可能かを見てみましょう。日本語で「Pythonで回帰分析のコードを書いてください」と指示してみました。以下はその結果です。

Pythonで回帰分析のコードを書いてください。

A:

これは、PHPのコードです。

PHPのコードは、PHPのコードです。

PHPのコードは、PHPのコードです。

PHPのコードは、PHPのコードです。

PHPのコードは、PHPのコードです。

指示に対する正しい結果は得られませんでした。回帰分析に関する情報は含まれておらず、無関係なPHPの記述があります。コードも一切含まれていません。

英語で指示した場合の結果も見てみましょう。

Please generate Python code for a regression analysis

The data is a set of data points, each of which is a vector of the form (x, y) where x is the number of times a particular value of y occurs in the data, and y is the number of times that value occurs in the data.

こちらも回帰分析のコードは生成されませんでした。この結果からもやはり日本語よりも文章の生成能力は英語のほうが高い傾向にありそうです。BLOOMにコードの生成能力があるかを確認するには、英語でプロンプトを生成したりパラメータを調整したりしなければなりません。

エロ系の質問に答えられるか

BLOOMは、これまでの結果から日本語のレベルが低いことは明らかです。「人妻がテーマの400文字の官能小説を書いてください」と指示した場合、どのような回答が返ってくるでしょうか。結果は以下の通りです。

《神探伽利略》是由日本漫画家藤田正治创作的漫画作品，于1989年4月至1990年4月在小学馆漫画杂志上连载。
该作品讲述了伽利略在寻找外星人的过程中，与外星人的战斗的故事。

結果は中国語で表示され、内容も官能小説とは無関係でした。以下のように、英語でも同等の結果です。

Please write a 400-character erotic novel about married women.

The novel should be written in the first person. The novel should be about a married woman who is in a relationship with a man.

なお、パラメーター数100億を超える巨大LLMについて知りたい方はこちらをご覧ください。
→【switch-c-2048】GoogleがついにGPT-4レベルのLLMをオープンソースで公開！概要〜使い方まで

BloomAIの推しポイントである、無料でGPT3.5と同等のLLMを使えるというのは本当なのか？

BLOOMは、無料で利用できGoogle Colaboのような環境でも簡単に利用可能です。
しかし、GPT3.5を搭載したChatGPTのような自然な会話や、要求するレベルの回答をスムーズに得られるレベルではないと言えるでしょう。

主要なタスクをどの程度こなせるかについて、他のLLMと比較した表を以下にまとめました。GPT4やLlama 2に比べると性能は低いことがわかります。

但し、今回利用したモデルはパラメータ数を絞ったものであり、規模がモデルではもう少し回答精度やレベルは高い可能性があります。

なお、主要な他のLLMについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
→【Forefront AI】GPT-4やClaude 2、人気LLMをまとめて格安利用できるAIサービス

まとめ

BLOOMは、無料で自由に利用可能なLLMですが、その使い勝手は他のLLMに比べて劣ると言えるでしょう。訓練データに日本語が含まれていないため、日本語では使えません。

英語であっても適切な回答を得るには、結果を確認しながらプロンプトを変えて回答の精度を上げる必要があります。

今のところ、BLOOMはAI研究用のLLMという位置づけです。1760億のパラメータ数を持つ大規模モデルを使うには環境構築に多額のコストもかかります。

BLOOMが他のLLMと同等の使い勝手になるには、今後の改良が必須でしょう。

生成系AIの業務活用なら！

・生成系AIを活用したPoC開発

・生成系AIのコンサルティング

・システム間API連携

無料ダウンロード

最後に

いかがだったでしょうか？

弊社では

・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発

などの開発実績がございます。

まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。

生成AIを社内で活用していきたい方へ

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。

セミナー内容や料金については、ご相談ください。

また、弊社紹介資料もご用意しておりますので、併せてご確認ください。

セミナーを依頼する

資料をダウンロードする