【Llama-OCR】画像をMarkdownに変換！LLMの画像認識力を大幅に向上

紙の文書をデジタル化する際、レイアウトの崩れや文字の誤認識に悩まされたことはありませんか?

Llama-OCRは、AIの力で従来のOCR技術の限界を超え、文書の「理解」と「抽出」を同時に実現するソリューションです。

ぜひ最後までご覧ください！

Llama-OCRとは

このツールはMetaのllamaという大規模言語モデルを基盤に開発された新しい形のOCRシステムです。

従来のOCRが単に文字を読むだけだったのに対し、Llama-OCRは「文章を理解する」ことができます。まるで人間が文章を読むように文脈を理解しながら情報を取り出すことができます。

複数言語に対応

英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語、の８言語に対応。

Llama-OCRのライセンス

ライセンス名：「LLAMA2 Community License」

参考記事：Llama2のライセンス条件について解説する｜福岡真之介note·2

月間アクティブユーザー数が7億人を超える製品やサービスに利用する際は、Metaから個別にライセンスを取得する必要があります。

なお、軽量版のLlama3.2について詳しく知りたい方は、下記の記事を合わせてご確認ください。

WEEL

Metaの軽量版Llama 3.2-1Bと3Bが公開！4倍の推論速度をGoogle Colabで体感してみた | WEEL 2024/10/25、Metaから新たなLLMモデルがリリース！ リリースされたモデルはLlama3.2 1Bと3Bで、モバイルデバイスでも利用できるように開発されています。 軽量になっており…

Llama-OCRの使い方

・Python バージョン：Python 3.11以上が必要

・​​​​​​ディスク容量：56.4GBの空き容量が必要

・システムRAM：最低3.7GBのRAMが必要

・GPU　RAM：22.1GBのGPU RAMが必要

なお、軽量版のモデルではより少ないリソースで動作させることも可能です。また、CPUのみの環境でも動作させることはできますが、処理速度は大幅に低下します。

サンプルコード：

import { ocr } from 'llama-ocr';

const markdown = await ocr({
  filePath: './trader-receipt.jpg', 
  apiKey: process.env.TOGETHER_API_KEY
});

Llama-OCR×GPTで英語の商品表示を翻訳してみた

以下の様に、英語で書かれた商品表示をMarkdown形式にした後、GPTで翻訳させてみました。

Llama-OCRとGPTを活用し、英語の商品表示を効率的に翻訳しました。高精度なOCR技術で画像からテキストを正確に抽出し、GPTの高度な言語処理能力により、自然な日本語に翻訳することができました。

日本語の表をLlama-OCRでマークダウンに変換してみた

日本語の表をマークダウンに変換してもらおうと思いましたが、残念ながら期待通りの結果は得られませんでした。表の構造や文字の認識において、AIの理解が不十分であることが明らかになりました。

この経験から、複雑な表形式のデータの変換には、まだ人間の介入や専門的な知識が必要であることを実感しました。

なお、画像認識も可能な最新のLlamaモデルについて詳しく知りたい方は、下記の記事を合わせてご確認ください。

WEEL

Metaの新モデル「Llama 3.2」画像認識ができる最新LLMの実力とは！？ | WEEL Metaの最新AIモデルLlama 3.2の特徴と実装方法を徹底解説。Llama 3.2は、エッジデバイスでも動作可能な軽量モデルや、高度な画像認識をサポートする大規模モデルを提供。Go…

まとめ

Llama-OCRは、紙の文書をデジタル化する際のレイアウト崩れや文字の誤認識を解決するために開発された革新的なOCRツールで、Metaの大規模言語モデルLlamaを基盤にしており、単なる文字認識を超えて文脈を理解しながら情報を抽出できます。

このツールは英語、ドイツ語、フランス語など8つの言語に対応していますが、日本語は含まれていません。それでも動作には問題がなく、精度は高いとされています。

Llama-OCRは「LLAMA2 Community License」の下で提供されており、商用利用や改変が可能ですが、特定の条件があります。使用にはPython 3.11以上、56.4GBのディスク容量、最低3.7GBのRAMが必要です。

実際には、Llama-OCRとGPTを使って英語の商品表示を翻訳したり、日本語の表をマークダウン形式に変換しようとしましたが、AIの理解不足が課題として残りました。このようにLlama-OCRはデジタル化の新しい可能性を提供する技術として注目されています。

紙の文書や書類をデジタル化する際に、レイアウトを崩さずに正確なテキストを抽出できるため、業務の効率化に役立ちます。また、多言語対応の機能を活用して、外国語の文書を日本語に翻訳することも可能です。さらに、画像内のテキストを抽出してマークダウン形式に変換することで、ウェブコンテンツや資料作成の際に便利です。

最後に

いかがだったでしょうか？

生成AIを社内で活用していきたい方へ

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。

セミナー内容や料金については、ご相談ください。

また、サービス紹介資料もご用意しておりますので、併せてご確認ください。

無料で相談する

資料をダウンロードする