Microsoft、統一ビジョンモデルFlorence-2発表

MicrosoftのAzure AIチームが、新しいビジョン基盤モデル「Florence-2」を発表しました。

このモデルは、画像キャプション生成、物体検出、視覚的グラウンディング、セグメンテーションなど、さまざまなビジョンおよびビジョン言語タスクを統一的に処理することができます。

Florence-2は、シーケンス・ツー・シーケンスアーキテクチャを採用し、画像エンコーダーとマルチモーダルエンコーダーデコーダーを統合しています。これにより、特定のタスクに依存しない汎用的なモデルとして機能します。

Microsoftは、FLD-5Bという視覚データセットを作成し、126百万枚の画像に対して5.4億のアノテーションを付与しました。

このデータセットを用いてFlorence-2をトレーニングし、空間階層と意味的な詳細を理解する能力を持つ統一的な事前学習フレームワークを実現。

Florence-2は、テキストプロンプトを使用してタスクを活性化し、統一されたパラメータセットで動作します。

Florence-2は、COCOデータセットでのゼロショットキャプション生成テストで、DeepmindのFlamingoモデルを上回る性能を示しました。

また、Microsoftの他のモデルと比較しても優れた結果を出しています。

Florence-2は、Hugging FaceでMITライセンスの下で提供されており、商業利用や個人利用が可能です。

参考記事：VentureBeat