LFM2-2.6B-Expとは？軽量モデルで命令追従と数学推論が強化されたLiquid AIの最新モデルを徹底解説

pip install -U transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "LiquidAI/LFM2-2.6B-Exp"

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="bfloat16",
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

prompt = "日本語で、LFM2-2.6B-Expの強みを1文で教えてください。"
input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
).to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.3,
    min_p=0.15,
    repetition_penalty=1.05,
    max_new_tokens=256,
)

print(tokenizer.decode(output[0], skip_special_tokens=False))

‘I love sushi’ を日本語に翻訳して

LFM2-2.6B-Expモデルに採用されているLiquid AI独自のマルチゲート畳み込みとGrouped Query Attentionを組み合わせたハイブリッド構造について説明して

LFM2-2.6B-ExpモデルにおけるLiquid AIが採用しているマルチゲート畳み込み（Multi-Gate Convolution）とGrouped Query Attentionを組み合わせたハイブリッド構造は、従来のTransformerアーキテクチャの限界を克服しつつ、効率性と表現力を高めるための革新的な設計です。以下にその概要を説明します。

1. 背景と目的
Liquid Foundation Models（LFM）は、液体状態機械（LSTM）の概念を拡張し、深層信号処理ネットワーク（SSTN）や動的計算グラフを用いて、時間的・空間的依存性を柔軟に捉えることを目指しています。特に、大規模言語モデル（LLM）においては、長文や複雑なシーケンス処理における効率性と性能向上が重要な課題でした。
このため、LFM2-2.6B-Expでは、計算コストを抑えつつ、長距離依存関係や局所構造を効果的に学習するために、マルチゲート畳み込みとGrouped Query Attentionを統合した新しいアーキテクチャを採用しています。

2. マルチゲート畳み込み（Multi-Gate Convolution）
マルチゲート畳み込みは、複数のゲート機構を用いて、異なるスケールや特徴の情報を逐次抽出する仕組みです。具体的には：

ゲートの役割:
各ゲートは、特定の周波数帯域や時間スケールに対応し、入力シーケンスから多段階の特徴抽出を行います。これにより、ローカルな詳細とグローバルな文脈を同時に捉えることが可能になります。

畳み込みの利点:
畳み込み演算は並列処理に適しており、計算効率が高く、長いシーケンスでも高速に処理できます。マルチゲート版では、各ゲートが独立して畳み込みを実行し、階層的な表現学習を実現します。

Liquidへの適応:
LFMでは、この畳み込み層が非線形活性化関数と組み合わさり、複雑なパターンを学習します。また、動的ゲート選択により、入力データに応じてどのゲートを強調するかを調整できます。

3. Grouped Query Attention
Grouped Query Attentionは、クエリとキーの結合方法を工夫したアテンション機構です。従来のアテンションとは異なり、以下のような特徴があります：

グループ化されたクエリ:
入力の類似した要素をグループ化し、1つのクエリで集約することで、計算量を削減します。これにより、全要素間のアテンションを避けつつ、関連性の高い部分に焦点を当てられます。

効率的な長距離依存:
グループ化により、遠く離れた要素間の関係も効果的に捉えられ、長文や複雑な依存構造を扱う際の性能が向上します。

Liquidとの統合:
Grouped Query Attentionは、マルチゲート畳み込みの出力と連携し、階層的な注意メカニズムを形成します。これにより、局所的な特徴抽出とグローバルな文脈理解をバランスよく実現します。

4. ハイブリッド構造の全体像
両者の組み合わせにより、以下のような利点が得られます：

計算効率:
マルチゲート畳み込みの並列性とGrouped Query Attentionのグループ化により、大規模データに対する高速処理が可能になります。

表現力の向上:
異なるスケールの特徴を抽出し、階層的なアテンションで文脈を統合することで、複雑な言語構造や時系列データの理解が深まります。

柔軟性:
ゲート機構とグループ化戦略により、タスクやデータに応じたアーキテクチャの調整が容易です。

5. LFM2-2.6B-Expへの応用
LFM2-2.6B-Expでは、このハイブリッド構造が**大規模なパラメータ数（2.6B）**と組み合わさることで、以下のような性能を発揮します：

長文処理:
マルチゲート畳み込みによる効率的なシーケンス圧縮と、Grouped Query Attentionによる長距離依存の捉え方で、数万トークンの文脈を保持可能です。

低遅延推論:
並列化可能な畳み込みとグループ化アテンションにより、リアルタイムアプリケーションにも対応します。

汎用性:
自然言語処理だけでなく、音声、画像、時系列データなど、多様なモダリティへの拡張性があります。

まとめ
LFM2-2.6B-Expにおけるマルチゲート畳み込みとGrouped Query Attentionのハイブリッド構造は、計算効率と表現力の両立を目指した革新的な設計です。この組み合わせにより、Liquid AIは、大規模言語モデルとしての性能を最大限に引き出しつつ、実用的な推論速度を実現しています。

正の整数x, yについて、1/x + 1/y = 1/12 を満たす組 (x, y) をすべて求めて。重複（xとyの入れ替え）は同一として扱い、最後に『答え：』で一覧にして。

えられた方程式は

1
x
+
1
y
=
1
12
x
1
​
 + 
y
1
​
 = 
12
1
​
 
正の整数 
x
,
y
x,y について、重複（入れ替え）を同一として解く。

手順：
両辺に 
12
x
y
12xy を掛けると：

12
y
+
12
x
=
x
y
12y+12x=xy
整理すると：

x
y
−
12
x
−
12
y
=
0
xy−12x−12y=0
両辺に144を加えて因数分解：

x
y
−
12
x
−
12
y
+
144
=
144
xy−12x−12y+144=144
(
x
−
12
)
(
y
−
12
)
=
144
(x−12)(y−12)=144
144の約数の組を求める：
144の正の約数の組 
(
a
,
b
)
(a,b) で 
a
=
x
−
12
a=x−12, 
b
=
y
−
12
b=y−12 とおくと、

(
x
,
y
)
=
(
a
+
12
,
b
+
12
)
(x,y)=(a+12,b+12)
144の約数の組は以下（順序を考慮せず、重複なし）：
(1,144), (2,72), (3,48), (4,36), (6,24), (8,18), (9,16), (12,12),
およびそれらの逆も含むが、重複は同一とする。

各組から 
(
x
,
y
)
(x,y) を列挙：
(13, 156)
(14, 84)
(15, 60)
(16, 48)
(18, 36)
(20, 30)
(21, 28)
(24, 24)
これらはすべて異なる組（入れ替えは同一とみなす）。

答え：
答え：(13, 156), (14, 84), (15, 60), (16, 48), (18, 36), (20, 30), (21, 28), (24, 24)

答え：
(13, 156), (14, 84), (15, 60), (16, 48), (18, 36), (20, 30), (21, 28), (24, 24)

袋に赤3個・青2個・白1個の球がある。復元なしで2回取り出すとき、2回目に赤が出たという条件のもとで1回目が青であった確率を求めて。計算過程は簡潔に、最後に『答え：』で確率だけ。