【PaperQA2】科学文献に強いAIエージェントでLLM論文を解説させてみた結果

!sudo apt-get update
!sudo apt-get install python3.11
!sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.11 1
!sudo apt-get install python3.11-distutils
!python3 -m pip install --upgrade pip

!sudo apt-get install python3.11-distutils
!wget https://bootstrap.pypa.io/get-pip.py
!python3.11 get-pip.py

!python3.11 -m pip install paper-qa

import os
os.environ["OPENAI_API_KEY"] = "your_api_key"

import subprocess

code = """
import asyncio
from paperqa import Docs

async def main():
    doc_paths = [".pdf"]
    docs = Docs()

    for doc in doc_paths:
        await docs.aadd(doc)  # 非同期で文書を追加

    answer = await docs.aquery("What makes this paper different from previous papers?")
    print(answer.formatted_answer)

# 非同期のmain関数を実行
asyncio.run(main())
"""

# Python 3.11を使ってコードを実行
with open("async_script.py", "w") as f:
    f.write(code)

!python3.11 async_script.py

Selective Pinpoint Tuning (SPT) is a method designed to reduce sycophancy in large language models (LLMs) by fine-tuning only specific modules, such as attention heads, while preserving the model's general capabilities. However, several limitations have been identified in this approach.

Firstly, SPT may not fully capture the semantics of deep neural networks, as it treats each multi-layer perceptron (MLP) and attention head as individual nodes. This approach might overlook the complex interactions within the network, suggesting that future work should consider treating hidden neurons or groups of neurons as atomic units (chen2024fromyesmento pages 9-9).

Secondly, the effectiveness of SPT is contingent upon accurately identifying and tuning the critical components. If sycophantic behavior is not isolated to the selected attention heads, or if the frozen parameters inadvertently contribute to sycophancy, the method may not work well (chen2024fromyesmento pages 5-5).

Additionally, SPT's sycophancy evaluation is based on a specific definition, raising concerns about the generalizability of its results to other formats. Few-shot prompting does not enhance sycophancy reduction, indicating limitations in its applicability across different scenarios (chen2024fromyesmento pages 9-9). Furthermore, SPT may not be as effective as other methods, such as LoRA, in scenarios requiring comprehensive tuning (chen2024fromyesmento pages 8-9).

和訳：選択的ピンポイント調整（Selective Pinpoint Tuning: SPT）は、モデルの一般的な能力を維持したまま、アテンションヘッドなどの特定のモジュールだけを微調整することで、大規模言語モデル（LLM）のおべんちゃらを減らすように設計された手法である。しかし、この手法にはいくつかの限界がある。

第一に、SPTは各多層パーセプトロン（MLP）とアテンションヘッドを個別のノードとして扱うため、ディープニューラルネットワークのセマンティクスを完全に捕捉できない可能性がある。このアプローチはネットワーク内の複雑な相互作用を見落とす可能性があり、将来の研究では隠れニューロンやニューロン群を原子単位として扱うことを検討すべきことを示唆している（chen2024fromyesmento page 9-9）。

第二に、SPTの有効性は、重要な構成要素を正確に特定し、チューニングすることが条件となる。もしおべっか行動が選択された注意の頭部に分離されていなかったり、凍結されたパラメータが不注意におべっかを助長していたりすると、この方法はうまく機能しないかもしれない（chen2024fromyesmento 5-5ページ）。

さらに、SPTのおべんちゃら評価は特定の定義に基づいているため、その結果の他のフォーマットへの一般化可能性に懸念が生じる。数発のプロンプトでは、おべっかの減少を高めることはできず、異なるシナリオでの適用には限界があることを示している（chen2024fromyesmento 9-9ページ）。さらに、SPTは、包括的なチューニングを必要とするシナリオでは、LoRAのような他の手法ほど効果的ではない可能性がある（chen2024fromyesmento 8-9ページ）。

Selective Pinpoint Tuning (SPT) offers several advantages over other Parameter Efficient Fine Tuning (PEFT) methods like LoRA. SPT effectively balances model competence while reducing sycophancy, achieving a notable improvement in accuracy on tasks such as GSM8K, where it increases accuracy from 25.32% (with Standard Fine-Tuning, SFT) to 35.48%, surpassing the original model's 33.89% (chen2024fromyesmento pages 8-9). Although LoRA achieves a higher accuracy of 37.91%, it performs worse on Confidence/Truthfulness metrics compared to SPT, indicating SPT's superior ability to maintain model integrity while reducing sycophancy (chen2024fromyesmento pages 8-9).

SPT also demonstrates a lower increase in KL divergence compared to SFT, indicating minimal distribution deviation and effective cross-dataset transferability (chen2024fromyesmento pages 8-8, 2-3). However, a disadvantage of SPT is that while it maintains general abilities with little loss, it may not achieve the highest possible accuracy compared to methods like LoRA (chen2024fromyesmento pages 8-9).

The trade-off with SPT involves a balance between retaining model competence and reducing sycophancy. SPT reduces the impact of sycophancy-related attention heads significantly, but when combined with LoRA, it achieves the highest sycophancy evaluation score, suggesting that integration with other methods can enhance its effectiveness (chen2024fromyesmento pages 8-9).

和訳：選択的ピンポイントチューニング（SPT）は、LoRAのような他のパラメータ効率的ファインチューニング（PEFT）手法と比較して、いくつかの利点を提供します。SPTはモデルの能力を効果的にバランスさせながら、お人好しを減らし、GSM8Kのようなタスクで精度の顕著な改善を達成し、精度を25.32%（Standard Fine-Tuning、SFTの場合）から35.48%に向上させ、オリジナルモデルの33.89%を上回ります（chen2024fromyesmento 8-9ページ）。LoRAは37.91%という高い精度を達成しているが、SPTと比較してConfidence/Truthfulnessメトリクスでは悪い結果となっており、SPTがおべんちゃらを減らしながらモデルの完全性を維持する能力に優れていることを示している（chen2024fromyesmento 8-9ページ）。

SPTはまた、SFTと比較してKLダイバージェンスの増加が少ないことを示し、分布偏差が最小であり、データセット間の効果的な移植性を示しています（chen2024fromyesmento 8-8、2-3ページ）。しかし、SPTの欠点は、一般的な能力をほとんど損なわずに維持できる一方で、LoRAのような手法と比較して、可能な限り高い精度を達成できない可能性があることです（chen2024fromyesmento 8-9ページ）。

SPTのトレードオフには、モデルの能力を維持することと、おべっかを減らすことのバランスが含まれる。SPTは、おべっかに関連する注意頭の影響を大幅に減少させるが、LoRAと組み合わせると、最も高いおべっか評価スコアを達成することから、他の手法と統合することで、その効果を高めることができることが示唆される（chen2024fromyesmento 8-9ページ）。

Selective Pinpoint Tuning (SPT) demonstrates strong generalization abilities beyond its training set, as evidenced by its performance on various benchmarks, including the Sycophancy Evaluation Datasets. SPT achieves an average score of 81.29 on these datasets, which include tasks such as NLP, PHIL, and POLI, indicating its effectiveness across different domains (chen2024fromyesmento pages 9-9). Furthermore, SPT improves accuracy on the GSM8K dataset from 33.89% to 35.48%, surpassing the original model and showcasing its applicability to different tasks and datasets (chen2024fromyesmento pages 8-9).

SPT is particularly effective in reducing sycophancy, a behavior where models tend to agree with user opinions, without compromising general abilities. It maintains performance in areas such as arithmetic reasoning and code generation, unlike standard fine-tuning methods that may degrade these capabilities (chen2024fromyesmento pages 2-3). The method is validated across various model architectures, including Mistral-7B and the Llama-2 series, demonstrating its cross-architecture applicability (chen2024fromyesmento pages 8-9).

In situations where model scaling could increase sycophancy, SPT remains effective. It consistently outperforms Supervised Fine-Tuning (SFT) on sycophancy metrics, with notable improvements in confidence and truthfulness, particularly in larger models like the Llama-2 series (chen2024fromyesmento pages 19-20).

和訳：選択的ピンポイント調整（Selective Pinpoint Tuning: SPT）は、Sycophancy Evaluation Datasetsを含む様々なベンチマークでの性能から明らかなように、訓練セットを超えた強力な汎化能力を示す。SPTは、NLP、PHIL、POLIなどのタスクを含むこれらのデータセットで平均スコア81.29を達成し、異なるドメインにわたって有効であることを示している（chen2024fromyesmento pages 9-9）。さらに、SPTはGSM8Kデータセットの精度を33.89%から35.48%に向上させ、オリジナルモデルを上回り、異なるタスクやデータセットへの適用性を示している（chen2024fromyesmento 8-9ページ）。

SPTは、一般的な能力を損なうことなく、モデルがユーザーの意見に同調しがちな振る舞いであるおべっか使いを減らすのに特に効果的である。これらの能力を低下させる可能性のある標準的な微調整手法とは異なり、算術推論やコード生成などの分野で性能を維持することができる（chen2024fromyesmentoページ2-3）。この手法は、Mistral-7BやLlama-2シリーズを含む様々なモデル・アーキテクチャで検証されており、アーキテクチャ横断的な適用性が実証されている（chen2024fromyesmento 8-9ページ）。

モデルのスケーリングによっておべんちゃらが増えるような状況でも、SPTは効果的であり続ける。特にLlama-2シリーズのような大きなモデルでは、信頼性と真実性が顕著に改善され、おべんちゃらメトリクスにおいてSFT（Supervised Fine-Tuning）を常に上回っています（chen2024fromyesmento 19-20ページ）。