【GPT-4o mini】安くて速い最新OpenAIモデル！GPT-3.5は完全終了

from openai import OpenAI
import time
import statistics

client = OpenAI(api_key="your_API_key")

def process_text(model, text, runs=5):
    times = []
    token_speeds = []
    input_token_counts = []
    output_token_counts = []

    for _ in range(runs):
        start_time = time.time()
        try:
            response = client.chat.completions.create(
                model=model,
                messages=[
                    {"role": "system", "content": "You are a helpful assistant."},
                    {"role": "user", "content": text}
                ],
                temperature=0.7,
                max_tokens=4096,
                top_p=1,
                frequency_penalty=0,
                presence_penalty=0
            )
            end_time = time.time()
            processing_time = end_time - start_time
            content = response.choices[0].message.content
            
            # APIレスポンスから正確なトークン数を取得
            input_tokens = response.usage.prompt_tokens
            output_tokens = response.usage.completion_tokens

            times.append(processing_time)
            token_speeds.append(output_tokens / processing_time)
            input_token_counts.append(input_tokens)
            output_token_counts.append(output_tokens)

        except Exception as e:
            print(f"Error processing text with {model}: {str(e)}")
            return None

    return {
        "avg_time": statistics.mean(times),
        "avg_token_speed": statistics.mean(token_speeds),
        "avg_input_tokens": statistics.mean(input_token_counts),
        "avg_output_tokens": statistics.mean(output_token_counts),
        "content": content  # 最後の実行結果を保存
    }

def compare_models(models, texts):
    for text in texts:
        print(f"\nInput: {text}\n")
        for model in models:
            result = process_text(model, text)
            if result:
                print(f"Model: {model}")
                print(f"Average processing time: {result['avg_time']:.2f} seconds")
                print(f"Average token generation speed: {result['avg_token_speed']:.2f} tokens/second")
                print(f"Average input tokens: {result['avg_input_tokens']:.2f}")
                print(f"Average output tokens: {result['avg_output_tokens']:.2f}")
                print(f"Sample output: {result['content'][:100]}...")  # 最初の100文字だけ表示
                print()

# テストするモデルとテキスト
models = ["gpt-3.5-turbo-0125", "gpt-4o-2024-05-13", "gpt-4o-mini-2024-07-18"]
texts = [
    "Explain the concept of artificial intelligence in simple terms.",
    "人工知能の概念を簡単な言葉で説明してください。",
    "Write a short story about a robot learning to feel emotions.",
    "気候変動の主な原因と、その影響を5つずつ挙げて説明してください。",
    "以下の文章を要約してください：日本の伝統文化である茶道は、単なる茶を飲む行為以上の意味を持っています。茶道は、「和敬清寂」という四つの精神を基本としており、これは「和」（調和）、「敬」（尊敬）、「清」（清浄）、「寂」（静寂）を意味します。茶室での所作や道具の扱い方、客人へのもてなしなど、すべてにおいてこの精神が反映されています。茶道を通じて、人々は日常生活から離れ、静かな時間の中で自己を見つめ直す機会を得ることができます。また、季節の移ろいを感じ取り、自然との調和を学ぶこともできます。このように、茶道は日本文化の奥深さと美意識を体現する重要な芸術形態の一つと言えるでしょう。",
]

compare_models(models, texts)

Input: Explain the concept of artificial intelligence in simple terms.

Model: gpt-3.5-turbo-0125
Average processing time: 1.49 seconds
Average token generation speed: 50.43 tokens/second
Average input tokens: 28.00
Average output tokens: 74.60
Sample output: Sure! Artificial intelligence, often referred to as AI, is the simulation of human intelligence proc...

Model: gpt-4o-2024-05-13
Average processing time: 2.70 seconds
Average token generation speed: 55.26 tokens/second
Average input tokens: 27.00
Average output tokens: 134.40
Sample output: Sure! Artificial Intelligence, or AI, is the way we create machines and software that can perform ta...

Model: gpt-4o-mini-2024-07-18
Average processing time: 3.69 seconds
Average token generation speed: 46.14 tokens/second
Average input tokens: 27.00
Average output tokens: 159.40
Sample output: Artificial intelligence (AI) is a branch of computer science that focuses on creating machines and s...


Input: 人工知能の概念を簡単な言葉で説明してください。

Model: gpt-3.5-turbo-0125
Average processing time: 1.74 seconds
Average token generation speed: 73.48 tokens/second
Average input tokens: 44.00
Average output tokens: 128.20
Sample output: 人工知能とは、人間の知能をコンピューターや機械に模倣させる技術や研究のことです。つまり、人間が思考や学習、問題解決などを行う能力をコンピューターや機械に与えることで、様々なタスクを自動化したり、新しい...

Model: gpt-4o-2024-05-13
Average processing time: 1.86 seconds
Average token generation speed: 57.55 tokens/second
Average input tokens: 33.00
Average output tokens: 106.20
Sample output: 人工知能（AI）は、コンピュータやロボットが人間のように考えたり、学んだり、問題を解決したりする能力のことを指します。これには、例えば、会話を理解して返答する、画像や音声を認識する、ゲームをプレイする...

Model: gpt-4o-mini-2024-07-18
Average processing time: 2.58 seconds
Average token generation speed: 46.98 tokens/second
Average input tokens: 33.00
Average output tokens: 116.40
Sample output: 人工知能（じんこうちのう）、またはAI（エーアイ）とは、人間のように考えたり学んだりする能力を持つコンピュータープログラムやシステムのことです。つまり、機械がデータを使って判断をしたり、問題を解決した...


Input: Write a short story about a robot learning to feel emotions.

Model: gpt-3.5-turbo-0125
Average processing time: 4.34 seconds
Average token generation speed: 83.88 tokens/second
Average input tokens: 29.00
Average output tokens: 364.20
Sample output: In a bustling city of the future, there was a robotic assistant named Aria. Aria was designed to be ...

Model: gpt-4o-2024-05-13
Average processing time: 8.48 seconds
Average token generation speed: 86.55 tokens/second
Average input tokens: 29.00
Average output tokens: 727.40
Sample output: In a small, bustling city, there was a robot named Axiom who stood out from the rest. Built by a rec...

Model: gpt-4o-mini-2024-07-18
Average processing time: 18.64 seconds
Average token generation speed: 53.14 tokens/second
Average input tokens: 29.00
Average output tokens: 951.40
Sample output: In a bustling city filled with towering skyscrapers and shimmering lights, there lived a robot named...


Input: 気候変動の主な原因と、その影響を5つずつ挙げて説明してください。

Model: gpt-3.5-turbo-0125
Average processing time: 7.52 seconds
Average token generation speed: 100.77 tokens/second
Average input tokens: 52.00
Average output tokens: 743.00
Sample output: 気候変動の主な原因とその影響をそれぞれ5つずつ挙げます。

主な原因：
1. 化石燃料の燃焼：化石燃料の燃焼により二酸化炭素などの温室効果ガスが大気中に放出され、地球の気温が上昇する。
2. 森林伐採...

Model: gpt-4o-2024-05-13
Average processing time: 11.18 seconds
Average token generation speed: 74.48 tokens/second
Average input tokens: 41.00
Average output tokens: 814.00
Sample output: 気候変動の主な原因とその影響について説明します。

### 主な原因

1. **化石燃料の燃焼**
   - **説明**: 石炭、石油、天然ガスなどの化石燃料を燃焼することで、大量の二酸化炭素（C...

Model: gpt-4o-mini-2024-07-18
Average processing time: 15.46 seconds
Average token generation speed: 54.90 tokens/second
Average input tokens: 41.00
Average output tokens: 802.60
Sample output: 気候変動の主な原因とその影響について、以下にそれぞれ5つずつ挙げて説明します。

### 主な原因

1. **温室効果ガスの排出**
   - 二酸化炭素（CO2）、メタン（CH4）、一酸化二窒素（...


Input: 以下の文章を要約してください：日本の伝統文化である茶道は、単なる茶を飲む行為以上の意味を持っています。茶道は、「和敬清寂」という四つの精神を基本としており、これは「和」（調和）、「敬」（尊敬）、「清」（清浄）、「寂」（静寂）を意味します。茶室での所作や道具の扱い方、客人へのもてなしなど、すべてにおいてこの精神が反映されています。茶道を通じて、人々は日常生活から離れ、静かな時間の中で自己を見つめ直す機会を得ることができます。また、季節の移ろいを感じ取り、自然との調和を学ぶこともできます。このように、茶道は日本文化の奥深さと美意識を体現する重要な芸術形態の一つと言えるでしょう。

Model: gpt-3.5-turbo-0125
Average processing time: 2.11 seconds
Average token generation speed: 76.36 tokens/second
Average input tokens: 330.00
Average output tokens: 162.60
Sample output: 茶道は、単なる茶を飲む行為以上の意味を持ち、「和敬清寂」の精神を基本としています。この精神は「和」、「敬」、「清」、「寂」を表し、茶室での所作や道具の扱い方、おもてなしに反映されています。茶道を通じて...

Model: gpt-4o-2024-05-13
Average processing time: 2.21 seconds
Average token generation speed: 58.40 tokens/second
Average input tokens: 231.00
Average output tokens: 127.00
Sample output: 茶道は単なる茶を飲む行為ではなく、「和敬清寂」（調和、尊敬、清浄、静寂）という四つの精神が基本となっています。茶室での所作や道具の扱い、客人へのもてなしにもこれが反映され、茶道を通じて静かな時間の中で...

Model: gpt-4o-mini-2024-07-18
Average processing time: 3.15 seconds
Average token generation speed: 44.54 tokens/second
Average input tokens: 231.00
Average output tokens: 138.80
Sample output: 茶道は日本の伝統文化であり、単なる茶を飲む行為に留まらず、「和敬清寂」という四つの精神（調和、尊敬、清浄、静寂）を基にしています。茶室での所作や道具の扱い、客人へのもてなしにこの精神が反映されており、...