プロ驚き屋撲滅のため【プロ驚き屋判定プロンプト公開します】自社メディア記事でテストしたらまさかの結果に……！？
皆さん、「プロ驚き屋」ってご存知ですか？
ChatGPTで賑わう昨今、関連サービスが出たら「すげえ！」とか、「めちゃくちゃ使える！」とSNSで発信している人たちです。
こんな情報ばかりで、皆さんはもううんざりしていると思います。
そこで今回は、プロ驚き屋を判定するプロンプトを作成し、実際に自社メディア記事でテストしてみました。
果たして我々自身はプロ驚き屋なのか?
そして、この記事を作るに当たり、分析結果から得られた示唆とはどのようなものなのか。
ぜひ最後までご覧くださいっ！
また、お時間がない方は、目次からまとめをクリック！
ぱっと概要を理解できるようにしています！
プロ驚き屋って？
プロ驚き屋とは、ネットスラングの一つです。
とある記事では、次のように定義されています。
あ〜いるいる、って思いますよね。
TLに回ってくるAI界隈のうさんくさそうな人、
過激なタイトルのブログ記事……。
ChatGPTの登場から生成系AIブームに突入した今、あの手この手で乗っかろうとする人達が沢山。
見てやるかと思って投稿を見てみると、案の定中身が伴ってない。時間の無駄だった……そんながっかりな経験が多いのではないでしょうか。
いつのまにか、あっちこっちにAIスペシャリストが溢れている状態……なんだこれ！？ うんざりするわ！
そこで思い付きました。とても皮肉的なアイデアを。
よぉし──プロ驚き屋をChatGPTに見分けてもらおうじゃないか！
それが今回の趣旨です！
（＊ここまで書いてなんですが、私もプロ驚き屋かもしれないとビクビクしております）
まぁ物は試しです。
テストしてみれば明らかになるのですから！
プロ驚き屋判定プロンプトを公開！
「プロ驚き屋」を判定するプロンプトはこちら↓です。
Do you think the title of this blog is highly "pro-surpriser"? Please rate it taking into account the following factors
1. use of hyperbole (e.g., "yikes", "buzz")
2. strong expressions of excitement or surprise about cutting-edge tools and technology
3. use of choice list format (e.g., "10 choices")
The rating is on a scale of 0 to 1, with 1 meaning a very high "pro-surprise" level.
input:
{article_title}
"""説明のために、日本語にすると以下です。
このブログのタイトルは、「プロ驚き屋度」が高いと思いますか？以下の要素を考慮に入れて評価してください：
1. 誇張表現（例：「ヤバい」、「バズった」、「神」、「最強」、「ヤバすぎ」など）の使用
2. 最先端のツールやテクノロジーに対する強い興奮や驚きの表現
3. 選択リスト形式（例：「10選」）の使用
評価は0から1の範囲で行い、1は非常に高い「プロ驚き屋度」を意味します。
入力:
{記事タイトル}
上記プロンプトはChatGPTでコピペで使えます。
{記事タイトル}のところは、Twitterの投稿やユーザー名なんかでも使用可能です。
こちら遊び半分で作ったつもりでしたが、
実は、この分類プロンプト（プロ驚き屋判定）の精度は思った以上に高くなりました。
なぜそう言えるかといいますと、精度確認のため、このChatGPTメディアの記事タイトルが「プロ驚き屋っぽいかどうか」を社外の方々７名にチェックしてもらい、プロ驚き屋プロンプトの結果と比較したからです。
（今回はChatGPTメディア3月〜５月上旬の記事60点をデータソースとしました）
ちなみに、人間７人というのは、弊社エンジニアスタッフのお友達の方々でした。
大変手厳しいラベリングでした……みなさまご協力ありがとうございます。
おかげさまで【プロ驚き屋度】がどれだけ【Label】に則しているかの指標、AUC（※）が計算できます。
結果は、なんと……0.79！
※AUCとは、ROC curveを作成した時に、グラフの下の部分の面積のこと。AUCは0から1までの値をとり、値が1に近いほど判別能力が高いことを示します。
ちなみに、ROC curve（ROC曲線）とは、TPR（True Positive Rate・再現率・Recall・Sensitivity）とFPR（False Positive Rate）によって描かれるグラフであり、主に機械学習で分類モデルを作成した際に、モデルの精度を評価する指標として利用されます。
簡単にいえば、かなりの確率でプロ驚き屋を見分けられるようになったということです！
自社メディア記事でのテスト
今見てくださっているChatGPTメディアはどれぐらいプロ驚き屋なのでしょうか？
私（LeonKobayashi）もめちゃくちゃ気になっています！
というのも弊社のメディア部門では、タイトルのA/Bテストが盛んに行われています。
地味なタイトルは「ユーザーにリーチするタイトルにする」という方針のもと改変されることが多々あるので。
気付けば……なんかプロ驚き屋っぽくなってないか？とヒヤヒヤしていたのです。
では結果発表しますね。
これがうちの平均プロ驚き屋度だ！！
……結果は0.4175!
0.4かぁ…。
若干プロ驚き屋？といったところでしょうか。
ハハッ……微妙な数値で反応に困る。
プロ驚き屋みたいに驚けないぜ……＼(^o^)／
でもプロ驚き屋度が0.9のものもちらほら見える。
コレは間違いなくギルティ。
記事を見てくださっている皆様、大変申し訳ございません。
しかし、これからもプロ驚き屋度が高い記事を上げるかもしれません。
なぜならば、多くの人にコンテンツを届け、ChatGPTを認知していただくには最適だからです。
——は？ 何言ってんだ？
そう思われたかも知れません。プロ驚き屋は昨今忌み嫌われている蔑称。なのに、プロ驚き屋が最適なわけがない。憔悴気味で目にも入れたくないわ……と。
ですが──プロ驚き屋はPV数を稼ぎやすい、と判明しているのです。
こちらに「プロ驚き屋度」と「PV数」を並べてみました。
まずはプロ驚き屋度が高い記事一覧をご覧ください
次に、「プロ驚き屋度」が低い記事一覧をご覧ください。
……！？
プロ驚き屋…………ヤバ……神かよ……圧倒的じゃないか。
相関係数を求めてみると、
結果は、0.6113！
なかなかの相関だ……！
これは明らかに、「プロ驚き屋度とPV数には相関があること」を示しています。
ざっとこのデータを眺めて、私たちはある示唆を得ました。
プロ驚き屋騒動から分かったこと
示唆
弊社データからわかるように、「プロ驚き屋」っぽいタイトルは読者にリーチするのが得意なんです。
では、なぜ「プロ驚き屋」なんて揶揄されるのでしょうか……？
ちょっと考えてみました。
上文でお伝えしたように、記事のタイトルに、プロ驚き屋のようなフレーズを使用すると、多くの読者の目に留まることが分かります。
これは、そこまで言うなら読んでみようかな、といった動機や、面白そうだな、と期待してくれているからであり、
読んでくれる人は、新しい情報や”驚き（サプライズ）”を求めているのではと思います。
しかし、情報過多の時代だからこそ、期待と同時に読者は本質的な情報を求めていて、
表面的な情報だけではなく、深い洞察が欠けていると感じられれば、がっかりさせてしまうのでしょう。
結局のところ、中身が伴ってないから「プロ驚き屋」なんて揶揄される訳ですね。
つまり、”タイトル以上に中身の濃いコンテンツを作ること”をしないと、
「はいはい、またテキトーなこと言ってるな〜」
と思われて、信用はガタ落ち。
二度と手にとって貰えない記事、メディア、うさんくさい人、になってしまうわけです。
では、どうすればタイトルと内容が伴うのか
主に2つのやり方があると思います。
1つ目は純粋に中身を充実させるというもの。
例えば、
1. 「すごい」の基準を明確にする
「すごい」という言葉は主観的ですが、客観的に評価するためにデータを使用します。
製品やサービスの場合だと、
売上やユーザー満足度、Amazonのレビューや評価などで「すごい」が具体的に表せます。
弊社メディアで驚き屋判定されている記事は、SNSの情報も多いので、いいね数やコメント数で基準を設けるのも必要だなと思いました。
2. 表面的なレビューではなく、きちんと紹介したいプロダクトやコードを触って良し悪しをレビューする
使用してから記事にしていますが、専門的なところまでは理解しきれていない可能性もあるので、
専門的な知識がある人たちにレビューをもらうのが良いかなと思います。
コードを使用するものであれば、弊社の開発部隊に使用してもらったり、
プロダクトに関しても、類似している製品を既に使っている人にお願いして、より本質的なレビューをしていきます。
3. 比較対象を何個か置いた上で話す
- 類似している製品の比較
- 現在と過去の歴史的な比較
- 手法の比較
- 地域間の比較
などで比較し、「どこが」「どのように」「どれくらい」違っているのかを示します。
4. 普段実際に使っていて良いモノだけ紹介する
2で本質的なレビューができるので、4では実際に専門的な知識を持つ人の圧倒的な支持、または、筆者自身が日頃から使っているものだけを紹介すること。
そうすることで、ポジティブな意見だけでなく、実際に使っているからこそ分かるネガティブな側面だって伝えられることでしょう。
1〜4で純粋に中身を充実させることができ、皆さんの期待値を下げずに読んでもらうことができるのではないでしょうか？
そして2つ目は、今まさに弊社が挑戦中の、コンテンツ批判AIの作成です。
具体的には、「プロ驚き屋AI」と「コンテンツ批判AI」の2種類。
それぞれの役割は以下の通りです。
- プロ驚き屋AI：キャッチーなタイトルをつけてもらう AI
- コンテンツ批判AI：タイトルに負けない中身になっているか吟味し批判してくれる AI
実際にコンテンツ批判AIが添削している様子の画像です↓
青：自動生成文章（##）
赤：指摘（Line1〜）
自動生成文章
## はじめに
はじめに、OpenAIはGPT3ファミリーの進化について重要な発表を行いました。新たにGPT3.5-turbo-0613とGPT3.5-turbo-0613-16kが追加され、さらなる進化を遂げたGPT3.5-turboシリーズが登場しました。これにより、より高度な自然言語処理を実現することが可能となりました。今回の発表では、GPT3.5-turboシリーズの新たな機能や性能について詳しく紹介していきます。新たなモデルの登場により、ChatGPT4だけではなく、GPT3ファミリー全体が進化を遂げたことを強調したいと思います。
添削
Line1: 記事の内容が大げさに表現されています。
Line2: 新たに追加されたモデル名が正確に記載されていません。
Line3: GPT3.5-turboシリーズの進化について具体的な詳細が欠けています。
Line4: GPT3ファミリー全体の進化について具体的な詳細が欠けています。
このように、##に続く文章が自動文章生成の部分で、Lineに続く文章が添削箇所です。
鋭い指摘ですよね！これらを元に添削や加筆をしていけば、納得感のある記事になりそうな気がします！
（……あれ、優秀すぎない？そろそろ私のライター業務、本気でなくなるんじゃないの……）
なお、ライターの作業効率を高める方法について知りたい方はこちらをご覧ください。
→【GPTs×ライター】執筆スピードが5倍、文字単価が爆上がりするGPTsの使い方10選
まとめ
今回の記事について、次のように要点をまとめました。
プロ驚き屋とは？
最先端のツールやテクノロジーを興奮気味に紹介し、適当な成功例に基づいて過剰な主張を行う人々を指します。
今回やったこと
プロ驚き屋判定プロンプトを開発。
記事タイトルのプロ驚き屋度を定量的に評価することが可能になりました。
弊社メディアで実験しわかったこと
弊社メディアの記事をもとに、プロ驚き屋度を算出。
その後、PVとの相関を求めたところ、相関係数は0.6113。
中程度の相関があり、「プロ驚き屋度の高い記事は、PVが高くなる傾向」を発見。
今後
プロ驚き屋記事のタイトル付けは、読者へリーチするのが得意。
この示唆をもとに、中身も伴っているコンテンツを量産するべく、弊社では次の2種類のAIを開発中。
- プロ驚き屋AI：API経由でトレンドリサーチ、タイトル作成
- コンテンツ批判AI：WordPressの下書きを読み込み、ダメ出し、文章構成、添削
生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIのコンサルティング
・システム間API連携
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、サービス紹介資料もご用意しておりますので、併せてご確認ください。
