【GPT-4V】ChatGPTが人間を超越する。究極の使い方10選
みなさん、とうとうChatGPTが画像入力に対応しました！
2023年9月25日に発表された「GPT-4V」は文字にくわえて、画像入力・音声出力が可能なマルチモーダルAI。ChatGPTへの実装に伴い、有料版では画像を頼りに説明文やソースコードの生成ができるようになりました。
GPT-4Vを発表したOpenAIのツイートにはなんと、いいねが40,000件も付いています。
SNSのタイムラインでは「手書きの図からアプリのコードが生成できる！」や「絵画の添削をしてくれる！」など、話題沸騰中。当記事ではそんな「GPT-4Vの究極の使い方」を10個紹介していきます。
最後までお読みいただくと趣味に、仕事に、ChatGPTを使ってみたくなるはず。ぜひ最後までご覧ください。
GPT-4Vの究極の使い方10選
当記事ではSNSで話題のGPT-4Vの究極の使い方を10個紹介。
早速、その活用事例をみていきましょう。
【ソフトウェア開発の活用事例】サンプル画像からSaaSのHTMLコードを生成
GPT-4Vは小規模なWebサイトだけでなく、SaaS（オンラインで使うアプリ）の開発にも使えます！AIエンジニアの方が、以下のプロンプトとサンプル画像をGPT-4Vに示したところ……
【プロンプト】
You are an expert UI/UX designer and software developer. Break down SaaS dashboard into components.
You are going to pass this plan to a software dev on your team to build.あなたは熟練のUI/UXデザイナー兼ソフトウェア開発者です。SaaSのダッシュボードをコンポーネントに分解してください。
あなたは、この計画をあなたのチームのソフトウェア開発者に渡して構築してもらいます。ChatGPT に SaaS ダッシュボードのスクリーンショットを渡したら、コードを書いてくれました。
これが未来です。
GPT-4Vはなんと、レイヤー分けされたHTMLコードを1発で生成。
文字・数字からメニューバーのスタイルまで、サンプル画像どおりに仕上げてくれました。
所々グラフが違っていたり、丸写ししているだけの箇所があったりしますが、大枠だけならSaaSの開発もGPT-4Vに任せられそうです。
【コーディングの活用事例】計算機アプリのスクショからそのサンプルコードを生成
GPT-4Vなら完成品の画像だけで、サンプルコードの生成が可能！人間とは違って、詳細な仕様書は不要です。
以下の投稿主は、GPT-4VにiPhoneの計算機アプリのスクショを添えて「このアプリを作りたい。コードを書いて」と命令しました。すると……
GPT-4Vは、なんと1発で正常に動く計算機アプリのサンプルコードを生成してみせたのです。しかもスクショのレイアウトも、きっちり守っていますね。
【状況推理の活用事例】道頓堀の写真から2023年の阪神優勝を推定
阪神ファンの「猛虎魂」も、GPT-4Vにはかないません。
GPT-4Vに阪神タイガース優勝後の道頓堀の写真を与えてみたところ……
このように、「場所が道頓堀であること」と「野球チームの勝利を祝っていること」を見事に当てています。
ちなみにGPT-4Vは、2022年までの知識しか学習していません。にもかかわらず、阪神ファンでも予想していなかった「アレ」を当ててみせるGPT-4Vは、なかなかの猛虎魂をもっていますね！
【Web開発の活用事例】原案の絵からWebサイトのHTMLコードを生成
Webデザイナー歓喜！GPT-4Vなら、ペンで書いたWebサイトの設計図を見せるだけでHTMLコードを生成してくれます。
下記の投稿主はウェルカムメッセージとHOMEボタン、検索窓を備えたWebサイトの設計図をGPT-4Vに提示し、HTMLでWebサイトを作るように指示しました。設計図といっても、ペンで文字と枠を書いただけの簡易な絵。ですがGPT-4Vは……
GPT-4Vマルチモーダルの図面だけでHello Worldコーディング。
アプリのコーディングは、今やアプリを描くことに近づいている…。
未来へようこそ。
なんと文字や枠で示した機能を理解し、”Welcome to my Site!”をタイトルとしたWebサイトのHTMLコードを生成してくれたのです！
デジタル技術の進歩に伴い、一周回ってアナログな「紙とペン」でWebサイトを設計する日が近づいているのは興味深いですね。
【翻訳の活用事例】古文書のアラビア語を英語に翻訳
歴史愛好家のみなさん、ダヴィンチやナポレオンが書き残した文章を読んでみたくはありませんか？
GPT-4Vはアラビア語や筆記体にも対応済み。以下の投稿のように、アラビア語の写本の画像を添えて「写しとって翻訳して」と頼むだけで、英語に訳した文章を生成してくれます。
GPT-4Vは、原稿やテキストの書き起こしや翻訳ができる。
私はアラビア語の原稿を試し、その出来栄えを確認することに興奮している。GPT-4Vは、ほとんどの人間よりも転写で驚異的な仕事をします。
また筆記体の文章については「これ読める？」と問いかけるだけで、ブロック体に変換可能。そのうち織田信長や坂本龍馬の書いた筆文字にも、対応してくれるかもしれませんよ。
【eラーニングでの活用事例】ニューラルネットワークの概念図から内容を詳しく解説
GPT-4Vは「自分自身のこと」をよく理解しているようです。
以下の例では、図形を組み合わせた「なんらかの概念図」をGPT-4Vに提示。説明を求めたところ……
GPT4Vは魔法のようだ…自分自身の動作を表す画像をテキストで説明し、自分自身を視覚的に表現する新しい方法を提案できるマシン。生きていてよかった。
GPT-4Vはこの概念図を、生成AIを構成する「ニューラルネットワークの内部構造」を示すものと指摘。記された文字の意味まで詳しく解説してくれました。
また「同じ内容を別の表現で図式化できないか」と尋ねたところ、図式化の方法を文章で答えています。
このように高度な内容について学びたい場合でも、GPT-4Vなら「最高の先生」になってくれるはずです。
【創作活動での活用事例】絵を上手く描くアドバイスが可能
GPT-4Vがあれば、美大合格も夢じゃありません！GPT-4Vに水彩絵の具で書かれた「花の絵」と以下のプロンプトを与えたところ……
【プロンプト】
how can I improve this gouache painting to make it more realistic? be specificこのガッシュ画をより写実的にするにはどうすればよいでしょうか？ 具体的に教えてください。GPT-4Vで大きな飛躍を遂げることができたと思う。
GPT-4Vは、花の絵で修正すべき主な点（影を濃くすること）を特定し、牛の絵に対して複数の良い提案をしてくれました🤯
GPT-4Vは「影を濃くしましょう」と、描いた絵に対して具体的なアドバイスを示してくれました。
また「牛の絵」についても以下の通り、絵の改善策とその理由を詳しく教えてくれます。
【プロンプト】
how can I improve this painting to make it more realistic? be specificこの絵をより写実的にするには、どうすればよいでしょうか？ 具体的に教えてください。Looking at the painting, here are some specific suggestions to make it more realistic:
1.Depth & Shading: The area around the cow’s eye and nose can benefit from deeper shadows.By increasing contrast in these areas, you’ll provide a more 3D appearance.
2.Texture: Realistic animal fur often has a mix of short strokes, varying in color and tone. You could add some more individual hair detailing, especially around the edges of the face and neck, to make the fur texture stand out.
3.Eye Reflection: Adding a subtle light reflection in the cow’s eye could give it more life and depth. Eyes are often wet, and capturing that tiny gleam can do wonders for realism.
4.Background: While the background doesn’t need to be detailed, you might consider adding some gradient shades or soft shadows. This can give a sense of depth and distance.
5.Details in the Grass: Consider adding some variation in the length and direction of the grass strokes, and maybe mix in a few different shades of green to give the grass more dimension.
6.Ear Definition:The inside of the cow’s ear can have some more shading and details, to give it depth and make it look more concave.
7.Signature: Just a small point, but maybe you could place your signature in a slightly less conspicuous spot? It’s nice to have it there, but making it a bit more subtle might let viewers focus more on the painting itself.
絵を見て、よりリアルにするための具体的な提案をいくつか挙げてみよう：
1.深みと陰影： 牛の目と鼻の周辺は、より深い影をつけるとよい。この部分のコントラストを上げることで、より立体的に見える。
2.テクスチャ： リアルな動物の毛は、色やトーンの異なる短いストロークが混在していることがよくあります。毛の質感を際立たせるために、特に顔や首の縁に毛のディテールを加えるとよいでしょう。
3.目の反射： 牛の目に微妙な光の反射を加えることで、より生き生きとした深みを与えることができる。目は濡れていることが多いので、その小さな輝きを捉えることで、リアリズムに大きな効果があります。
4.背景： 背景は細かく描く必要はありませんが、グラデーションの陰影をつけたり、柔らかな陰影をつけたりするとよいでしょう。奥行きや距離感を出すことができる。
5.草のディテール：草のストロークの長さや方向に変化をつけたり、草に立体感を与えるために、いくつかの異なる色合いの緑を混ぜたりすることを検討してください。
6.耳の定義：牛の耳の内側にもう少しシェーディングとディテールを加えて、奥行きを出し、より凹んで見えるようにする。
7.サイン：ちょっとしたことですが、サインをもう少し目立たない場所に配置するのはどうでしょう？そこにあるのはいいことだが、もう少しさりげなくすることで、見る人がもっと絵自体に集中できるようになるかもしれない。
GPT-4Vに絵を習えば、画塾に通わなくても「難関美大」の受験を突破できるかもしれません。
【受験勉強での活用事例】高校数学の図形問題に正解
最後にリサーチャーが個人的に感動した例を紹介します。
GPT-4Vなら高校数学の図形問題に対しても解説が可能。もはや学校に通う必要すらなくなるかもしれません。
以下の投稿では、「25m離れた建物の間に傾き10°で張られたワイヤーの長さ」を問う例題をGPT-4Vに提示しています。そして「コレ、解いて」と頼んでみると……
GPT4Vは写真から数学の問題を解くことができるようになった。
このようにGPT-4Vは「三角関数」を使って、解き方を示してくれました。さらに以下の画像1枚目のとおり、答えについても……
ChatGPTを使って試験でカンニングするのを止めるには？
もちろん、Aは取れませんが、それでもほとんどの場合は正しいのです。
見事正解！またほかの例題3問のうち、2問で正しい答えを示しています。未来の子どもたちは、5教科と美術の授業をChatGPTから受けるのかもしれません。
【資料収集の活用事例】色分けした日本地図から色分けの基準を推定
行政の資料を集めるときにも、GPT-4Vが活躍します。
数字の範囲ごとに色分けされた日本地図（ヒートマップ）をGPT-4Vに提示し、「この画像から読み取れることはありますか？」と質問したところ……
GPT-4Vはこの画像が日本地図であることを特定。各都道府県・色・数字の関係性から、「人口を色分けした地図」であると推理しています。しかも「都市圏に人口が集中していること」や「2020年の情報であること」まで、読み取ってみせました。
あとはプロンプトで「内容の要約」を指示すれば、山のような資料でもあっという間に読破できてしまいます！
【UIテストの活用事例】ゲームのスクショから改善できる点を提案
ゲーム開発にもGPT-4Vを活用できます！
老若男女・国籍関係なく誰でも楽しめるゲーム「ハイパーカジュアル」は、億単位の収益も夢じゃないホットな分野です。そのプレイ画面をGPT-4Vに見せて、UIのわかりやすさを100点満点で評価してもらったところ……
なんと採点理由も添えて、85点と評価してくれました。しかも改善すべき点まで、具体例付きで示しています。ここまでロジカルな採点なら、ユーザーよりもGPT-4Vのフィードバックのほうが信用できそうですね。
ちなみにGPT-4Vについては、以下の記事がより詳しく解説しております。
なお、GPT-4Vについて詳しく知りたい方は、下記の記事を合わせてご確認ください。
→【GPT-4V】ChatGPTがマルチモーダル対応！何がすごいかを徹底解説
まとめ
今回はChatGPTの一大アップデート、GPT-4Vの活用事例を10個紹介しました。
みなさんもChatGPTに質問してみたいことが、増えたんじゃないでしょうか？
GPT-4Vは人間でも難しい、「画像の意図を読み解くこと」ができています。IT分野の開発から教育の現場まで、ChatGPTが活躍する日は近いでしょう。
ただここまでの機能を得たGPT-4Vですら、ほんの通過点に過ぎません。まだまだChatGPTはアップデートを受けていくと思いますので、引き続き動向を紹介していきます。
生成系AIの業務活用なら！
・生成系AIを活用したPoC開発
・生成系AIのコンサルティング
・システム間API連携
最後に
いかがだったでしょうか？
弊社では
・マーケティングやエンジニアリングなどの専門知識を学習させたAI社員の開発
・要件定義・業務フロー作成を80%自動化できる自律型AIエージェントの開発
・生成AIとRPAを組み合わせた業務自動化ツールの開発
・社内人事業務を99%自動化できるAIツールの開発
・ハルシネーション対策AIツールの開発
・自社専用のAIチャットボットの開発
などの開発実績がございます。
まずは、「無料相談」にてご相談を承っておりますので、ご興味がある方はぜひご連絡ください。
➡︎生成AIを使った業務効率化、生成AIツールの開発について相談をしてみる。
「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。
セミナー内容や料金については、ご相談ください。
また、サービス紹介資料もご用意しておりますので、併せてご確認ください。
