こんにちは、ナマケモノです。↑は最近youtubeのさかなクンちゃんねるにて公開された、ChatGPTとさかなクンが魚に関する知識で勝負するという動画です。さかなクンの魚に関する深い知識を聞いているだけでも非常に興味深いのですが、ChatGPTがなかなかに的を得ないアホな回答ばかりしていて、笑えるという意味でも面白い内容でした。
動画の中ではおそらくGPT-3.5のモデルに日本語で、しかも最大20文字程度の非常に短いプロンプトで質問を投げかけているため、間違った回答が返ってきていると思われます。
今回はGPT-４のモデルに英語で同じようなプロンプトで質問を投げかけた場合、果たしてどのような回答が返ってくるのか、何個か比較してみたいと思います。
【質問】さかなクンとは？
動画内の回答
動画内でのChatGPTの回答は以下のとおりです。（一部抜粋）
「さかなクン」は日本のお笑い芸人であり、魚に関する知識を持つことで知られているさかな愛好家です。本名は坂上聡（さかがみさとし）さんで、1970年生まれ、千葉県出身です。
さかなクンは、中学生のころから魚釣りを始め、高校生の時にはバス釣りの全国大会に出場するなど、釣りに熱中していました。
その後、お笑い芸人として活動しながらも、テレビ番組などで魚に関する知識を披露することが多く、独自の視点で魚を紹介する「さかなクンのワンダフルフィッシング」という番組を持っていました。
【AI×人類・知能決戦】どっちがお魚知識が多いかハッキリさせておきました【チャットGPT】
さかなクンは一応お笑い芸人ではないし、本名は坂上聡さんではないし、ワンダフルフィッシングという番組も持っていないそうです。さかなクンに詳しくない人がみたら、素直にへぇそうなんだと思ってしまいそうな内容です。
GPT-4 + 英語で質問
同じ質問を、モデルをGPT-4に変え、英語でしてみた結果がこちらです。
これをChatGPTで翻訳した結果がこちら。
Wikipediaでみたところ、さかなクンの本名は宮澤正之さん（おしい！）、誕生日は1975年8月6日とのことです。名前の漢字と誕生日は間違っちゃってますが、その他の内容はあっているように見えます。
【質問】さかなクンの頭にいるのは？
動画内の回答
動画内の回答は以下のとおりです。（一部抜粋）
「さかなクン」というキャラクターの頭にいるのは、「ウシガエル」という生き物です。
【AI×人類・知能決戦】どっちがお魚知識が多いかハッキリさせておきました【チャットGPT】
さかなクンの頭にいるのは、ハコフグです。あとさかなクンはキャラクターでもないですね。じわじわ来ます。
GPT-4 + 英語で質問
同じ質問を、モデルをGPT-4に変え、英語でしてみた結果がこちら。
ChatGPTで翻訳した結果がこちら。
うん、間違ったことは言っていませんね。
ちなみに頭に乗っているサカナは何？と英語で聞いてみました。
サバだそうです。。。
【質問】サケとサーモンの違い
動画内の回答
動画内の回答は以下のとおりです。（一部抜粋）
一般的に、サケは淡い色の肌を持ち、体に黒い斑点があります。一方、サーモンはピンク色や赤色の肌を持ち、斑点はありません。
【AI×人類・知能決戦】どっちがお魚知識が多いかハッキリさせておきました【チャットGPT】
さかなクンによれば、サケもサーモンも成長によって見た目が変わるそうなので、↑の回答は間違っているといえます。
一般的に、サケは生で食べることが多く、寿司や刺身などによく使われます。一方、サーモンは生でも食べられますが、焼いたり、燻製にしたりすることが一般的です。
【AI×人類・知能決戦】どっちがお魚知識が多いかハッキリさせておきました【チャットGPT】
さかなクンも動画の中で言っていますが、海でとれたサケはアニサキスなど寄生虫の心配があるので、いったん冷凍してからルイベなどでいただいた方がよいとのこと。一方サーモンは養殖なので寄生虫の心配はなく、生で食べられるとのことです。総じて間違った回答だといえますね。
GPT-4 + 英語で質問
同じ質問を、モデルをGPT-4に変え、英語でしてみた結果がこちら。
ChatGPTで翻訳した結果がこちら。
動画内でも同じような説明がさかなクンよりされていました。こちらでは英語での質問、GPT-4モデルの使用で正しい回答を導き出し、精度が向上したことがみて取れます。
まとめ
今回はさかなクンのYouTube動画をサンプルとして、GPT-3.5モデル＋日本語プロンプトのパターンと、GPT-4モデル＋英語プロンプトのパターンでどれだけ精度が向上するのか見てみました。
結果的に、以下3つのことが言えそうです。
- 巷で言われているとおり、ChatGPT-4＋英語プロンプトを使用することで精度の向上が見込める
- 特定の個人の詳細な情報を含むような回答はGPT-4でも未だニガテ
- ChatGPTの適当回答はお笑い的に無限のポテンシャルを秘めている
今回はGPT-4のモデルと英語プロンプトを使用するという簡単な変更のみでしたが、プロンプトを通じた指示の内容をより具体的にしてやることで、回答が正確になる可能性は高いと思います。そのあたりはまたの機会に試したいと思います。
最後に、google検索で「さかなクン 本名」と入力したときに、ChatGPTの拡張機能が出してきた回答の適当っぷりがちょっと面白かったので、貼っておきます。
ではでは。
コメント