最近話題の人工知能「ChatGPT」。
お題を与えたり命令したりすると、まるで人間みたいに自然な「それっぽい文章」を返してくれます。
でも、その文章の「内容」はどうなんでしょうか？
無料版のChatGPTで試してみました。
《Contents》
ChatGPTは「めっちゃ有能だが、誠実ではないライター」
知識を問うと、嘘をつく
「ChatGPTがGoogleの立場を奪うのではないか？」という話があります。
Googleで検索すると、広告やアフィリエイトサイトがずらーっと表示され、そこから欲しい情報、確かな情報を選ぶのが結構大変だったりします。
そのため一問一答でズバリ答えてくれるChatGPTにユーザーが移行し、「検索するならChatGPT」になってしまうのではないかということですね。
でも、現時点でChatGPTはGoogleの代わりにはならないでしょう。
知らないことを聞かれると、シレッと嘘をつくからです。
ためしに私「鈴木鋭智」でエゴサーチしてみましょう。
「俳優」とか「サッカー選手」とか、人違いにもほどがある。
知らないなら「知らない」といえばいいのに。。。
でも、それは私が無名の一般人だからであって、有名なことを聞いたら正しく答えてくれるでしょう。
たとえば「侍ジャパン」とか。。。
一見、ちゃんとした説明のようですが・・・
Wikipedia「野球日本代表」によると、
- 「日本野球機構（NPB）が運営するプロ野球選手から選ばれた」という規定はなく、アマチュアも米メジャーリーグの選手も参加できる。
- 「2005年に初めて設立され」も嘘。日本代表そのものは1954年からあり、2009年の第２回WBCで「SAMURAI JAPAN（サムライ・ジャパン）」が愛称となり、2012年から「侍ジャパン」が正式に使われることになった。
- 「同年（2005年）のアジア野球選手権大会に出場し優勝」は事実。ただしこの時は「侍ジャパン」という名称ではなく、メンバーもアマチュア選手のみだった。
危ない危ない。うっかり信じて「2005年にプロ選手だけで結成されたんだよ」とかウンチク語っちゃうところでしたよ。
ChatGPTを「質問箱」として使うのは気をつけた方がいいようです。
シンプルなお題には、レベルの高い仕事をしてくれる
このように情報を求めるとシレッと嘘をつくChatGPTですが、
情報を与えられた上で文章にまとめる作業になると、本領を発揮します。
本文一行目がちょっと文法的に変ですが、全体的に「ちゃんとしたビジネスメール」になっていますね。
下書き程度には十分使えるんじゃないでしょうか？
雑な指示でもうまくまとめてくれる、有能なスタッフみたいに思えてきます。
結論：ChatGPTを使いこなすには、「ちゃんと情報を与える、ファクトチェックをする」ことが必要。
ChatGPTの「論理力」は？
より良い答えを選ぶ判断力は格段に進歩している
一昔前の人工知能は、問いの意図を判断するのが苦手といわれていました。
Siriなんかは受け答えの「とんちんかん」なところが可愛らしくもあったんですが。。。
ChatGPTはどうでしょう？
おー！ やるじゃないか。
いくつかの答え方があり得る中で、「より正しい受け答え」を判断する能力があるようです。
論理的な反証はまだ弱い
では、次の質問はどうでしょう？
「事実として正しいか？」なら「他の要因もある可能性があります」で正解ですが、
「論理的に正しいか？」という問いで私が期待したのは次のような答えでした。
もし村の魅力が知られていないから人が減るのだとしたら、村の魅力をよく知っているはずの村の若者が出ていってしまう理由が説明つかない。
そこで食い下がってみましたよ。
私の質問が悪かったのか、「村の魅力があるかどうか」という話に向かってしまいました。
どうやら「都会に出ていく若者」のような新しい視点を持ち出すのではなく、「村の魅力」というすでに出ている情報の中で反証しようとグルグル考えるようです。
もうちょっと意地悪な質問をしてみましょう。
「黄身の数が頭の数に影響を与えるわけではない」という前提で、「事実と違うから間違い」という理屈。
でも「そもそも、その前提は正しいのか？確認されたことなのか？」という疑いが残ります。
「黄身の数はＡで決まる。頭の数はＢで決まる。だから黄身の数と頭の数は関係がない」ならわかります。
でもこの説明は「頭の数は胚の遺伝情報で決まる」といいつつ、黄身の数を決める要因が抜けています。これでは説明が不完全。
理想的な（私が期待した）「論理的反証」はこうでした↓
もし頭が２つあるヒヨコが生まれたとしても、その卵に黄身が２個あったかどうかはわからない。そして黄身が２個ある卵を見つけたときには卵は割れているので、そこから育つはずだったヒヨコに頭が２つできるかどうかはわからないはずである。
「もしＡなら、Ｂと矛盾する」という反証の仕方がChatGPTは苦手なようですね。
似たようなロジックをもう一問。
やはり「悪夢が心臓発作を引き起こすかどうか」という事実ベースでの反論です。
これも「論理的反証」をするなら、こうなります↓
男性が寝ているあいだに心臓発作で死んだとしても、彼が直前に見ていた夢の内容を他人が知ることはできない。
医学的な知識以前の問題です。
まとめ
現時点でのChatGPT（無料版）の能力をまとめると、こんな感じです。
- ChatGPTに知識を質問すると嘘をつく。
- 与えられた情報をまとめるのは得意。
- 質問に対する最適な答えを選ぶ判断力はある。
- 「事実と違う」は判断できるが、「Ａだとしたら、Ｂと矛盾する」という形の反証はできない。
論理的反証の能力、有料版だとまた違うのでしょうか？ 試してみたいと思います。
論理力に関するおすすめの本
シリーズ累計25万部のベストセラー参考書「何を書けばいいかわからない人のための 小論文のオキテ55」の著者。代々木ゼミナール小論文講師を経て、現在は文章力トレーニングの専門家として大手企業の社員研修に多数登壇。合同会社ロジカルライティング研究室代表。
