ChatGPTに論理クイズを解かせたら、塾でついていけなくなった子と同じ挙動を始めた件

前々回の記事で、ChatGPTは「論理的反証」が苦手らしいという示唆を得ました。

今回はいわゆる「論理クイズ」をChatGPTに解かせてみようと思います。

論理クイズを解かせてみた

お題にはこちらのサイトを参照させていただきました。

いい問題がたくさん集められています。

とりあえず方程式を立ててみるが・・・

最初はこちらの問題から。算数を正しく考えればできるはずです。

ボールペンと消しゴムの値段は合わせて110円。

ボールペンは消しゴムより100円高い。

では、消しゴムの値段は？

うっかり「ボールペンが100円、消しゴムが10円」と答えてしまいそうですが、

それだとボールペンと消しゴムの差額は90円になるので問題の条件と合いません。

なら消しゴムをもっと安くしようか？　5円ならどう？　という程度の考え方で正解が出ると思うのですが・・・

あれれ？　もっともらしく計算式を並べているけど・・・y=(x+100)/2 って何だ？

はいはい、じゃあ遠慮なく聞きますよ！　次の問題。

とても大きな駐車場がある。

この駐車場にある車のうち、2台のみ白ではなく、2台のみ青ではなく、2台のみ赤ではない。

駐車場には何台の車があるだろうか？

※各車はそれぞれ一色で塗られている

こういう問題は、最小単位から考えるというのが定石です。

あるいは色ではなく「グー・チョキ・パー」で考えた方が「２人だけグーではない」状況をイメージしやすいかもしれません。

方程式つくるの好きだなあ（笑）

わかってないのに適当に式を立ててみるって、進学塾でついていけなくなった子によく見られる行動です。

白6台、青6台、赤6台、他2台なら合計20台で、8台という自分の答えとも合いません。だんだん支離滅裂になっていきます。

（ちなみに、正解は「白、青、赤が各１台で計３台」。または「白でも青でも赤でもない車（例えば黄色）が２台のみ」というのもありかな？）

勝手に設問を改変することも？！

冷蔵庫のプリンが誰かに食べられてしまった。

幼女Aは「犯人はBです」と発言した。

幼女B,Cもある発言をした。

その後、 『犯人はABCのうち誰か1人』 『犯人だけが発言で本当のことを言った』 ということが分かった。

犯人は誰？

論理クイズの定番ですね。「もしAが犯人だとしたら・・・」と矛盾を見つけていくと自動的に犯人が決まる・・・はず。

えっ？　BとCの発言を創作しているぞ？！

BとCは「ある発言」としか書かれていないので、「どちらが本当か」「本当のことを言っているかどうか」という文言は不要なんですが。。。

こうしてみると、やはりChatGPTは「ノリでそれっぽい言葉を返している」だけであって、論理的思考ができるわけではなさそうです。

・・・と思っていたら、

な、なんと、

ChatGPTが正解を答える瞬間がありました。

ChatGPTがいきなり覚醒？！　しかし・・・

正解を即答した瞬間

幼女2人がそれぞれ自分の馬に乗っている。

そこを通りかかった王様がこう言った。

「2人で馬に乗ってレースをしなさい。勝った馬の主の方に宝を与える。ただし、後でゴールした方を勝ちとする」

2人の幼女は相手より先にゴールしないよう、のろのろとレースをしていた。

このままでは、いつまでも勝負がつかない。

だが、たまたま通りかかった賢者の一言を聞いた瞬間、2人はものすごい速度でゴールへ向かっていった。

いったい、賢者は何と言ったのだろうか？

即答！？　しかも正解！！

いままでデタラメを答えていたChatGPTが、いきなり正解を答え始めました。すごい！　やればできる子じゃん！

・・・でも、塾でもこういうことはありますよね？

「オレ、その問題知ってる！」というやつ。

自分で考えたのか？　答えを知っていたのか？

ChatGPTが知識に弱いのは2021年までの情報しか持っていないから。昔からある定番のパズルなら、2021年以前の情報として知っていた可能性もあります。

この「わかってないが、答えを知っていた」疑惑を裏づける問題がありました。

部屋Aには３つのスイッチがある。

部屋Aの3つのスイッチは、部屋Bに置かれた３つの電球にそれぞれつながっている。

ただし、どのスイッチがどの電球に対応しているのかは分からない。

いったん部屋Aから出ると、部屋Bには行けるが部屋Aに戻ることはできない。

あなたは今、部屋Aにいる。 部屋Aの3つのスイッチが部屋Bのどの電球につながっているのかを知りたい。

あなたはどのような行動を取ればいいだろうか？

正解は「スイッチ１をオンにして、数分たってからオフにする。次にスイッチ２をオンにして部屋Bに行く。点灯している電球がスイッチ２、消えているが触ると温かい電球がスイッチ１、消えていて冷たい電球がスイッチ３とつながっている」。

惜しいなあ。「５分待ってスイッチ１をオフにする」までは正しいんですが、それが電球を温めるためであることがどこにも書かれていません。

おまえ、「５分待ってスイッチ１をオフにする」だけ知ってただろ？

実際、上記のサイトではこうなっていました。

正解：
最初に「1つめのスイッチ」だけONにする。
数分経過したのち「1つめのスイッチ」を切り、「2つめのスイッチ」を入れる。

解説：
論理クイズ「幼女と3つの電球」

詳しい解説は別のページになっていて、このページではスイッチを切る理由が省略されています。ホント、このサイトを参照したんじゃないの？

まとめ：ChatGPTは論理クイズを解けないが、たまにカンニングする

目についた数字を並べて適当な方程式を立ててみたり。

バツをつけられると、小手先で手直ししてつじつまが合わなくなったり。

どこかで聞きかじった正解だけドヤ顔で答えたり。

勉強できない子によく見られる行動です。

ChatGPT、かわいいなあ（笑）

「それっぽい文章を生成する」という機能では人間を超えつつあるChatGPTですが、

論理思考、水平思考はまだまだのようです。

この辺に、AI時代に人間がサバイバルするヒントがあるのかもしれません。