ChatGPTに小論文を採点してもらおう

以前、添削の仕事を抱えすぎて、「AIが添削やってくれればなあ・・・」なんて想像に現実逃避したことがありました。

2018.05.04

今週末から東京都と特別区の職員採用試験が始まるため、「駆け込み添削」の依頼がわんさか来ます。代わりに添削やってくれるAIが欲しい。。。（笑）多分これ、人工知能には無理な領域なんだと思います。文法や言葉遣いのミスを直すくらいならWordでもやってくれます。でも、「こういう変な表現になるのは、実はこれを書きたかったからでしょ？」という間違いの原因を指摘したり、「第二段落の切り口を◯◯の立場に変えたら、第三段落の提案が活きるのに」という改善策の提案をしたりするのは人工知能がいくら進歩しても、人間にし...

この記事を書いた2018年は、「表現ミスの校正ならまだしも、内容や論理性を評価するのは無理だろうｗｗ」という感じだったんですが、

ChatGPTならできるかも？

《Contents》

小論文の「ガッカリ答案／スッキリ答案」をChatGPTはどう評価するか？

実際に私が小論文を教えるときに使う「ガッカリ答案／スッキリ答案」をChatGPTにぶちこんで、評価させてみます。

いい点、悪い点の指摘は小論文講師から見ても的確

まずはこの問題から。

次の小論文を評価してください。

問題「環境汚染について、あなたの意見を述べなさい」

【解答例１】　
　私は環境破壊に反対だ。先日、テレビのドキュメンタリーで海のゴミ問題を特集していた。ビニール袋を誤って飲み込んでしまったウミガメの映像を見て、私はとても悲しくなった。鼻にはストローが刺さっていて痛々しかった。ただでさえ絶滅危惧種であるウミガメが人間の出すごみによってさらに苦しんでいるのだ。
　私も大学入学後はプラスチックごみ問題に取り組みたい。そのためにも大学では環境問題を考えるゼミに入り、海外の学生と連携するため英会話にも力を入れたい。環境問題をきっかけに自分を成長させていきたい。

典型的な「ガッカリ答案」です。作り手が意図した「ガッカリポイント」は以下の４点。

賛成／反対が求められていないのに「私は反対だ」から書き始めている。
「悲しかった」「痛々しかった」と個人的な主観を述べている。
解決策が示されていない。
求められていないのに将来の抱負を書いている。

ChatGPTはどう評価するでしょうか？

この小論文は、環境汚染に対する強い反対意見を述べており、具体的な事例を挙げて問題点を示しています。著者は、自分自身も大学で環境問題に取り組みたいと考えており、具体的な行動を示している点が良いと思います。

ただし、この小論文はあまりに個人的な経験や感情に基づいているため、論理的な展開や根拠の明示が不十分です。また、環境汚染に対する具体的な解決策や政策提言はなく、単なる個人的な感想や目標設定に留まっています。

環境問題は、個人的な取り組みだけで解決できるものではなく、社会的な問題であるため、より広い視野を持って論じる必要があります。よって、もう少し論理的な展開や、社会的な視点からの分析が必要であると言えます。

最初ちょっと褒めているところが優しいなあ。一刀両断してしまう私より優しい指導者かもしれません。

でも「解決策がなく個人的な感想に留まっている」というのは正しい指摘です。

やるなあ、ChatGPT。

では次の解答例はどうでしょう？

【解答例２】
　プラスチックごみ問題への対策として、スターバックスなどの外食チェーンではストローを紙製に替えていると聞いたことがある。またスーパーやコンビニではレジ袋が有料化されている。レジ袋は英語で「plastic bag」と呼ばれるそうだ。近年では植物を原料としたバイオマスプラスチックも開発されている。
　この地球は太陽系で唯一の人間が住める惑星だ。それなのに私たち人類は科学文明の名のもとに自然を破壊している。いつか手痛いしっぺ返しを受けるといっても過言ではないだろう。

予備校時代、こういうのを「模範解答」として書く先生がいました。いいネタ提供してくださってありがとうございます。

この答案のガッカリポイントは以下の２つです。

すでに世にあることの知識を並べただけで、自分なりの提案がない。
後半が無駄に文学的で、問題解決とは関係がない。

これをChatGPTはどう評価するか？

この小論文は、環境汚染に対する意見とともに、具体的な取り組みや技術についての情報を示している点が良いと言えます。例えば、プラスチックごみ問題に対して、スターバックスやスーパー、コンビニでのストローやレジ袋の対策を挙げ、さらにバイオマスプラスチックについても言及しています。

しかし、この小論文には、問題に対する著者自身の見解や考えが不十分であり、個人的な意見や提言が欠けている点が課題となります。例えば、具体的な解決策や自分が取り組むべき課題などを示すことで、より深い洞察が得られると思います。

さらに、最後の文は強い主観的な表現を含んでおり、科学技術による発展自体を否定するような意見が見られます。より公平な立場から問題を分析し、社会的・倫理的な視点からの考察が必要であると言えます。

知識を並べること自体には肯定的です。やっぱり私より優しい。

後半の文学的な部分に対する指摘はしっかりしていますね。すごい。

一言加えた「ロジックの変更」も把握できる

個人的主観の【解答例１】、インテリぶった【解答例２】に続いて、次は「問題点＋解決策」を示した【解答例３】です。

【解答例３】
　環境汚染の中でも近年話題となってるのが海のプラスチックごみである。海に浮かぶプラスチックごみをウミガメが誤って食べたり、細かく砕けたマイクロプラスチックが魚の体内に蓄積されるなど、生態系に影響を与えている。
　したがって、漁船を活用して海に浮かぶプラスチックごみを回収すべきである。プラスチック製品そのものを減らす取り組みも必要であるが、すでに被害を出し続けている海上のごみを減らす方が直接的な効果は高いと考えられる。

「スッキリ答案」です。これならChatGPTも褒めてくれるだろう。

この小論文は環境汚染についての具体的な問題点である海のプラスチックごみに焦点を当て、漁船を活用した回収の必要性について述べています。具体的な提案があり、論理的な展開があるので、十分な評価ができます。

ただし、プラスチック製品自体を減らすことについては触れられていません。また、もう少し意見の展開を深め、総括的な結論を示すことが望まれます。

「十分な評価ができます。ただし…」って。手放しでは褒めてくれないんですね。

「プラスチック製品を減らす」ことより「海上のプラスチックゴミを回収する」ことを優先する理由がうまく伝わっていなかったのかもしれません。

（少ない字数なんだからしょうがないじゃん）と思いつつ、手直ししてみました。

【解答例４】
　環境汚染の中でも近年話題となってるのが海のプラスチックごみである。海に浮かぶプラスチックごみをウミガメが誤って食べたり、細かく砕けたマイクロプラスチックが魚の体内に蓄積されるなど、生態系に影響を与えている。
　したがって、漁船を活用して海に浮かぶプラスチックごみを回収すべきである。すでに分別が進んでいる日本では、プラスチック製品そのものを減らす取り組みよりも、すでに被害を出し続けている海上のごみを減らす方が直接的な効果は高いと考えられる。

「すでに分別が進んでいる日本では、」を付け足しただけです。これでどうだ？

解答例３と解答例４はほぼ同じ内容であり、海のプラスチックごみ問題に関して漁船を活用して回収することが必要だと主張しています。しかし、解答例４では日本におけるプラスチック製品の分別が進んでいることを指摘し、プラスチック製品そのものを減らす取り組みよりも、すでに被害を出し続けている海上のごみを減らす方が効果的だと述べています。このように、解答例４は解答例３に比べてより具体的で、論理的な展開が見られるため、より高い評価を与えることができます。

解答例３で省いていたロジックを補ったことがChatGPTにも理解できたようです。「より高い評価を与えることができます」だって。褒められた☆

・・・と思ったら、続きがありました。