「チューリングテスト---Turing test」というものがあります。
人工知能が人間にどれだけ近い反応をするかを試すテストです。

今回の小学４年生の作文について、それが人間の子供が書いたものか、チャットGPTが書いたものかのについてニューヨーク・タイムズは４人の教育関係の人たち（小学4年生の教師、作文のプロ家庭教師、スタンフォード大学教育学教授、そして児童文学作家のジュディ・ブルーム氏）に判定を依頼したのだそうです。

では、昨日の正解です。

一番初めの作文は、チャットGPTによるもので、あとの２つは、人間の小学４年生が実際に書いたものです！

では、判定に参加した専門家の意見を読みます。（原文はこちらです。）

リーディングのポイントは、

★子供が書いたものとAIが書いたものとの違いについて専門家はどこに着目しているか？

です。

チャットGPTに与えた指示は、次のようなものでした。

Write an above-average essay at a 4th-grade reading level to respond to the following prompt. Be vivid and descriptive.

小学4年生レベルの読解力で、次のプロンプトに答える平均以上のエッセイを書いてください。生き生きと描写すること。

特に注意して読みたい部分にアンダーラインを入れました。

This essay was easiest for our four experts to spot （見分ける）as computer generated. Mostly, it was the chatbot’s use of words like “opportunity” in the first essay that gave it away （ばらした）— the adults agreed that children don’t say “lunchtime is a great opportunity to take a break.” There were small details in the other two that sounded more authentically （確かに）childlike, such as calling volunteers “lunch-moms,” or calling lunch from home “cold lunch.”

“ ‘I’m grateful’? Come on, that’s not a kid,” said Ms. Blume, who has been putting herself in the mind of a fourth grader at least since she published “Tales of a Fourth Grade Nothing” in 1972. “The kids had detail — ‘because I have braces’ or playing foursquare. That just made sense to me.”

4人の専門家にとってこの作文が、コンピューターによって作成されたものだと見破るのはいとも簡単だった。ひとつ目の作文にある "opportunity "（機会）のような単語は、まず、チャットGPTでないと使わないと思われたのだ。これで最初のエッセイがチャットGPTのものであることがばれた。子供は「ランチタイムは休憩する絶好の機会だ」などと言わない、と大人のみなさんは皆そういった。他の2つの作文には、ボランティアを 「給食のおぼさん」と呼んだり、自宅から持ってきたランチのことを 「コールドランチ 」と呼ぶなど、より子供らしく感じる細かい表現があったという。

「感謝しています」だって？やめてよ、子供はそういう言い方はしないでしょ、とブルーム氏は言う。ブルーム氏は、少なくとも1972年に『小学4年生のなんでもない話』を出版して以来、小学4年生の気持ちになって考えてきた。子供たちは、『歯並びの矯正をしているから』とか、『フォア・スクェアをしているから』とか、細かいことを言うのだ。そこで分かったという。

Also, there were no spelling or grammar errors in the first essay. With a standardized test, several of our participants said they would expect at least a few typos and misplaced commas.

The run-on （冗長な）sentences in the second and third essays were another tell（ついやってしまうこと）, said Christine Lawson, who has taught fourth grade in the Northside Independent School （私立学校）District in San Antonio for 14 years.

“The average fourth grader can tell you a story, especially about lunchtime because they’re familiar, and be able to tell you all about it,” she said. “But they wouldn’t be able to write it in a correct way. There would not be as many commas, kind of like how they talk, with a lot of ‘ands.’ ”

また、ひとつめの作文にはスペルミスも文法ミスもなかった。標準テストでは、専門家の何人かは、少なくともいくつかのタイプミスやコンマの間違いがあるはずだと予想していたという。

サンアントニオのノースサイド私立学校区で14年間4年生を教えているクリスティーン・ローソンさんは、2番目と3番目の作文にあったカンマやピリオドのない文章って、４年生がよく書いてしまうんですよねと言った。

「平均的な小学4年生は、きちんと話せます。特に、良く知っているランチの時間については、全て話せます。でも、それを正しい書き方で書くことはできないでしょう。作文を見ると、まるで話している言葉のようにカンマが足りなかったり、"and"が多かったりしています。」

👩もし、英語学習中の日本人のライティングだったら、どのように評価されたかと思うとちょっとドキドキしますね。

明日は、また別の作文で同じ検証を行っています。次回の作文はかなり判別が難しいと思います。

Englishラボ
MisTy