小論文や記述式問題など学習課題としての作文に取り組む方法は、選択式問題による方法よりも深い学びが必要とされ、それゆえ学習効果が高く、学習内容の理解度を測る方法としても望ましい場合があります。しかし、その採点を偏りなく公正に行い、学習者の進歩につながる的確で信頼性の高いフィードバックを適時に与えることは、教える側にとって簡単なことではありません。採点には時間がかかるため作文を通じた学習を頻繁に行うことは難しく、行った場合でも必ずしも十分なフィードバックを与えることができません。
こうした背景から、作文の採点やフィードバックを自動化するための研究が以前から行われています。今回はこれに関して、生成AIと人間による結果の質を比較した最新の2つの論文と、両方の研究に参加した研究者による考察を紹介します。
論文その1（採点に関して）：『Can AI provide useful holistic essay scoring?』
この研究では、作文の採点に関して生成AI（GPT3.5とGPT4）と人間の結果が比較されました。
人間による評価の部分では、信頼性を確保するため異なる評価者による二重評価が行われた一方、生成AIに関しては、質を高めるための大量のテキストによるトレーニングが行われていない状態でGPT3.5とGPT4が使われました。
結果としては、採点の正確性および一貫性に関して、生成AIのほうが人間をわずかに上回っていました。特にGPT4は、GPT3.5や人間の評価よりも高い一貫性を示していました。
論文その2（フィードバックに関して）『Comparing the quality of human and ChatGPT feedback of students’ writing』
この研究では、学生の書いた作文に対して、生成AIと人間が行ったそれぞれ200件の評価の質が、以下について比較されました。
1) 基準に基づいているか、2) 改善のための方法が明確に示されているか、3) フィードバッが正確か、4) 重要な改善点に対するフィードバックであるか、5) 肯定的で励ますような言葉を使っているか
この研究で評価を行ったのは、経験豊富でスキルの高い教師であり、生成AIについても、適切なフィードバックを引き出すために入念に調整されたプロンプトが使われました。
結果としては、1) の「基準に基づいているか」以外は、人間のフィードバックのほうが、AIをわずかに上回っていました。
上記の結果から、
生成AIは、作文の評価やフィードバックに関して現状の性能でもほぼ及第点であると言えるようです。
評価やフィードバックへの生成AIの活用可能性：
上記2つの研究では、生成AIによる評価やフィードバックは、人間のそれに近いレベルに迫っています。とはいえ当然、生成AIにはハルシネーションの問題があり手放しに任せるわけにはいきませんが、以下のように補助的役割として活用することができるはずです。
◆一貫性のある採点を行うための参考として：
特に作文のように答えが一つに定まらないことの評価を行う場合、人間の場合は評価者によるばらつきが出てしまいがちです。一方、上記の論文にもあるように、生成AIは明確な基準があればそれに照らして評価することが比較的得意であり、採点の一貫性に関しても人間を上回っています。だから生成AIを活用すれば、人間の判断による偏りを和らげ、基準に照らしてより客観的かつ詳細に評価することができます。
◆教師の時間を節約し作文を通じた学習を増やす手段として：
作文を通じた学習は効果が高いものですが、その評価には時間と手間がかかるので、この方法は十分に活用されていません。しかし、生成AIを取り入れれば、教師にとって時短となり、より多くの評価を行えるようになるので、学習者が作文に取り組む機会を増やすことができるはずです。
◆スキルの高い教師を確保できない場合の補助として：
上記のフィードバックに関する研究では、主にスキルレベルの高い教師が被験者となりましたが、そうでない教師の場合は、むしろ生成AIのほうが高レベルの結果となる場合も考えられます。優秀な教師を確保できないときには、AIを活用することができます。
◆学生の学習補助手段として：
レポートなど文章による制作物を正式に提出する前に、そのドラフトを生成AIに評価させ、改善することができます。
◆フィードバックのパーソナライズ：
一人の教師が大勢の学習者それぞれの長期的な進捗状況を追跡し、適時にフィードバックを行うのは、時間的、労力的にも現実的ではありません。生成AIを使えば、個々の学習者のデータを経時的に分析して苦手な分野を特定するなど、個別にフィードバックを与える機会を増やすことができます。
現状でも生成AIは、最終的な成績などに関係しない、学習手段としての作文の採点やフィードバックといった補助手段として活用できるレベルにあるようです。2つの研究の両方に参加したアリゾナ州立大学のSteve Graham氏によれば、生成AIの進化のスピードは速いので、フィードバックを与えることに関して近いうちにAIが人間を上回っていくであろうとのことです。
参考資料：
『Scientists Compared ChatGPT Writing Assessments to Human Assessments. Here’s What They Found』
