IPIニュースレター購読お申込み

2024.06.28

IPIニュースレターvol.12: 生成AIへの投資はやめるべきなのか?Googleのレポートから垣間見える真実(2024/06/07)

Written by

先月(2024年5月)中頃に、OpenAIそしてGoogleと、生成AIの機能の進化に関する発表が相次ぎました。そのいずれでも教育へのAIの活用が取り上げられ、将来的な学習のイメージが披露されました。OpenAIによるAI家庭教師の動画をご覧になった方も多いかと思います。教育への生成AIの活用は単なる副産物ではなく、それ自体の性能を向上させるための真剣な取り組みが行われているようです。このニューズレターでも以前に取り上げたように、研究によれば、教室での集合的な教育よりも、教師と学習者一対一のほうが学習効果が高まることがわかっています。有能な生成AIチューターの出現が期待されているのです。

Googleによるテクニカルレポート:『Towards Responsible Development of Generative AI for Education: An Evaluation-Driven Approach(PDFです)

一方のGoogleも、先月のGoogle I/Oで生成AIの教育活用に関する多くの機能を発表し、ほぼ同時期に、それに関連するテクニカルレポートが公開されました。このレポートでは、Googleの生成AI家庭教師(LearnLM-Tutor)開発の詳細が説明されており、生成AIの教育への活用にからむ課題をうかがうことができます。

この取り組みの概要:
GoogleのLearnLM-Tutorは、テキストベースによる一対一の家庭教師型チューターであり、学習者と教師の両方に役立つことを目指して開発されました。生成AIモデルとしてはGemini1.0が使用され、教育や学習の原則に基づきファインチューニングしたバージョンと、プロンプトでチューニングしたバージョンの2つが開発され、その効果が比較されました。このプロジェクトには、学習者や教師だけでなくAIや教育の専門家など多くの人たちが参加し、インタビューやワークショップを通じて生成AIの教育活用への期待や懸念事項などの意見や知見が事前に収集・反映されたほか、それに基づく詳細な評価基準も開発され、多岐にわたる学習課題について、AIチューターの教授方法も含めた評価が行われました。安全性や倫理に関する配慮もされています。

結果としては、プロンプトではなく、ファインチューニングしたバージョンのほうが全般に評価が高くなったとのことです。

全般に、AIによる個別指導は、学習者と教育者の両方から高く評価されました。たとえば、学習者は、AIチューターからの説明であれば、人間のチューターよりも気軽に受け入れ、遠慮なく質問できるメリットがあると感じたようです。

課題:
カンファレンスでの華やかな発表とは裏腹に、このレポートでは、教育への生成AI活用に伴う課題が、隠さず述べられています。

学習科学に関する情報の不足: 教育に関する研究は他の科学分野に比べて遅れており、学習科学の知見から活用できる普遍的なベストプラクティスがない

評価基準の不足: EdTechの評価基準はまだ整備されておらず、異なる研究グループが独自の評価指標を使用しているため、結果の比較が困難

質の高いデータが不足
これは生成AIを活用しようとする他の分野についても言えることですが、
プロンプトだけでは十分な調整ができないけれど、かといってファインチューニングするにも適切かつ十分なデータがないとのことです。教育の場合、たとえば優れた教授方法が実際に行われる様子のデータが豊富にあれば、人間が言葉で捉えづらい微妙なニュアンスも再現できるはずですが、そのようなデータが不足しています。このGoogleの取り組みではそうしたデータも収集したようですが、圧倒的に量が足りていないはずです。一部は生成AIによって合成したデータであるようです。

ファインチューニングにかかるコスト
ファインチューニングでは通常、SFT(supervised fine-tuning)に次いでRLHF(Reinforcement Learning from Human Feedback)が行われますが、今回のプロジェクトではコストの関係でRLHFは行われなかったようです。このレポートによれば、ファインチューニングにコストがかかることが、生成AIの教育への活用の研究が進んでいない理由でもあるとのことです。

上記のように、理想のAIチューターの実現には多くの高いハードルがあるようですが、その一方で、生成AIに基づくさまざまな教育関連製品やサービスが出回るようになっています。しかしGoogleはこのテクニカルレポートの中で、生成AIチュータリングシステムは生成AIの進歩を活かしきれていないという最近の研究について言及しています(『Opportunities and challenges in neural dialog tutoring』 ただしこの論文の公開は、2023年1月)

生成AIへの性急な投資はリスク?
OpenAIのサム・アルトマン氏は、AIが大きく変える領域として教育を挙げています(参考記事:『汎用AIが特化型モデルを不要に=サム・アルトマン氏最新インタビュー』。
この記事によれば、(アルトマン氏が)「注目しているのは教育。家庭教師AIで教育は大きく変わると思う。自分の興味のあることを上手に教えてくれるような家庭教師AIサービスを作ることができて、人々がいろんなことをどんどん学んでいけるようになれば、それはものすごい発明になると思う」とのことです。OpenAIでは最近、大学向けのChatGPT Eduも発表しています。教育へのAI活用には困難が伴うものの、その実現に本格的に取り組んでいると思われます。

一方、AIに詳しい人たちの間では以前から懸念がささやかれていましたが、生成AIモデルの進歩によって、以前のモデルに依存する製品やサービスが大きな打撃を受ける可能性があります。サム・アルトマン氏も、最近になってそのことに自ら言及しています。
参考記事:『AI自体を製品にするな=Sam Altman氏からスタートアップへのアドバイス

 

生成AIがらみの製品・サービスの開発や導入には慎重さが求められるようです。