マルチモーダルAI、テキストを超えて「見て聞く」授業のはじまり

生徒が自分で撮った植物の写真を見せながら「これは何ですか」と尋ねた瞬間、テキストしか扱えないAIは止まってしまいます。しかしマルチモーダルAIは、写真を見て、音声を聞き、絵もあわせて解釈します。マルチモーダルは、学びの入り口をテキスト一行から生徒の五感全体へと広げます。 見て聞くAIが探究の授業をどう変えるのか、順に見ていきます。

マルチモーダルが授業に加えるもの

複数の形の情報を同時に扱えることは、単なる機能の追加ではありません。授業の質を次のように変えます。

• 現場の観察をその場でつなぐ: 屋外で撮った昆虫、岩石、葉の写真を、そのまま問いへと変えられます。
• 絵や図表の読み取り: 生徒が描いた概念図やグラフを読み、補うべき点を指摘してくれます。
• 外国語を実物で学ぶ: 身のまわりの物の写真を見ながら、その言語での単語や表現を覚えます。
• 表現手段の広がり: 書くことが苦手な生徒も、絵や話し言葉で自分の考えを表に出せます。

子どもはもともと、世界を文字ではなく、見て、聞いて、触れながら学びます。マルチモーダルAIは、その自然な学び方により近いのです。

これによって抽象的な概念を、生徒自身の具体的な経験とその場で結ぶ橋が生まれます。

探究の授業に適用した事例

小学5年生の理科、植物の単元を例に挙げてみます。学校の花壇で、生徒が気になる植物を写真に収めます。その後の流れは次のとおりです。

1. 観察の記録: 写真をアップロードし、葉の形、色、大きさの特徴を言葉で説明します。
2. 問いをつくる: AIが写真を見て「この葉脈はなぜ平行なのだろう」といった探究の問いを提案します。
3. 資料を調べる: 生徒が問いを一つ選び、資料を探して仮説を立てます。
4. 共有と検証: グループ同士で写真と結論を比べ、違いについて話し合います。

AIが答えをくれる道具ではなく、よりよい問いを引き出す触媒として使われるとき、探究は深まります。 あるクラスでは、この方法によって生徒一人あたりの平均の問いの数が、以前の2倍近くにまで増えたと記録されています。写真1枚が探究の出発点になったのです。

この活動で先生が気を配るべき点もはっきりしています。第一に、AIによる植物の判定は誤ることがあるので、結果をそのまま正解として受け取らず、図鑑や資料でもう一度確かめさせます。第二に、写真に生徒の顔や位置情報が写り込まないよう、撮影のルールをあらかじめ決めておきます。第三に、写真をアップロードできない生徒のために、先生が用意した共用の写真も併せて置き、格差が生まれないようにします。技術の可能性と一緒に、その限界と安全性を同じ重さで扱ってこそ、マルチモーダルの活動は教室に根づきます。

まとめ

マルチモーダルAIは学びの入力をテキストから画像や音声、絵へと広げ、現場での観察と抽象的な概念を結びます。鍵となるのは、AIに正解を求めるのではなく、問いを引き出すために使うという設計です。見て聞くAIを、答えを出す機械ではなく問いの触媒として配置してください。 次の屋外活動では、生徒が撮った写真1枚から探究の問いをつくる活動から始めてみてください。大がかりな機材はいりません。教室にすでにあるスマート端末1台でも十分に始められますので、1コマの小さな実験で効果をご自身で確かめてみてください。