多模態 AI：超越文字，會看也會聽的課堂的開端

當學生拿出自己拍的植物照片問「這是什麼？」的那一刻，只會處理文字的 AI 就停住了。然而多模態 AI 看得到照片、聽得見語音，還能一併解讀圖畫。多模態把學習的輸入通道，從一行文字擴大到學生的整個五感。以下就來看看，會看也會聽的 AI 如何改變探究式課程。

多模態為課堂添加了什麼

能同時處理多種形態的資訊，並不只是多加一個功能而已。它會這樣改變課堂的品質。

• 現場觀察的即時銜接：把在戶外拍下的昆蟲、岩石、葉片照片，當場轉換成問題。
• 圖畫與圖表的解讀：讀懂學生畫的概念圖或圖表，指出可以補強的地方。
• 外語的實物學習：看著實物照片，學會該語言的單字與說法。
• 表達手段的擴充：文字表達較弱的學生，也能用圖畫和口說呈現自己的思考。

孩子本來就不是靠文字，而是靠看、靠聽、靠摸來認識世界。多模態 AI 更貼近那種自然的學習方式。

如此一來，就架起了把抽象概念與學生自身的具體經驗即時連結起來的橋樑。

探究式課程的應用實例

以國小五年級自然科的植物單元為例。學生在學校花圃裡，把自己感興趣的植物拍成照片。之後的流程如下。

1. 觀察紀錄：上傳照片，並用口語說明葉片的形狀、顏色、大小等特徵。
2. 產生問題：AI 看過照片後，提出「這些葉脈為什麼是平行的？」之類的探究問題。
3. 資料探索：學生挑一個問題去找資料，並建立假設。
4. 分享與驗證：各組互相比較照片與結論，討論其中的差異。

當 AI 不是被當成給答案的工具，而是被用作引出更好問題的觸媒時，探究才會變深。有一個班級記錄下，用這種方式之後，每位學生的平均提問數比從前增加了將近一倍。一張照片成了探究的起點。

在這項活動中，老師要留意的地方也很清楚。第一，AI 的植物辨識有可能出錯，因此不要把結果直接當成正解，要讓學生再用圖鑑或資料確認一次。第二，事先訂好拍攝規則，避免照片裡出現學生的臉或位置資訊。第三，為了無法上傳照片的學生，一併準備老師提供的公用照片，防止落差產生。唯有把技術的可能性，與它的限制及安全性放在同等的份量上處理，多模態活動才總算能在教室裡站穩。

核心整理

多模態 AI 把學習的輸入從文字擴大到圖片、語音與圖畫，接起了現場觀察與抽象概念。核心在於一種設計：不向 AI 求正解，而是用它來引出問題。請把會看也會聽的 AI，安排成提問的觸媒，而不是答案機器。建議您從下一次戶外活動開始，用學生拍的一張照片來設計「產生探究問題」的活動。不需要氣派的設備，光靠教室裡已經有的一台智慧型裝置就足以起步，請用一堂課的小實驗親自確認效果。