東華「動手做科學融入教學課程 11」教師社群 × 宜蘭大學東區 ISW 教師社群


從學習證據到教學改進

AI 協作促進學習評量與教學實踐研究工作坊——讓每一次教學調整都留下證據

2026-10-16(五) 15:00–17:00國立東華大學 環境學院 3 樓 CIRES 會議室講師:陳文盛(國立東華大學通識教育中心)

今天只記一句:

挑一句不同意的、改掉、寫下為什麼。

這一頁是講義:上課跟著「參」走,課後查「柒」。

壹為什麼是「證據」:研究最難寫的一段

寫教學實踐研究計畫,最難拿出來的一段,不是文獻、不是方法,是「我根據證據調整了教學」。學期中你一定改過東西:規準表改了一格、學習單換了一題、回饋從書面改成當面講。可是到了寫計畫書或成果報告那天,能證明「改過」的,常常只剩記憶。

版本紀錄做的就是這件事:一門課一個資料夾,每改一次就存一個版本,順手寫一句為什麼改。學期末打開,改了哪裡、什麼時候改、當時怎麼想的,全都在。這不是資訊工程的事,是研究方法的一部分:審查委員問「你怎麼知道是這個調整有效」,你拿得出一條時間線,而不是一段回憶。

Git(版本控制工具)就是幫一個資料夾記住每一次修改的工具。你不必背任何指令(原本要打給電腦的操作文字),全部交給 AI 助手(AI agent)代打;你只看它的計畫、看它改完的前後對照、然後點頭。這就是「監督」,今天四塊的每一步都會回到這三件事。

跟上一場的關係

上一場「跟 AI 一起用 Git」(2026-09-09)教的是方法本身;這一場把方法用在評量上,做三件事:留下證據、做出規準、分析與抽查。沒上過也沒關係,今天需要的那幾招都會重做一次。想複習可以回去翻 上一場的教材。

今天沒有任何真實學生資料。四塊全部用合成的示範資料(代號 DEMO-S01…),例子一律講「某生」。

貳今天怎麼做

先講一件事:今天全程只用示範資料(代號 DEMO-S01…),不帶任何學生資料。回去放自己的資料時:專案設不公開、丟給 AI 前先拿掉姓名學號;AI 分出來的結果,自己抽幾筆回頭看。

挑一句不同意的、改掉、寫下為什麼。這句四塊都用:AI 起草的東西幾乎一定有你不同意的句子(真的沒有,就照卡住時那三招挑一格),那一句就是你的第一筆調整紀錄。Rubric 這樣、分析這樣、一頁設計也這樣。配套的另一句:AI 只整理既有的分數與文字,不替老師打分數、不替老師下結論。

AI 助手動手之前、之中、之後,你只看它的計畫、看它改完的前後對照、然後點頭。看不到任何一件,就請它重做。

  1. 計畫:它要動哪個資料夾、改哪個檔、會不會上傳到任何地方。沒先說計畫就動手的,叫它先說。
  2. 前後對照:改完以後,哪幾行變了。多出一行你沒要的,就要問。
  3. 點頭:存版本之前,版本說明是不是你的話。說明寫得像 AI 的話,改成你的。

證據工作台怎麼用

工作台是一個只在你的瀏覽器裡運作的網頁:不連任何 AI、不上傳任何東西。整套教材下載解壓縮後,從入口頁進工作台就能離線用(整個資料夾一起留著,不要只搬工作台那一個檔)。它不是用來取代 AI 助手,是用來「並列看、抽查、產生 Markdown」。三個分頁、按鈕名稱如下,講義與投影片講到的名稱都跟它一字不差。

分頁按鈕必填欄用在哪一塊
Rubric 工作台「複製」(提示詞)、「看範例輸出」、「比較兩版」、「匯出這一輪」「為什麼改」第二塊:左欄貼 v1、右欄貼 v2,逐行差異刪除紅、新增綠
證據儀表板「抽 3 筆回查」(可重抽)、「匯出抽查紀錄」、「講師模式」每筆「同意/不同意」與「為什麼」、「三句結論」第三塊:三份示範資料的落差圖、反思與 AI 分類;「講師模式」只有講師按,會顯示答案卡
一頁設計「帶入示範課」「帶入演講課」、「複製」、「匯出 Markdown」—(沒有必填。「評量任務與 Rubric」「回饋與調整」兩格標「必改」;沒填的欄匯出時會寫「(尚未填)」)第四塊:右側即時預覽 Markdown,標題用計畫書的章節名
全站「清除暫存」—工作台會自動暫存在你這台瀏覽器裡,換電腦就沒了;匯出的檔才是你的紀錄

參四塊逐步:你說什麼、AI 會做什麼、你一定要自己看的

每一塊的格式都一樣:講師先做一遍,大家跟著做,每步一句話。左欄是你對 AI 助手說的話,中欄是它會做什麼,右欄(珊瑚橘)是你一定要自己看的那件事。要 AI 助手動手的步驟,左欄底下多一句「貼給 AI 助手的話」,整句複製貼上就行。卡住的地方:把畫面截圖貼給 AI 助手,說「我卡在__,請一步一步帶我」;每一句都可以複製。

肆例子:主範例、兩組自選、講師自己的課

現場統一用「課堂專題簡報」當主範例,因為它沒有領域門檻,每個人都評過。你帶來的課如果是體育或實驗課,第二塊起直接換成下面的例子。三個例子的共同點:改掉的都是形容詞,換上現場看得見、而且對得上學習目標的描述;你的課找同一種格子。

延伸練習:拿講師學習單的樣子,從作業原文開始評

上面那張卡講的是怎麼留版本;如果你想試「AI 直接看作業原文評分,再跟我比」,有一包獨立的練習:同一週 10 份合成學習單(15 份選做)、五區完成度規準表、空白教師表、一支只用內建功能的加總程式。七步各分三欄(你做什麼、AI 會做什麼、你一定要自己看的),每一句要貼給 AI 的話都有「複製」鈕,約 50 分鐘。它是第三塊的替代路線或回家的第二個練習,不在今天兩小時主線裡;資料跟工作台的儀表板不互通。

打開試評練習直接下載練習包 ZIP

伍一頁設計:十一欄怎麼填

第四塊填的這一頁,欄位名稱直接對應教學實踐研究計畫書的章節(表裡「計畫書對應」那一欄),之後長成計畫書時章節不用重排;沿用示範文字的欄位,課後要逐欄換成自己的課。工作台「一頁設計」分頁的十一欄跟這張表一樣,右側會即時預覽成 Markdown,標題用計畫書的詞。

填法只有一個訣竅:每一欄都要「下學期做得到」。研究問題要能被你下學期蒐到的資料回答;信效度只選一件做得到的事;介入作為寫具體動作,不寫「加強引導」。

陸資料倫理:回去用自己的資料之前

今天全程用合成資料,所以沒有倫理問題。回去換成自己課的資料,開頭那句話就開始算數:專案設不公開、丟給 AI 前先拿掉姓名學號。下面三件事做完,再開始。

去識別化怎麼做

  1. 先做一張「姓名 ↔ 代號」對照表,放在學校帳號的雲端或紙本,不放進課程資料夾。
  2. 試算表裡的姓名欄整欄換成代號;學號、信箱、電話、座號整欄刪掉。
  3. 反思文字裡提到的人名換成「某同學」,提到的特殊事件(請假原因、家裡的事)刪掉。
  4. 影像類證據(錄影、照片)不留檔,只留評分與觀察文字。
  5. 檔名也不要有姓名或班級;用任務名與日期就夠了。

私人 repo(放在 GitHub 上、設成不公開的課程資料夾)

  • 請 AI 助手把課程資料夾放上 GitHub 時,明講「設成不公開(private)」;建完自己到 GitHub 網頁看一次設定。
  • 放上去的只有教材、評分規準與去識別化後的整理結果;姓名與代號的對照表、原始作業、影像、個別成績不放。保存位置、年限與誰看得到,依學校研究倫理與資安規定。
  • 課後若改用 GitHub 網頁版上傳,建 repo 時勾「Private」,上傳前再看一眼頁面上有沒有鎖頭圖示。
  • 共同研究者用「邀請協作者」加進來,不要把 repo 改成公開來共享。
  • 研究結束要公開教材時,另開一個只有教材、沒有資料的公開 repo。

給 AI 之前拿掉什麼

給雲端 AI 的,只有代號、分數、去掉姓名的反思文字。不給的:姓名、學號、信箱、電話、班級加座號、任何能認出人的細節、影像。平台匯出的檔多半混了姓名與空白列,先在試算表清一遍,再用課後手冊裡的提示詞 P5 請 AI 整理成固定欄位;AI 整理完先只看前 5 列確認格式。

知情同意與資料保存年限依各校研究倫理規範;一頁設計的「資料倫理」欄請寫你學校的做法。

柒課後手冊

工作坊結束之後會用到的事都在這裡。第一節「兩種紀錄怎麼讀成同一種」先讀,它回答最常被問的一題:課後我若改用 GitHub 網頁版上傳,紀錄跟今天用 AI 助手存的一樣嗎。

回去以後,照這三個動作就能繼續用:①改評分規準表 → 請 AI 助手存一版、說明寫為什麼改(沒開 AI 助手就用 GitHub 網頁版上傳)。②拿到新一批分數 → 先清資料(提示詞 P5)→ P3 算落差、P4 分類 → 抽 3 筆回查 → 存一版。③寫計畫書 → 把版本清單整理成一張表,對到下面「接到計畫書哪一章」。

抽查紀錄怎麼呈現

計畫書裡不用放整份分析,放一張小表就夠:抽了哪幾筆、AI 怎麼分、你同不同意、為什麼。例如示範資料裡抽到 DEMO-S03,AI 分成「把原因歸到外部」,你寫「同意:整句都在講時間不夠,沒有提到自己可以改的事」;抽到 DEMO-S08,你選「不同意」、理由寫「歸因外部沒錯,但『沒時間練』也指出了自己的準備流程,下次回饋要接這一句」。表下面接三句結論,再寫一行「同意 2 筆、不同意 1 筆(理由裡寫明哪裡對)」。這還不是正式的信度證據,只是這一輪人工抽查的一致率(3 筆,探索性紀錄);正式研究要事先訂抽樣比例、複核者與判準,下學期每次分析都抽,數字累積起來才站得住。

信效度怎麼寫

工作坊兩小時做不出信效度,計畫書也不用假裝有。誠實的寫法是「工具發展過程」:Rubric v1 是 AI 起草、v2 是你改了哪幾格與為什麼、v3 是下學期兩位老師同評之後改的。信度的部分,下學期只做一件事就夠:請一位同領域老師用同一份 Rubric 評 10 份作品,算「同一格打一樣分的比例」,不一致的格子回頭改成 v3;這個比例跟改了哪幾格,寫進計畫書「研究工具信效度」那一節,一頁設計的第九欄就是替這一段先占好位子。

捌兩小時議程

主辦:東華「動手做科學融入教學課程 11」教師社群 × 宜蘭大學東區 ISW 教師社群

玖名詞表

今天會反覆聽到的英文詞就這八個。看得懂就好,不用背。

AI agent
AI 助手:裝在你電腦上、能代你打指令與改檔案的 AI 程式。它說「做完了」不等於做完——看它的計畫、看前後對照、點頭。
Git
版本控制工具:幫一個資料夾記住每一次修改。
repo(repository)
被 Git 記住每一次修改的那個資料夾。放到 GitHub 網站上的那一份也叫 repo,可以設成不公開(private)。
commit/log
存一版/版本清單:commit 把現在的狀態存成一個版本、附一句說明,今天每塊結束都存一版;log 是所有版本依時間排好的清單,每筆有說明,研究歷程資料的長相。
diff
前後對照:兩個版本之間哪幾行變了。你一定要自己看的那件事。
Rubric
評分規準表:規準乘以等級的一張表,每格寫看得見、對應學習目標的描述。
CSV
逗號分隔的純文字表格:示範資料的格式,任何試算表都能開、AI 也讀得懂。
Markdown
用一般文字寫、加幾個符號就能排版的檔案格式(副檔名 .md):工作台匯出的檔都是它,記事本就能開、也能整段貼進 Word;Git 看得出哪一行變了。

拾三條誠實限制