生成式AI教育研究早期证据合成的认识论审计与再分析

PsyArXiv · 2026-10-11 · 预印本

• 一句话结论：对首批ChatGPT教育效果元分析的系统审计提示，其合并效应虽为正，但异质性极大、敏感性分析后明显衰减，且原始研究多只测表现而非学习；因此不宜把单一合并估计当作稳定的一般效应，证据档位为C，不足以下结论。
• 研究设计与做法：设计为系统综述与探索性元分析（认识论审计）：纳入ChatGPT发布后定量合成其教育效果的五项元分析，覆盖87项独立原始研究；作者重建其定量证据基础，并做三水平随机效应元分析，考察效应量、异质性与稳健性。
• 主要结果：重建元分析得到正向平均效应g=0.83（95%CI[0.68,0.97]），但异质性很大（I²=94.06%），95%预测区间为[−0.75,2.41]；在针对小样本与选择效应的敏感性分析中估计值明显衰减；69项可分类原始研究中79.7%仅评估表现，仅11.6%仅评估学习。
• 机制或解释：作者未提出单一机制解释，而是从方法论与概念层面解释：原始证据存在方法学与报告局限及显著的概念异质性，且质量门槛提高后证据基础迅速缩小，因而限制了对学习效应的确定性与可推广性。
• 局限与边界：局限与边界包括：仅纳入五项元分析、属早期第一波证据；原始研究概念异质、多测表现而非学习；元分析在独立筛选与编码、预注册、开放数据与代码、透明报告方面存在不足；摘要未报告利益冲突，材料未报告。
• 可否落地：对科研的含义是应避免将单一合并效应解读为ChatGPT对学习的稳定一般效应，需更严格、概念更精确、透明可重复的研究；对教育实践暂无直接落地结论，当前为提示性证据，不足以下结论。

🔗 打开原文

Fütterer T, Peltzer N, Gerjets P 等

本文摘自《每日前沿研究简报 · 2026-10-13》「AI 科研智能体」。本内容仅用于研究信息整理与科普交流，不构成医疗建议。