# AI 听评课存在的问题及不足

整理日期：2026-10-28
数据来源：本项目 2026 年 8–10 月在真实课堂数据上的实测（统一语料 1879 门；2026 批 726 门专家标注与平台 AI 直评对照；人审裁决记录；30 门回转写深读）。文中"AI"分四种来源，实例后用【】标明：
- 【平台AI】评课平台生产线对 2026 批 726 门的直评
- 【课程评价专用模型】本项目课程分及评语
- 【合规筛查】本项目合规 / 言语筛查
- 【推算→深读】用评语推算九项等级，再回转写逐项核对

---

## 一、总体结论

1. 按 2026 方案 19 条的权重算，AI 用视频 + 转写**能稳评 45 分，能评一部分 30 分，评不了 25 分**。评不了的 25 分里，15 分是材料没交（Q1–Q4、Q14），10 分是视频天然拍不到（Q17）。
2. AI 课程分与专家分的秩相关只有 **0.17（2026 批 721 门）/ 0.25（2025 批 783 门）**。
3. 平台 AI 在 726 门上，专家判"需要重点改进"的课平均 **87.6 分**，判"具有示范价值"的课平均 **86.5 分**，完全倒挂。本项目课程分能分开（示范价值 75.5 / 效果较为有限 63.1），但"需要重点改进"（68.4）仍高于"基本达到要求"（65.1）。
4. 高分区间 AI 排序与专家排序 **ρ≈0**：AI 能把明显差的课筛出来，分不出"好"和"极好"。
5. AI 最可靠的产出不是分数，是"第几分几秒、哪句话、可能有什么问题"。它适合做初筛和证据定位，不适合做终审。

---

## 二、六类共性问题

### 问题 1：拍不到的，AI 当成没有

- 220 课型普查中，**8 门无学生机位的录播课被系统性低估**，扣的分对应拍摄方式，不是教学。
- 2026 批 726 门专家自标：**无学生入镜 47 门、仅部分可见 99 门；学生发言部分听不清 116 门、基本无法听清 5 门**。
- 专家 2275 条片段标注里，**174 条"画面或信息不足"**。
- 反向错误：说话人分离把课堂播放的纪录片解说当成学生发言，一堂真实学生发言为零的课被记成 **19.6% 学生占比**（2025 批，2025-03-20 一堂课）。
- 2025 批 687 门转写无说话人分离，所有依赖"学生说了什么"的判断整体做不了。

### 问题 2：听错的，AI 当真（转写是上游瓶颈）

- 合规筛查条目级精度 **48%**（29 条人审 14 条属实）；误报 16 条里 **AI 误判 11、转写致误 5**。每 100 门约 27 门冻结待人裁，六成会被放回。
- 事实核验对教师的精度 **57%**（7 条出单 2 条是转写致误："11 亿吨"听成"11 吨"、"开通"听成"开工"）；换更保守的提问口径升到 75%，但丢一条真错。
- 对照实验：换一版转写对结果的影响（Δρ=0.176）比换提问方式（最大 0.03）**大一个量级**。
- 实例：天津理工 2025 批，转写把"商鞅"写成"沙雕"（两门课都中招），"太多了，也不太听得清"写成"我眼睛瞎了，看不见"，正常课被判"身份不符"整课冻结。【合规筛查】

### 问题 3：同一堂课评三遍，分数不一样

- 同材料、同提示词，课程评价专用模型独立评三遍：三次极差平均 **6.5 分**，最大一门 **63 / 78 / 80**。约 15% 的课单次评分可能漂一整个档位。
- 三遍均值 67.2 / 70.2 / 68.9，评分员"人格抽样"自带系统偏移。
- 同一教师同一节内容两次近逐字重讲（0924 / 1119），AI 评分差 **7.4 分**（70.7 vs 63.3）。
- 排序相对稳（单次与三次均值秩相关 0.95），但"这堂课多少分"单看一次不可信。

### 问题 4：与专家一致性低，认不出极好的课

- 见总体结论 2–4。
- 实例：C26-726_3728，课程评价专用模型89 分，评语"华为链条一环扣一环，论证真正做到了从具体上升到抽象"；专家判"效果较为有限"。【课程评价专用模型】
- 实例：C26-726_674，课程评价专用模型45 分，"问题清单提出后始终未被正面回答"；专家判"具有示范价值"。【课程评价专用模型】

### 问题 5：立场和价值判断，AI 会替教师找理由

- 实例：天津理工 T10-20250311-P0 @2:32 "哪个人不想打一仗，对吧？因为打仗才能有立功的表现"。AI 自注"似在模拟军人心理以反衬战略定力"；人审裁定问题属实："领导人和军官不是人人都想打一仗的"。模型的"教学性模拟"辩护未被采信。【合规筛查】
- 这类判断的终点必须是人。

### 问题 6：一堂课看不出的东西，AI 也看不出

- Q1–Q4、Q14（15 分）：学情清单、教案、课件语料里没有。726 批导出只有视频、转写、AI 评价、报告、专家标注五个目录。
- Q11–Q13、Q15 的素养和态度部分（理论功底、读书量、热爱事业、关注学生差异）：一堂课推断不了教师整体，AI 只能拿课堂表现当代理。
- 2026 批 1079 门转写里，**195 门（18%）教师口头提到课前问卷 / 问题清单**，AI 一份清单都核不了。

---

## 三、逐条看：Q5–Q17 中 AI 判错或判不了的真实课堂

### Q5 坚持马克思主义立场观点方法，教学逻辑清晰、内容完整，基本理论阐释清楚，基本事实讲述准确，重点难点突出（10 分）

问题：事实核验读的是转写，转写错它就错；知识有截止日期，新近时事会被判"虚构"；分不清谁在说话，学生的错记到教师头上。规则核验 13 条人核：真错 8、误报 2、学生段算给教师 1。"官方提法"34 条候选 0 条能出单。

1. **真实时事被判"虚构"**。2026 批提交 2011（本科，2026-06-04）：AI 给 37.3 分，理由"存在严重事实性错误（虚构特朗普近期访华及中美关系破冰）"；专家 26:24 记录"特朗普访华是中美关系中的标志性事件，案例典型，以此作为本节课的导入"，总评"整体成熟有效"。【平台AI】
2. **学生讲错的，记到教师头上**。2025 批 C25-687_13364905096：核验单出现"〖以下为学生上台展示的原声转写〗2017 年 10 月，我们十八届四中全会"（实际 2014 年 10 月），被列为教师事实差错。【课程评价专用模型】
3. **教师引对了，AI 事实表是错的**。2025 批 C25-687_18328527602 @18:07："1983 年 10 月 11 日到 12 日通过了中共中央关于整党的决定"被判差错，AI 给的"应为 1982-09-11"是抓取伪影；人核后该事实降为低可信。【课程评价专用模型】

### Q6 教学素材多样，案例鲜活生动，及时将新时代实践转化为课堂教学资源（10 分）

问题：AI 能判案例贴不贴论点，判不了鲜活不鲜活。"与教学无关"轨 59 条专家复核：误报 44 条，其中 34 条是把"举例太长"当成"跑题"。专家标"案例陈旧或失真"而 AI 仍夸案例的课 6 门。

1. **陈旧案例被夸"咬合紧密"**。提交 2759（本科，2025-11-04）：AI 82 分，"案例（淮海战役、小岗村、美国控枪）与理论咬合紧密"；专家 16:44"淮海战役的案例略显陈旧，学生的表现也较为平淡，没有引发情感共鸣"，总评"效果较为有限"。【平台AI】
2. **案例只讲现象，AI 当成升华**。提交 3133：AI 86 分，"结合阿里反垄断、一汽改革等案例实现了理论升华"；专家 19:48"'孟晚舟被关押'事件，要透过现象说清事件本质，这不仅仅是民营企业贡献，更是技术'卡脖子'问题"。【平台AI】
3. **举例讲得长，被判"与教学无关"**。2025 批天财 / 天师大等校：教师原话"我再给大家举个例子"，讲饭票直接接"这个公有制的性质"，AI 仍报"已成为独立闲谈"；同批文化强国课讲综艺、短剧、文旅产品被判"娱乐话题"，讲十五五规划编制流程被判"行政事务"。【合规筛查】

### Q7 理论联系实际，善于通过热点事件、感人故事、国际对比、学术掌故促进思政课堂和社会课堂融合（10 分）

问题：联系实际的"度"AI 把握不住。专家在 726 门里标"时间分配失衡"132 次，AI 理由几乎不含这个判断。

1. **热点讨论被当"完整闭环"**。提交 3571（高职，2025-10-31）：AI 94 分，"选取育儿补贴、食品安全等真实争议案例组织深度讨论……实现完整闭环"；专家 37:44"用 8 分钟讲育儿补贴，提问了 5 个学生，看似有互动，实质浪费了大量时间，没有讲清楚关键问题"，总评"效果较为有限"。【平台AI】
2. **自己写了"未经核实"，分还是 85**。C26-726_2974：课程评价专用模型评语"插叙过多（德国炸电厂、卖血、空间站烤鸡翅），若干细节未经核实，推进常有跳步"，仍给 85 分；专家"效果较为有限"。【课程评价专用模型】
3. **视频里的内容算成教师的联系实际**。C26-726_3734：推算 F5 四级（有把握），深读发现关键证据是播放的视频在说话（53:25 "你说治理洱海……苍山上的树要不要保护好呢"、36:37 "目前仅在实验室生产了少量的淀粉样品"），降为三级。【推算→深读】

### Q8 针对学生常见问题清单，发掘身边人身边事的育人元素，有效回应学生关心问题和思想困惑（5 分）

问题：清单 AI 没有。能听见教师说"课前做了问卷"，核不了清单内容和回应了几条。195/1079 门教师口头提到清单。

1. **教师说"围绕清单讲"，AI 看不到清单**。170_2005："课前也进行了一个小调研，形成了我们学生常见的清单，今天的主要内容就是围绕着这个问题清单来。"同类：726_2031"整理成了这样一份问题清单，主要集中在四个方面"；170_2976"课前做了问卷，大部分同学集中在五个方面"。【课程评价专用模型】
2. **AI 说"没回答"，专家说"示范价值"**。C26-726_674：课程评价专用模型45 分"问题清单提出后始终未被正面回答"；专家判"具有示范价值"。【课程评价专用模型】
3. **专家记下了问卷，AI 没当回事**。提交 3571 @1:29，专家"通过问卷调查了解学生的疑难困惑"，标"回应学生现场生成"；AI 94 分理由一字未提问卷，夸的是后面被专家判"浪费时间"的育儿补贴讨论。【平台AI】

### Q9 熟悉教学法基本原理，教学逻辑与学术逻辑辩证统一，教学设计符合认知规律、关注学生差异性（5 分）

问题：AI 看得出结构并列还是递进，看不出时间分配、课堂管理是不是教学的一部分。"教学互动被当行政管理"误报 8 条；推算 F7 有把握的等级深读后改了 9/30 门。"关注差异性"一堂课基本看不出。

1. **课堂管理被当成"挤占教学"**。提交 2011：AI"课堂前段大量时间耗费于行政事务与设备调试，严重挤占有效教学时长"，37 分；专家 5:58 记录的是"在其回答基础上持续追问，推动思考逐层深化"。同批复核里，传纸条做民生调查被读成"收作业"，报学号给发言计分被读成"点名"。【平台AI】
2. **时间失衡 AI 看不见**。提交 3571 @37:44，专家标"时间分配失衡 · 论证中断"；AI 94 分理由对应那一段是"组织深度讨论……即时提炼升华"。【平台AI】
3. **结构等级"有把握"也会错**。C25-687_18208008616（课程评价专用模型89 / 专家 97）：推算 F7 四级，深读降三级——23:50"所以核心我们得去讲一个词。到底什么是？"、41:45"中国式现代化到底厉害在哪些方面……我们后面讨论吧"，关键问题提出后未展开。【推算→深读】

### Q10 运用研讨式、案例式、模拟式、体验式、访谈式等教学方法，精心组织互动，激发问题意识、学习兴趣和深度思考（5 分）

问题：互动是 AI 错得最集中的地方，两头都错。平台 AI 判 633/726（87%）"有真实往返"，其中 229 门专家标"互动流于形式"或"学生参与不足"；AI 判"不可观测"的课里 6 门专家标学生清晰可见且可听清；民航 30 门 AI 判 27 门不可观测，25 门其实可判。

1. **点名 12 次、回应 52 次，判"不可观测"**。中国民航大学 CAUC-XSX-T04（2025-11-17）：材料里一句"学生发言基本未被收录"，模型照抄判不可观测。转写原话："有没有同学可以举手""刚才谁先举手的……那你来吧""哎，非常好啊，请坐啊""他说，毛泽东同志在延安为中央党校提了实事求是四个大字"（教师复述学生回答）。【合规筛查】
2. **看似互动，实质走过场**。提交 3571 @37:44：AI"有真实往返"94 分；专家"提问了 5 个学生，看似有互动，学生发言很积极，实质浪费了大量时间"。【平台AI】
3. **学生在镜头里，AI 说"不可观测"**。提交 2759：AI"全程为单向讲授，无任何真实师生互动痕迹"，82 分；专家标学生清晰可见、可听清，11:44"课堂教学氛围较为沉闷，学生参与感不够强"，标"互动流于形式、学生参与不足"。【平台AI】

### Q11 学术基础较好，具有较为扎实的马克思主义理论功底（5 分）

问题：功底是教师的，不是这堂课的。方案自己写了边界"不由一堂课推断教师总体理论功底"。平台 AI 均分在专家五档上倒挂（见总体结论 3）。

1. **专家说功底不够，AI 说功底俱佳**。提交 3571：AI 94 分"本课思想性与教学有效性俱佳"；专家"教师没有把重点问题讲清楚，只讲自己熟悉的领域，对教材的把握和对新时代伟大成就的把握都不到位。核心问题：夯实理论功底，提升理论水平。"【平台AI】
2. **专家 83 分，课程评价专用模型64 分**。C25-130_15737557986：推算 F3 三级，深读降二级（14:07"郑煤机的成功呢，就昭示了想要改革必须要坚持党的领导"，以例代证）；同一堂课 F2 推算一级、深读升二级，AI 内部也不稳。【推算→深读】
3. **"有把握的四级"回转写变三级**。C26-726_3710（专家：整体成熟有效，课程评价专用模型84）：5:52"理论来指导实践当中又反复产生理论，它符合我们维度变更法的这种认识论的逻辑"、34:10"历史逻辑告诉我们我们必须要有一个核心这是第二个逻辑"，几处推理是术语堆出来的。【推算→深读】

### Q12 读书量大、知识储备丰富、熟悉五史，讲课旁征博引、史论结合（5 分）

问题："旁征博引"能听出来，引得对不对核不了几条：核验候选年代 60 条出 5、文献出处 34 条出 1、官方提法 34 条出 0；课程评价专用模型报的 20 条届次 / 年份差错，规则核验只覆盖 2–3 条。

1. **引述正确，AI 事实表错**。C25-687_18328527602 @18:07（同 Q5 实例 3）。【课程评价专用模型】
2. **周年算错方向**。C25-687_15051271328 @24:25："建党 100 年啊，就 2020 年 7 月 1 日庆祝中国成立 100 周年"——教师错的是年份（2021 说成 2020），AI 却说"应为 99 周年"。13 条人核里 2 条"应为"方向反了。【课程评价专用模型】
3. **史料占有不足，AI 看不出**。提交 2759：AI 82 分"案例与理论咬合紧密，实现了从具体事实到抽象学理的升华"；专家"扩展发掘的历史史料占有"，22:02"新意比较少，材料缺乏深入梳理"。【平台AI】

### Q13 热爱思政课教学，尊重关心了解学生，话语体系贴近学生，不照本宣科，能有效对话，语言生动有画面感（5 分）

问题："尊重学生、话语贴近"是误报重灾区：只看文字不听语气，正常课堂管理、口音、泛指都会被判贬损学生。言语筛查 29 条人审 14 条属实；F9（语言表达）推算等级深读后下调 9/30，一门未上调。

1. **泛指被当成骂学生**。天津理工 T01-20250922-P1 @33:56："人不可能一直躺平的……你天天躺就不正常了，什么就真成了废物了啊"，AI 判"用'废物'形容躺平学生，属贬损性用语"；人审：AI 误判。同类：T07-20250422 @9:27"我觉得我很可爱"被判"不当玩笑"，人审"联系上下文毫无戏谑之感"；@11:32"鬼子进村"形容破坏现场被判粗俗，人审"应无不妥"。【合规筛查】
2. **转写造出来的训斥**。天津理工 T07-20250321-P1 @0:29：转写"哪位同学坐下，知道了啊，给你提出批评啊，快坐下"，AI 判"当众点名批评学生，语气生硬带有训斥意味"；人审回听原话"找个位置坐下，迟到了啊，对你提出批评，快坐下"，正常课堂管理。同校 T07-20251117 @11:26"哥们"实为口音下的"对吧同学们"。【合规筛查】
3. **语言表达等级靠评语推，回转写就下调**。C25-130_15687609744：F9 推算三级，深读二级——0:02"从思想上、行动上，思想上、政治上、思想上、行动上"；23:38"我们的兵力只有 80 万……我们的兵力有 60 万"。另：转述批判对象原话里的"中国佬"曾被判教师用语不当（speech_conduct_206），人审纠正后才写进排除规则。【推算→深读】

### Q15 引领力强，有效引导学生坚定"四个自信"，坚定不移听党话跟党走（5 分）

问题：教师说了什么能判，学生有没有"坚定"判不了。F1 推算等级深读后上调 6/30、下调 0，AI 对价值引领普遍低估；合规误报 16 条里 AI 自身误判 11。

1. **AI 替教师辩护，人审不采信**。T10-20250311-P0 @2:32（同问题 5）。【合规筛查】
2. **设备调试被扣"政治高度"**。提交 2011：AI"课堂前段大量时间耗费于行政事务与设备调试……削弱了思政课的严肃性与政治高度"；专家总评"整体成熟有效"，问题在互动不在立场。【平台AI】
3. **价值引领讲扎实了，推算还是一级**。C25-130_15737557986（专家 83 分）：F1 推算一级，深读升二级——11:40"我们的改革是社会主义制度的一种自我完善"、12:43"改什么怎么改，我们都要坚持党的领导，坚持社会主义制度作为根本的标准"。评语里没单独写，推算就看不见。【推算→深读】

### Q16 说服力强，通过富有思辨、符合逻辑的理论推演，把道理讲深、讲透、讲活（10 分）

问题：AI 认"论证链条"，专家认"重点有没有讲透"。专家判"效果较为有限"而 课程评价专用模型≥85 的课 3 门。

1. **"一环扣一环" vs "效果较为有限"**。C26-726_3728（同问题 4）。【课程评价专用模型】
2. **专家"以断言代替论证"，AI"完整闭环"**。提交 3571 @21:59：专家"本次课应该重点讲解改革开放为什么是关键一招，这些重点问题都没有讲清楚"，标"以断言代替论证"；AI 94 分。【平台AI】
3. **一条"虚构"判断打掉一堂好课**。提交 2011：AI 理由前半句承认"学理阐释清晰，案例与理论咬合紧密，逻辑主线明确"，后半句因"虚构事实"打到 37；专家"整体成熟有效，良好而非优秀"。【平台AI】

### Q17 感染力强，学生思想受撞击、情感受触动，注意力集中、课堂气氛活跃，愿意与教师交流反馈（10 分）

问题：评的是学生，AI 看不到学生的脸、听不清学生的声音。数据见问题 1。

1. **专家：抬头率高、有明显反应；AI：不可观测**。提交 2942（本科，2025-12-18）：专家 12:57"学生反馈较好，抬头率高"、22:29"学生反馈较好"，均标"有明显反应或变化"；AI 92 分但互动状态"不可观测"。【平台AI】
2. **后排交头接耳，AI 看不到**。提交 2015 @0:00–7:34：专家"学生进进出出以及后排学生明显在交头接耳聊天影响整个的听课感受"；AI 82 分，判"仅确认式假问"。【平台AI】
3. **纪录片解说被当成学生在发言**。2025 批 2025-03-20 一堂课：非主讲人占比 19.6%，实为纪录片解说，真实学生发言为零。按"学生发言占比"判气氛，这堂课会被判成互动好。【合规筛查】

### Q1–Q4、Q14（共 15 分）：缺材料，不可评

| 条目 | 权重 | 为什么没法评 |
|---|---|---|
| Q1 开展学情调查并提交学生常见问题清单 | 2 | 评的是清单文件，语料里没有；195 门课教师口头提到了清单，清单本身一份都没有 |
| Q2 学生常见问题"原汁原味" | 2 | 同上 |
| Q3 清单准确对应各章节各专题 | 4 | 同上 |
| Q4 教材、教案、课件、讲义、活页齐全 | 2 | 726 批导出没有任何教学材料文件 |
| Q14 数智素养，优化教育部配套课件，借助 AI | 5 | 要拿课件和教育部原版比对，没有课件；"用了 AI"只有教师口头说出来才能捕到 |

这 15 分不是 AI 的能力问题，是材料问题。补交材料后 Q1–Q4 可做文本核对，Q14 可做课件比对。

---

## 四、这些问题意味着 AI 听评课该怎么用

1. **AI 做初筛和证据定位，不做终审。** 最可靠的产出是"第几分几秒、哪句话、可能有什么问题"，让专家直接跳到那里回听。
2. **凡涉及立场、事实差错、冻结课的判定，终点必须是人。** 实测精度五成上下，人审是流程的必要组成，不是兜底。
3. **单次分数不发布。** 多次评分取稳定值，或只发分档和排序并附不确定性。
4. **拍不到学生的课，互动与感染力标 N/A，不扣分。** 先过"录制条件门"，再谈学生证据。
5. **转写质量是第一杠杆。** 改进转写（热词、人名词典、重转）比改提示词更有效，省下的是人审工作量。
6. **缺材料的 15 分让学校补交；拍不到的 10 分靠现场听课或学生端数据。**

---

## 五、数据出处

- 平台 AI 与专家标注对照：`/data/files/activity-3-completed-expert-20260908_211512/04_AI评价结果`、`06_专家标注结果`（726 门，2026-09-08 导出，脱敏版）
- 课程分与评语：`simpleEval_sim/data/f9_infer/f9_courses.json`；AI 与专家相关系数：`f9_summary.json`
- 推算→深读：`simpleEval_sim/dashboard/xsx2026/f9_deep30.json`（30 门，2026-10-22）
- 言语筛查人审：`simpleEval_sim/assets/human_review/b_tjlg53_adjudications_2026-08-18_sam.jsonl`；合规闸精度：`docs/decisions/2026-08-18_站2人审第一批_合规闸真实精度.md`
- 规则事实核验人核：`simpleEval_sim/runs/b_uc25_687b/data/p10_validation_20261001.json`；`docs/decisions/2026-10-01_P10事实核验验证与修订.md`
- 事实核验口径对照（57% / 75%、11 亿吨）：`docs/decisions/2026-08-28_事实核验判读口径AB与结论核验否定.md`
- 三次评分噪声：`docs/decisions/` 2026-08-31 评分噪声测量决策记录
- "与教学无关"轨专家复核：`docs/decisions/2026-08-30_教学诊断轨专家复核与三项修复.md`
- 互动可观测性复盘（民航 30 门）：`评价服务器:~/tjlg_xsx_2025/docs/互动可观测性定义错误_2026-08-02.md`
- 无学生机位 8 门、纪录片 19.6%、极值区 ρ≈0、重测对 7.4 分：`评价服务器:~/tjlg_xsx_2025/docs/章节锚定评价方案_v2.md`、`评价工作总体方案_v4.md`
- 课前问卷提及 195 门：对 `unified_corpus/2026/asr` 全文检索