摘要: 生成式人工智能通过其在提供个人协助(例如ChatGPT、DALL·E)、天气预报、面部识别等技术中的广泛应用而日益成为当代生活的一部分。生成式人工智能技术是指基于生成对抗网络、大型预训练模型等人工智能的技术方法，通过对已有数据的学习和识别，以适当的泛化能力生成相关内容的技术。现阶段对教育潜在影响进行了广泛的研究诸如ChatGPT之类的生成式人工智能(AI)在教育领域的应用，但很少有人对教育工作者认为教学质量评估应如何因生成式人工智能而发生改变进行大规模研究。进入21世纪以来，教师课堂教学评估模式面临着理念创新和技术升级的双重机遇和挑战。教学与课堂评估的关系发生了深度转变，课堂评估从教学的附属和辅助手段逐步转变为教育教学的中心环节；因此，为了提高基于生成式人工智能教师课堂教学质量评估的准确性和性能，本文分析了人工智能在课堂教育评估中的应用，确认了智能技术对课堂教育的促进作用。在此基础上，提出了提高教师课堂教学质量评估的若干策略。研究结果为人工智能在教师课堂教学质量评估中的应用提供了很好的参考。
Abstract:
Generative artificial intelligence has increasingly become a part of contemporary life through its extensive application in providing personal assistance (such as ChatGPT, DALL·E), weather forecasting, facial recognition, and other technologies. Generative AI technology refers to artificial intelligence methods based on generative adversarial networks, large pre-trained models, and so on, which learns and recognizes existing data to generate relevant content with appropriate generalization capabilities. At present, there has been extensive research on the potential impact of generative AI (AI) such as ChatGPT in the field of education, but there is little large-scale research on how educators believe that the quality assessment of teaching should change due to generative AI. Since the 21st century, the teacher’s classroom teaching assessment model has faced dual opportunities and challenges of conceptual innovation and technological upgrading. The relationship between teaching and classroom assessment has undergone a deep transformation, with classroom assessment gradually shifting from an auxiliary and supporting means of teaching to a central part of educational teaching; therefore, in order to improve the accuracy and performance of teacher classroom teaching quality assessment based on generative AI, this paper analyzes the application of artificial intelligence in classroom education assessment and confirms the role of intelligent technology in promoting classroom education. On this basis, several strategies for improving the quality assessment of teacher classroom teaching are proposed. The research results provide a good reference for the application of artificial intelligence in the quality assessment of teacher classroom teaching.
1. 生成式人工智能技术运用于课堂教学评估背景与意义
人工智能驱动的工具和应用程序现已应用于包括教育在内的许多行业，以提高为学生和教师提供的服务质量。Bing、ChatGPT等人工智能工具被认为是辅助个人能力提升的对象，特别是在教学情境中，可以帮助学习者获得在21世纪取得成果所需具备的能力，并有效地掌握概念，人工智能与教学的融合有效实现了以学习者为中心的学习(Huang, 2018) [1]。然而，教师在基于人工智能的评估中的作用仍然至关重要，不能被削弱。Dillenbourg (2016)认为，从传统教育向数字教育的转变并不一定意味着教师在未来会被淘汰，认识到人工智能的好处以及这些好处如何改变他们在课堂上的角色将是更明智的。因此，在教育评估中，教师在确保人工智能适当地用于测量和评估目的方面仍然发挥着关键作用。生成式人工智能技术基于大数据分析，能够依据学习者的学习行为数据刻画学习者画像，帮助教师有针对性地完成教学活动的组织，可以为教师教学中的各个环节提供个性化、进阶性的教辅资料，完成教育领域教育产品的“私人订制”[2]。人工智能驱动的工具和应用程序改善了教学质量评估，这些工具可以为教育工作者提供有关学生表现、学习成果和教学效果的宝贵反馈见解。随着这项技术的不断发展，它有可能通过向学生提供个性化、数据驱动的教学来改变教育，并使教师能够优化教学策略以提高学生的成绩。
2. 国内外生成式人工智能技术在教学评估实践中的应用
近年来，生成式人工智能工具在课堂教学重量评估中的应用已成为一种趋势。人工智能是指计算机能够模拟人类的智能，如人类的学习能力、问题解决能力等[3]，人工智能深入课堂教学的重要性引起了众多学者的兴趣，他们积极探索各种方法，将各种人工智能工具与技术融入课堂环境中。以下是人工智能在课堂教育评估中的具体应用方式。
2.1. 智能评估工具赋能教师课堂教学评估
1) 学习分析和知识(Learning Analytics and Knowledge, LAK)：为课堂教学评估提供学习数据分析：LAK工具利用数据挖掘和人工智能算法分析学生的学习数据，包括学习进度、表现、偏好等信息，为教师提供深入了解学生学习状况的依据。2) 开放学习分析(Open Learning Analytics, OLA)：为教学评估提供全程监控：OLA工具能够实时监控学生在开放式学习环境中的学习过程，识别学习障碍和问题，并即时向教师反馈，帮助教师及时调整教学策略和课堂内容。分析评估结果预测学生表现：基于学习数据的分析和预测模型，OLA可以帮助教师预测学生的学习表现，提前采取措施，个性化辅导和支持学生，提升学习成绩。通过学习分析工具如LAK和OLA的应用，教师可以更准确地评估学生的学习情况，充分了解学生的学习进展、难点和需求；提供个性化的教学反馈和指导，帮助学生克服学习障碍，增强自信心和学习动力；实时调整课堂教学策略，根据学生的实际学习情况优化教学过程，提高课堂教学效果和学生学习体验。
2.2. 生成式智能工具帮助教师完成文本自动化评分
Turnitin的人工智能软件使用自然语言处理(NLP)来分析论文并提供语法、拼写和句法反馈。该软件还可以检测抄袭行为，帮助教师更高效、更准确地对作业进行评分；
通过智能语法检测进行评估：软件首先会扫描论文中的每个句子，检查语法错误，如主谓不一致、动词时态错误等。通过拼写检查进行评估：Turnitin的NLP技术会识别论文中的拼写错误，并提供正确的拼写建议。
1) 通过句法分析进行评估：软件会分析句子结构，识别并指出可能存在的句法错误，如主谓宾不一致、句子结构混乱等。示例：在一个句子中，如果存在“Although he like apples, but he prefer oranges.”这样的错误，软件会指出“like”和“prefer”之间的不一致，并建议更正。2) 提供智能化评估反馈：Turnitin会将上述检查的结果以标记、注释或直接的纠正形式呈现给用户，使他们能够清楚地了解论文中存在的语法、拼写和句法问题，并进行相应的修正。示例：软件可能会在论文中使用标记或下划线来标识错误，并在侧边栏或注释中提供建议或解释。通过以上方式，Turnitin的人工智能软件利用NLP技术来分析论文，帮助学生和教师识别和修正语法、拼写和句法错误，提高论文质量和学术写作水平。
2.3. 利用自然语言处理技术开展文本作业类评价
人工智能驱动的NLP工具可以通过提供语法、拼写和标点符号反馈来帮助学生学习语言并提高他们的写作技能。这些工具还可以通过分析和评估论点和证据来帮助学生培养批判性思维技能，这些工具还使教育工作者能够分析和解释自然语言数据，例如学生论文、讨论和社交媒体帖子，以深入了解学生的学习和参与度。例如，Grammarly的NLP支持软件提供实时写作反馈，包括语法、标点符号和句子结构的建议，这可以帮助学生提高写作技巧并写出更高质量的书面作品。其他工具包括Google Cloud Natural Language、IBM Watson和Microsoft Azure认知服务。当使用Grammarly的NLP支持软件时，它提供实时写作反馈，包括语法、标点符号和句子结构的建议。以下是具体的操作过程和示例：1) 评估语法正误智能修正：Grammarly会实时检查文章中的语法错误，并提供建议进行修正。例如，如果一个句子中存在主谓不一致或动词形式错误，Grammarly会标出并提供替换建议，帮助学生改进语法表达。示例：如果一个学生写道：“She do not like coffee,”Grammarly会指出“do not”与主语“She”不一致，建议更正为“She does not like coffee.”2) 检验标点是否恰当保证结构清晰：软件会检查文章中的标点符号使用情况，并提供建议改进。例如，如果一个句子缺少逗号或使用了不正确的标点符号，Grammarly会提示并提供修正建议，以确保句子结构清晰。示例：如果一个句子缺少逗号以分隔并列成分，“I like to eat pizza but I don’t like hamburgers.”，Grammarly会建议在“pizza”后面添加逗号。3) 评估语句结构：Grammarly还会分析句子结构，提供建议改进句子的连贯性和清晰度。例如，如果一个句子结构复杂或累赘，软件会提出简化或重组建议，使句子更易理解。示例：在一个过于复杂的句子中，“The movie, which I watched last night and really enjoyed, was about friendship.”，Grammarly可能会建议拆分成两个句子，以提高可读性。其他示例包括：Google Cloud Natural Language：Google Cloud Natural Language API利用NLP技术分析文本，提供情感分析、实体识别、语法分析等功能。例如，它可以帮助企业分析客户反馈情感倾向，以及识别文本中的实体和关键词。IBM Watson：IBM Watson提供语言理解和认知服务，包括文本分析、语言翻译、问答系统等功能。例如，它可以用于构建智能客服系统，分析大量的文本数据以回答用户问题。Microsoft Azure认知服务：Microsoft Azure提供一系列认知服务，包括语言理解、语音识别、图像分析等。例如，它可以用于构建智能助手应用程序，帮助用户理解和处理自然语言输入。
2.4. 智能语音识别软件提升教师评估效率
人工智能可以帮助转录和翻译讲座和其他教育材料，使更多学生能够接触到它们，这可以帮助那些可能难以理解课程作业中使用的语言或可能有听力障碍的学生同时它还能帮使教育内容更具包容性和可访问性。例如，Otter.ai使用人工智能驱动的语音识别来转录实时讲座和其他教育材料。该软件还可以将口语内容翻译成多种语言，使使用不同语言的学生更容易理解教育内容，提高教师对不同学生进行课堂评估的可行性。其他示例包括Amazon Transcribe和Google Voice。Otter.ai：1) 实时转录讲座：Otter.ai使用人工智能技术，可以即时将讲座内容转录成文字，使得学生和老师都可以方便地回顾和整理讲座的重点内容，提高学习效率。2) 多语言翻译：通过将口语内容翻译成多种语言，Otter.ai有助于跨语言学习和理解，帮助不同语言背景的学生更容易地接触到教育内容，促进跨文化交流。3) 亚马逊转录(语音到文本转换)：Amazon Transcribe能够快速将语音内容转换为文本，帮助教师更准确地记录学生表现、观察学生参与情况，从而进行更精准的评估和反馈。4) 龙自然说(语音识别技术)：可以帮助教师更轻松地记录评估学生的口语表达和反馈，提高了评估的便捷性和准确性，为教学评估提供更多维度的参考。5) 谷歌语音：(语音输入与评估)：Google Voice可以结合语音输入和智能评估功能，帮助教师更全面地了解学生的口语表达能力，便于个性化评估和指导学生的学习方向。通过以上软件在实践教学中的运用，教师可以更有效地记录学生的言语表达、参与情况以及理解程度，帮助他们做出更准确和全面的课堂教学质量评估，为个性化学习和教学提供更多支持和可能性。
2.5. 游戏化评估工具赋能课堂教学
游戏化工具使用基于游戏的元素来激励和吸引学生参与学习活动和评估[4]。教育工作者可以使用游戏化工具来提高学生的参与度，促进学生的学习，并为学生的表现提供即时反馈。示例包括Classcraft、Kahoot!和Quizlet。1) Classcraft是一款将课堂行为管理和任务完成游戏化的平台。教师可以创建一个虚拟的班级，每个学生都有一个定制化的角色，通过完成作业、表现良好和参与课堂活动来获得经验值和奖励，教师可以设置特定的任务和目标，比如阅读一本书或完成一个数学练习，完成后学生可以获得经验值。教师可以通过Classcraft监控学生的进度和班级的整体表现，从而评估哪些教学方法最有效。Classcraft还可以帮助教师识别需要额外支持的学生，并及时进行干预。2) Kahoot!是一个基于游戏的学习平台，允许教师创建多选题、讨论题和测验，然后学生通过个人设备参与回答。教师可以创建与课程内容相关的Kahoot!测验，作为课堂小测试或复习活动。学生通过竞争回答问题，增加了参与度和动力并且教师可以即时看到学生的回答情况，了解学生对材料的掌握程度，并据此调整教学策略。3) Quizlet是一个学习工具集合，允许用户创建学习卡片、测试和其他学习游戏。教师可以创建定制的学习卡片集，帮助学生记忆术语、定义和概念。Quizlet提供了多种学习模式，包括学习、写作、拼写和测试模式，适应不同的学习风格。教师可以利用Quizlet的数据分析功能来跟踪学生的学习进度和成绩，从而更好地理解每个学生的强项和弱点。在课堂教学评估的实践中，这些游戏化工具可以帮助教师：增加学生的参与度和动机、提供即时反馈，帮助学生了解自己的学习进度，通过数据分析了解学生的学习情况，个性化教学策略。创造一个更加互动和有趣的学习环境，鼓励学生之间的合作和竞争，促进社交学习。
2.6. 虚拟现实(VR)和增强现实(AR)工具进行高质量教学活动评估
VR和AR工具使用沉浸式技术为学生提供交互式、体验式学习体验。教育工作者可以使用VR和AR工具让学生参与实践学习活动，提供真实世界的体验，并提高学生的学习成果，从而对其过程进行更清晰化的评估反馈[5]。示例包括Google Expeditions、Merge Cube和Nearpod VR。1) Google Expeditions：Google Expeditions允许教师带领学生进行虚拟旅行，探索世界各地的不同文化和环境。通过VR技术，学生可以进行沉浸式学习，这不仅增加了学习的趣味性，还帮助学生更好地理解抽象的概念。在教学评估方面，教师可以通过观察学生在虚拟环境中的互动和反应来评估他们的理解和参与度。此外，Google Expeditions提供的反馈和分析工具可以帮助教师跟踪学生的学习进度，从而进行个性化的教学调整。2) Merge Cube：Merge Cube是一个AR设备，通过将数字内容与现实世界结合，创造出互动的学习体验。例如，学生可以通过Merge Cube观察3D模型，从而更好地理解复杂的科学概念或历史事件。在评估方面，Merge Cube可以提供实时反馈，教师可以通过学生的互动行为来评估他们的理解程度。这种即时的反馈机制有助于教师及时调整教学策略，确保每个学生都能跟上课程进度。3) Nearpod VR：Nearpod VR提供了一种沉浸式的课堂体验，允许学生通过VR头盔进入一个全息的教室环境。在这个环境中，学生可以观看3D模型、视频和其他互动内容。对于教学评估，Nearpod VR可以收集学生的行为数据，如完成任务的时间、正确率等，这些数据可以帮助教师评估学生的学习效果。同时，Nearpod VR还可以促进学生之间的合作学习，教师可以通过观察学生在团队中的互动来评估他们的社交技能和团队合作能力。VR和AR工具不仅能够提供创新的教学方法，还能够通过数据分析和实时反馈，帮助教师进行更加精准和全面的教学评估。这些工具的应用使得教师能够根据学生的个别需求和学习风格，调整教学内容和方法，从而提高教学质量和学生的学习成效[6]。
2.7. 基于人工智能的抄袭检测软件使用NLP算法来分析学生作业并检测抄袭
抄袭检测软件，如Copyscape、Grammarly和Turnitin，使用自然语言处理(NLP)算法来分析和检测学生作业，这些软件可以帮助教师在课堂教学评价中更有效地发现和防止抄袭行为。1) 提高教师工作效率：使用抄袭检测软件，教师可以快速检查大量学生的作业，节省时间和精力。这些软件可以自动扫描文本，检测潜在的抄袭行为，从而减轻教师的工作负担。2) 提高抄袭检测准确性：基于人工智能的抄袭检测软件使用先进的NLP算法，可以更准确地识别抄袭实例。这些算法可以识别不同的抄袭类型，如直接抄袭、改写和拼凑，从而提高教师在评价过程中的准确性。3) 提供详细的报告：抄袭检测软件通常会生成详细的报告，展示学生作业中的潜在抄袭问题。这些报告可以帮助教师了解学生抄袭的程度和类型，从而采取相应的措施进行纠正。4) 教育学生关于学术诚信的重要性：通过使用抄袭检测软件，教师可以向学生传达学术诚信的重要性。这有助于培养学生的原创意识和责任感，从而提高他们的学术素养。例如：教师可以使用Copyscape来检查学生的论文是否存在网络抄袭。Copyscape会扫描互联网上的数十亿个网页，检测学生作业中的内容是否与网络上的其他文本相似。如果发现相似之处，教师可以要求学生进行修改，以确保作业的原创性。Grammarly不仅可以检查语法和拼写错误，还可以检测学生作业中的抄袭内容。通过使用Grammarly，教师可以在批改作业时发现潜在的抄袭问题，并及时采取措施进行纠正。Turnitin是一个广泛使用的抄袭检测软件，拥有庞大的数据库，包括学术论文、书籍和其他出版物。教师可以使用Turnitin来检查学生的论文是否存在抄袭，并提供详细的报告，以便教师了解学生抄袭的程度和类型。此外，Turnitin还提供了教育学生关于学术诚信的资源和工具，帮助教师在课堂上进行有效的教育。
2.8. 为了加强研究方法的严谨性，并增强结果的普遍适用性和说服力，未来的研究可以采取以下步骤
1) 引入对照组：在研究设计中包含对照组，以比较人工智能工具使用与否对教学质量评估的影响。对照组可以不接受人工智能辅助的评估，而实验组则使用人工智能工具。通过比较两组的结果，可以更准确地衡量人工智能技术的贡献。2) 随机分配：确保实验组和对照组的随机分配，以减少选择偏差和其他混杂变量的影响。3) 跨文化比较研究：进行跨文化研究，以评估不同文化背景下人工智能工具的有效性。这可以通过在不同国家和地区的学校中实施相同的研究设计来实现。4) 多方法数据收集：使用定量和定性数据收集方法，如问卷调查、访谈、观察和课堂视频分析，以获得更全面的视角。5) 长期跟踪研究：进行长期研究，以评估人工智能工具对学生学习成果和教师教学实践的长期影响。6) 混合方法研究：结合定量和定性研究方法，以利用两者的优势并相互验证研究结果。7) 样本多样性：确保研究样本具有代表性，包括不同年龄、性别、社会经济背景和学习风格的学生。8) 教师和学生的培训：在研究开始前，为参与的教师和学生提供充分的培训，以确保他们能够有效地使用人工智能工具。9) 伦理审查：确保研究设计符合伦理标准，特别是在涉及学生数据收集和处理时。
通过采取这些措施，研究可以提供更加严谨和可靠的证据，以支持生成式人工智能技术在教育评估中的应用。这将有助于提高研究结果的普遍适用性和说服力，从而为教育政策制定和实践提供更有力的支持。
3. 生成式人工技术赋能课堂教学评估所面临的挑战及应对策略
人工智能可以在评估过程中协助教师，例如通过构建评估问题、提供写作分析、自动使用学习过程数据以及创建更具适应性和个性化的评估[7]。然而，在评估中使用人工智能时，还需要解决一系列挑战，包括专业知识的边缘化、问责制的推迟、监视教学法的采用，以及评估过程中人与机器的潜在无效分离(Swiecki等人，2022) [7]。在生成人工智能工具的使用增加的情况下，还存在对身份、剽窃和学习保证的担忧。如果学生可以通过提交不属于自己的作品来通过评估任务，那么教育的目的和完整性可能会受到损害。虽然人工智能检测工具的出现速度几乎与生成式人工智能本身一样快(例如，人工智能文本分类器、GPTZero、人工智能作弊检查、人工智能内容检测器)，但这些系统是概率性的，而不是精确的，并且存在教师可能不了解的风险[8]。目前的研究发现，学校文化、缺乏支持和资源等学校环境阻碍了教师将技术融入课堂教学实践。教师们也反映，他们对科技的使用知识和能力不足。生成式人工智能赋能技术预见过程中所代表的技术治理模式可能存在弱化人类主体性的风险，甚至进一步引发技术依赖、责任缺失以及信息茧房等问题[9]。此外，教师认为他们在公平获得课堂技术或其他学校资源方面受到限制。如果没有学校管理者的全力支持，教师在将课堂技术融入教学实践方面将收效甚微。
有多种方法可以解决在教师课堂教学质量评估中使用人工智能工具的挑战。1) 确保人工智能驱动评估功能下的工具的透明，教育工作者和开发人员必须共同努力，开发没有偏见和歧视的算法，因此需基于不同数据集设计算法并将道德考虑纳入设计过程[10]。2) 教育工作者需要适当的接受培训和支持从而有效地使用人工智能评估工具：为教育工作者提供使用该技术的专业发展机会和持续的支持，以确保他们能够有效地将其融入到他们的教学实践中。3) 确保智能化评估工具满足学生的需求，教育工作者应与学生合作，收集学生使用该技术的体验的反馈：征求学生对工具的可用性和有效性的意见，并将他们的反馈纳入设计和开发过程。4) 确保人工智能评估工具适用于所有学生，教育工作者应考虑残疾学生的需求，并根据需要提供便利：设计与辅助技术兼容的工具、提供材料的替代格式以及确保工具符合辅助功能标准。5) 智能化评估过程纳入人工投入和监督：虽然人工智能工具可以为学生的学习提供有价值的见解，但重要的是要记住它们并不是绝对正确的，教育工作者应将人力投入和监督纳入评估过程，以确保结果准确和公平[11]。6) 智能技术的定期评估和更新：人工智能技术在不断发展，教育工作者需要随时了解该领域的最新进展、定期评估和更新技术，以确保其满足学生和教育工作者的需求，并保持透明、公平并符合数据隐私法规。7) 在评估过程当中确保学生数据安全和隐私：教育评估中的人工智能工具通常涉及收集和分析学生数据，确保数据安全、受保护且仅用于其预期目的非常重要，应当实施适当的数据安全措施，例如加密和访问控制，并确保遵守家庭教育权利和隐私法案(FERPA)等数据隐私法规。8) 使评估工具泛化于学生生活：教育工作者应提供有关该技术的教育和培训、解释技术如何工作、收集哪些数据以及如何提高学习成果，从而确保学生和家长在教育评估中轻松使用人工智能工具。9) 使用透明算法以及对教师进行专业化培训：人工智能系统可能会无意中学习并放大训练数据中的偏见，导致评估结果不公正，同时生成式人工智能的介入可能改变教师与学生之间的互动和教师的评估角色。通过开发无偏见的算法，并确保算法决策过程的透明度、提供专业发展机会，帮助教师理解AI工具的局限性，并训练他们如何有效地使用这些工具。可以很好的解决以上伦理风险。10) 数据最小化及遵守隐私保护法规：AI评估工具需要收集学生的学习数据，可能涉及个人隐私信息、学生数据可能被未授权地使用或泄露给第三方，这是可以只收集少量必须的数据，且确保遵守如FERPA等数据隐私法规，并实施适当的数据安全措施。11) 嵌入加密技术并进行定期安全审计：人工智能环境下的存储和传输的学生书局随时可能面临安全风险，AI系统也随时可能成为网络攻击的目标，可通过使用强加密方法保护数据传输和存储的安全并进行定期的安全审计和系统更新，以防范潜在的安全威胁。
4. 总结
由于生成式人工智能，我们周围世界的许多方面都将发生深刻的变化，这意味着教师的角色将变得更加复杂和重要，因为他们试图让学生为“越来越难以预测的未来”做好准备。教师们普遍认为，由于生成人工智能，教学和评估都需要改变。教学质量评估需要转向更多的面对面和监督任务，这些任务涉及更高的真实性、个性化、更高层次的思维和信息来源的披露。本文探讨了人工智能在教师课堂教学质量评估中的各种应用以及提高其有效性需要解决的挑战。在课堂教学质量评估中使用人工智能既有好处也有局限性。然而，基于人工智能的课堂教学质量评估并不是万能的，不应完全取代人类的判断。因此，虽然人工智能可以增强课堂教学质量评估性能，但它应该与人类判断和道德考虑一起使用。教育工作者、政策制定者和利益相关者必须共同努力制定战略，最大限度地发挥人工智能在教育评估中的优势，同时降低相关风险。该研究基于特定的数据集，未能全面覆盖不同教育背景和文化的学生群体，且局限性地考虑教师对人工智能技术的接受程度和使用意愿，这可能影响技术的实际应用效果，在未来研究中研究应探索有效的教师专业发展模式，以提高他们使用人工智能评估工具的能力和信心，并进行实证研究，以验证人工智能评估工具在不同教育环境中的有效性和可行性。课堂教学评估实践当中利用智能化工具最终改变教育模式，提高学习成果，使学生有效地使用生成式人工智能技术并具备在21世纪获得成功所需的技能。