1. 引言
自1999年我国开展现代远程教育试点以来，至今尚未形成明确的质量保障标准，更没有形成清晰的指标体系 [1] 。自2013年开始的开放大学建设试点至今，也未能建立一套行之有效的课程建设质量保证体系，开放大学在质量保障体系的组织架构、管理体制、运行机制等方面还有诸多问题亟待解决，课程质量保障仍存在盲区，缺乏全面性、系统性和科学性，已成为制约在线课程高质量发展的瓶颈 [2] 。随着在线教学的常态化，确保高质量的在线教育逐渐成为包括开放大学在内的所有高校的主要目标之一，因此，研制一套科学合理的体系框架，作为开发、运行和评价在线课程质量的指南，极为紧迫。
虽然陈然 [2] 、刘永福 [3] 等都提出了在线课程质量的分析模型，但这些模型的维度数量不同。同时，模型中名称相同的维度也因为研究者和使用环境的不同而涵义不同。其次，这些模型使用的分析方法不同，有时会响应相互矛盾的范例。此外，这些模型提出的指标很少强调需要同时对课程的所有教学和技术要素，以及课程计划、实施及其影响进行评价。
鉴于此，本研究拟从全面质量管理的角度，构涵盖课程本身质量的评价和课程的持续评价的在线课程质量综合评价模型，以期发展和完善现有网络课程质量研究理论体系和方法。同时，也希望该模型能为在线课程建设和评价实践提供新的思路。
2. 文献综述
本文从在线课程质量评价、在线课程质量评价标准和模型、在线课程质量评价方法对相关文献进行梳理。
2.1. 在线课程质量评价
在线课程建设是涉及规划、设计、开发和实施、评价等诸多阶段的持续改进过程。从全面质量管理角度看，产品或服务质量不仅涉及在生产的最后环节为纠正错误采取质量控制措施和避免出错的质量保证措施外，还需要对生产各个环节进行持续检测和评价。因而，在线课程质量评价即要考虑课程本身的静态质量，还要包括规划、设计、实施等过程所反映的动态课程质量 [2] [4] 。只有这样，才能够深入分析课程质量，发现和改进课程建设、实施过程中存在的问题。
2.1.1. 评价在线课程本身的质量
在线课程本身的质量评价指的是从系统论角度出发，对课程的构成要素或质量因子的评价 [4] [5] 。虽然业界对于在线课程质量评价模型中应该包括哪些要素尚未达成一致，但大多数研究者将课程概述、教学设计、教学团队、学习环境、学习活动、学习资源、课程内容、学习评价等静态要素作为在线课程质量评价的关键要素 [4] [5] [6] 。例如，Marciniak提出的在线课程质量因子包括课程论证、教学目标、学生特征、主题内容、学习活动、教师、学习资源、教学策略、学习支持、学习评价、学习环境这11个维度 [4] 。李青及其同事从课程概述、课程团队、教学设计、教学内容、教学媒体、学习评价、交互活动、课程评价、学习环境、技术支持、界面设计、学习支持、可访问性、课程管理和政策支持等维度评价在线课程质量 [5] 。这些要素很大程度上决定了在线课程本身质量，因此是评价在线课程质量时的重要观测点，针对它们的评价有助于发现每门课程的优缺点和改进空间。
2.1.2. 在线课程的持续评价
从全面质量管理角度看，在线课程应该按照规划、设计、开发、实施的全生命周期对质量进行评价，因为其中任何一个环节都会影响课程质量。因此，仅仅从产品或资源的角度评价在线课程质量是不合理的 [7] 。从上述任何一个环节所获得的反馈信息都有助于改进在线课程质量。实际上，无论是国家精品在线课程的认定标准 [8] 、张伟远 [9] 和张建飞等 [10] 都强调要兼顾在线课程的过程和结果的评价。因此，本研究将按照规划、开发、实施和结束这几个阶段评价在线课程质量。
课程规划评价在课程开发正式开始之前进行，主要包括需求分析、成本预算、课程开发团队组建、课程开发进度规划、课程开发团队沟通机制的确定、课程内容规划等。课程设计评价主要邀请有经验的专家学者，对课程内容与设计提出客观、专业的建议。课程试用评价主要评价课程试用阶段成效以及改进空间。课程的效果评价侧重于课程取得的成绩，包括检验课程是否已经达到了预期目标、测量课程教学效果、学生学习效果等。
2.1.3. 在线课程质量评价标准和模型评述
为了分析在线课程质量，国内外研究者提出了多个涵盖课程建设全过程的质量评价模型。表1是国内外部分在线课程质量评价模型汇总。
Table 1. Evaluation standards of some representative online courses at home and abroad
表1. 国内外一些代表性在线课程评价标准
上述模型虽然为后续在线课程质量评价研究奠定了基础，但也存在几大问题。首先，上述模型很少同时对课程本身的质量以及课程运行质量进行评价。第二，不同模型的维度差异较大，有的模型仅有4个维度，有的模型维度多达11个。第三，即使有些模型中包含有相同维度，其含义也因为作者和方法的不同而不同。第四，这些模型中包含的测量指标数量差异很大，尚未有公认的在线课程质量测量标准或标杆。
针对上述情形，本研究拟将课程概述、教学团队、课程目标、学习内容、学习材料、学习活动、学习评价、在线学习环境、学习支持等作为衡量在线课程质量的重要基础。
3. 研究方法
在构建在线课程质量评价指标系统时，通常由教育部门按照预先设定统一指标体系后，再统筹安排评价活动和通知任课教师提交课程信息，然后聘请远程教育专家进行评价 [16] 。因此，本文在文献分析基础上，构建了一个包含2个一级指标、13个二级指标和91个三级指标的在线课程质量评价模型，再邀请国内10多位教育技术专家对提出的模型进行验证。专家们需要通过对维度和指标的单义性、相关性和重要性进行评估和判断，进而确定模型的每个维度和指标的有效性。对于各个指标，则要求专家评估指标的适用性和证据的相关性。每个维度和指标都为专家预留了提交修改建议的评论区。
为了便于专家对模型进行验证，研究者设计了一个包含3个部分的在线调查问卷。问卷的第一部分简要介绍了研究目的、原始模型及其维度的简要描述，并向专家们提供了如何填写问卷的说明。第二部分设计了用于验证模型维度和指标的问题。第三部分要求专家提供某些与研究相关的个人数据。专家提交问卷后可得到SPSS格式的原始问卷数据。
使用SPSS统计程序验证定量效度，包括计算构成模型的所有指标的表面效度指数、内容效度指数、专家判断的信度指数。并将质性验证结果与定量验证和专业文献的结果进行三角测量，进而做出保留、修改或删除特定指标的决定。
4. 结果
4.1. 在线课程质量评价的综合模型
在文献分析基础上，结合开放大学在线课程建设实践，本研究构建出了一个由在线课程本身质量的评价以及对在线课程持续评价这两个一级指标、十三个二级指标和八十九个三级指标组成的模型。
4.1.1. 课程本身质量的评价
在线课程质量评价模型中的第一个一级指标是在线课程本身质量的评价，它是对在线课程本身及其组成要素的质量进行评价，因而非常重要。图1即为本研究所提出的在线课程本身质量评价示意图。
Figure 1. Sketch map of online course evaluation
图1. 在线课程本身的评价示意图
对在线课程本身质量的评价，主要是由专家对课程开发完成后的课程教学档案及课程呈现内容的评价，包括课程概述、教学团队、学习目标、学习内容、学习活动、学习资源、学习评价、学习支持和学习环境等组成部分。评价采取定量、定性相结合的方法。
4.1.2. 在线课程的持续评价
Figure 2. Continuous evaluation content of online courses
图2. 在线课程的持续评价内容
模型第二个一级指标是对在线课程的持续评价，它通过反馈和自我调整，持续提供有关在线课程开发进展和持续改进的信息，进而推动在线课程的可持续发展。图2即为在线课程的持续评价内容示意图。它是一个涵盖课程规划评价、课程设计评价、课程上线试用评价和课程效果评价在内的持续评价过程。
4.2. 模型验证结果
考虑到这类研究的局限，研究者从单义性(Univocality，简称U)、适用性(Suitability，简称S)和重要性(Importance，简称I)这三个角度对维度进行质性验证。其中，单义性使用是否二分量表，适用性和重要性使用5点里克特量表。如果某个维度得分越高，就代表它越受专家重视。本研究按照以下标准确定模型及其中某个指标的去留：
1) 以70% 的正面回答作为专家重视和保留某个维度及其指标的最低分数标准 [4] 。
2) 题项按照评判者之间的表面效度指数大于0.8 [17] 、内容效度指数大于0.78 [18] 作为测量指标保留的标准。
对10位专家的分析结果见表2。其中，课程概述、教师团队、学习目标、学习主题或模块、学习活动、学习资源、学习支持、学习评价、学习平台、课程设计评价、课程试用评价、课程效果评价的单义性、相关性和重要性均超过0.7；各个维度的表面效度指数大于0.8，内容效度指数远高于0.78，说明各维度的整体表达均较为清晰，大多能够为专家所理解。其中，课程规划评价的表述容易引起专家的歧义，已加以删除。此外，除了课程概述和课程开发规划外，其余各维度均被专家视为和课程质量评价相关，即它们在很大程度上能够评估在线课程的质量。
Table 2. Qualitative verification results of model dimensions
表2. 模型维度的质性验证结果
需要指出的是，专家们对同一维度在三个验证标准的分数并不总是一致。例如，对于维度1，90%的专家认为维度的定义明确(唯一性)，但只有85%的专家认为该维度适合评价在线课程质量且很重要。百分比表示对每个标准提供的正面响应比例。表3是专家还对模型的各个维度指标的评估结果。
Table 3. Quality evaluation dimensions and indicators of online courses
表3. 在线课程本身质量评价维度及指标
对于课程学习目标，专家认为它与课程质量评价非常相关，他们建议在制定学习目标的时候，应该将能力考虑进去。对于学习支持，专家认为它是在线课程质量的一个非常重要的维度，他们建议应该从教学支持、管理支持、技术支持的角度加以测量。对于学习评价，专家建议为在线学习活动制定更加详细的评价标准。对于学习活动，专家认为它也非常重要，并建议在活动设计时，能够兼顾线上和线下的活动。对于学习资源，专家认为提供包括视频、讲义、教学PPT和案例等多种类型的学习资源对在线学习的成功十分关键，他们建议要密切注意资源的时效性，以及资源和教学目标的一致性。专家还认为，通过对在线课程规划阶段的评价，可以在课程启动之前发现并改进课程的薄弱环节。对于课程开发阶段的评价，专家认为是非常有价值的，因为几乎所有课程都是在开发完成之后材进行评价的，它们在课程结束之前都无法得到改进。因此，正确定义这个评价阶段的目的非常重要。对于在线课程结束阶段的评价，对于每个维度的指标，专家们认为它们的语义定义是明确的，并且与它们所包含的维度相关。此外，它们绝大多数都被专家认为对在线课程的评价很重要，几个不重要的指标已从模型中删除。专家进行的验证使我们能够根据他们提出的意见调整和改进模型，这些意见已纳入最终模型。
5. 结论和后续研究计划
在线课程质量是远程教育领域的核心问题之一。从实践角度看，在线课程质量的评价应该是持续的，它不仅需要对课程的设计进行评价，还需要对课程的规划、开发和运行提供批判性观点。此外，评价应该是完整的，它不仅需要诊断当前的在线课程质量，并反思需要修改和完善的内容，从而保证课程质量。
从广义的角度看，如果在线课程评价是在定期的数据搜集和分析基础上展开，那么这样的评价就是完整的。其中，数据应该聚焦于两点：(1) 评估课程本身的质量、课程所有组成要素的质量以及用于实施课程的虚拟环境的质量；(2) 课程的持续评估—即涵盖课程的规划阶段、实施阶段和结束阶段的全过程评价。
本研究提出的模型既有对在线课程本身及其组成部分(课程概述、课程目标、学习模块、学习活动、教学团队、学习材料、学习评价、学习支持、学习环境)的评价，也有针对课程规划、实施和结束阶段的过程性评价。模型为每个维度提供了具体的内容评价指标，它可以作为在线课程设计者创建高质量在线课程的指南，也可用于监控在线课程的运行和效果评估，也可以作为后续研究者开展在线课程质量研究的参考。
当然，本研究也存在一些局限。首先，文献研究仅限于分析为评价在线教育质量而开发的标准、模型和指南。其次，本研究模型中提出的维度和指标源于多个不同的分析模型。第三，本研究所提出的模型尚未对维度及其对应的指标权重进行分析，模型尚有待进一步的实践检验。
基金项目
本研究得到2021年度广东省教育科学规划课题(高等教育专项) (编号：2021GXJK462)和2022年度教育科学规划课题(高等教育专项) (编号：2022GXJK412)的支持。广州市哲学社科规划2021年度课题“教学视频中的教师呈现方式对学习过程和学习效果的影响”(2021GZGJ159)。