1. 引言
科学研究是高等学校的一项重要任务,是一所高校提升发展活力和竞争力的重要支撑。而科研评估是指“按照一定的价值导向,对科研人员从事的科学研究工作及在此过程中取得的研究成果与业绩进行的价值评判” [1] 。针对高校的科学研究进行有效的评估、制定科学合理的科研评估制度,不仅是激励高校提升科研水平的有效推动力,还是国家进行科研管理和资金拨款的重要参考。
我国格外重视高校科研评估工作的开展,在2020年发布的《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》政策文件中指出:“要探索建立科学的评价体系,引导评价工作突出科学精神、创新质量、服务贡献,推动高等学校回归学术初心,净化学术风气,优化学术生态。” [2] 力图建立科学的科研评价体系,引导高校科研活动正确的价值取向。
英国的科研水平和科研产出在国际上是有目共睹的,这与国家不断完善科研评估制度密切相关,自1986年英国开展了首次科研评估活动以来,英国的科研评估已经实施了三十余年,在此过程中不断地发现问题和改革完善,经历了“科研选择性评估”阶段、“科研水平评估”阶段,形成了现今的“科研卓越框架”制度。自2014年实施第一轮科研卓越框架之后,英国于2019年相继发布了科研卓越框架2021的评估指南、评估标准及方法、评估守则等文件,并指导了2021年英国科研评估的实施。这次对REF的新一轮改革革新了以往科研评估中备受争议的问题,而研究分析REF2021的改革内容也能为我国当前科研评估活动的实施、科研评估体系的构建提供借鉴和启示。
2. 英国科研评估阶段的变迁
英国自首次实施科研评估以来,已经进行了七次大规模的评估活动,并根据评估制度的变迁形成了三个主要的发展阶段:科研选择性评估阶段(Research Selective Exercise,简称RSE)、科研水平评估阶段(Research Assessment Exercise,简称RAE)、科研卓越框架(Research Excellence Framework,简称REF)。
2.1. RSE:科研选择性评估
这一阶段英国初步建立了科研评估制度,由政府委托第三方机构组织科研评估活动,并以第三方机构提供的高校科研评估结果作为国家科研拨款的依据。1986年,在大学拨款委员会(UGC)的组织下实施了全国范围首次的科研评估。这一阶段的评估制度存在较多的问题,如制度设计和指标设计不完善,评估对象设定不平等,科研拨款的管理和指导作用没有有效发挥等 [3] 。但此时的科研评估制度基本奠定了英国大学科研评估的体系:以学科划分评估单元、引入了同行评议的评估方法、确定评估结果的等级制等。
2.2. RAE:科研水平评估
1992年,由英格兰高等教育基金委员会(HEFCE)作为评估的第三方机构,负责新一轮的科研水平评估,并基于RSE制度中出现的问题进行了一系列的改革:评估指标由注重数量向注重质量转变、同行评议的评估方法进一步完善、评估小组形成了主次评估组相结合的“双层结构”、确立规范化的科研绩效拨款核算公式等 [4] 。但这一时期的评估依然存在一定的问题,尤其为人诟病的便是过高的评估成本和参评成本,给政府和大学带来了沉重的负担。
2.3. REF:科研卓越框架
2008年,HEFCE根据此前评估活动得出的经验改革评估制度,形成了使用至今的“科研卓越框架”制度,并于2014年在全国范围内实施。相比于RAE的评估制度,REF2014主要进行了三方面的改动:在评估指标上,将“研究的声誉”指标改为“科研影响力”,更加注重科研的社会辐射效用和应用价值;在评估方法上,对同行评议进行调整,增加了文献计量分析和引用分析的数据支持,并减轻评估的负担;在评估单元上,整合并简化了学科单元,促进不同学科间的跨学科研究 [5] 。
但REF2014的评估结果依然引发了广泛的讨论和不小的争议:在评估组织上,不少学者对评估单元的划分、评估小组的组成、参评学者的管理等仍存在争论;在评估指标上,科研影响力的内涵界定和权重设置受到质疑;在评估方法上,同行评议制度和定量数据的使用存在不完善等。
3. 科研卓越框架2021的改革创新
为了改革REF2014中出现的问题,完善科研卓越框架体系,促进科研评估活动更加科学的开展,REF2021在评估组织、评估指标、评估方法上做出了一定的更改和完善。
3.1. 在评估组织上
在评估组织的设置上,REF2021主要针对评估单元、评估小组、参评学者的设置和管理几个方面进行了调整和改进。
3.1.1. 整合学科划分,缩减评估单元
REF2014将学科分为医学和生命类、物理工程类、社科管理类、人文艺术类四大类,分别对应四个主专家组,其中又包括53个学科专业和36个评估单元,并对应36个次专家组。而REF2021在对四大学科分类保持不变的情况下,将2014已经精简的36个评估单元进一步减少为34个,对应34个次专家组,并对学科的划分标准进行再次的整合,将53个学科专业减少为48个 [6] 。其中包括对一些学科的拆分和合并,例如将REF2014中的“航空、机械、化工和制造工程”、“电气与电子工程、冶金与材料”“土木与建筑工程”、“一般工程”这四个学科合并到REF2021中B组的“工程”这一评估单元。
对于学科划分的整合和评估单元的缩减,不仅有利于学科划分的科学化,使得以学科为标准的分类推动科研评估工作的开展,还通过学科的合并使存在内在关联的学科使用相同的评估标准,从而促进不同学科之间的学术交流,引导各个学科专业间的交叉研究和跨学科研究 [7] 。
3.1.2. 设立“跨学科研究咨询小组”
虽然在REF2014中通过精简评估单元有意识的地促进跨学科研究的发展,但是评估小组人员的设置并未有力的保障跨学科研究能够得到科学的评估和公平的对待,在REF2014中提交的跨学科研究成果依旧很少 [8] 。因此,为了保障跨学科研究人员能得到公平公正的评估,REF2021中特别设置了“跨学科研究咨询小组(Interdisciplinary Research Advisory Panel,简称IDAP)”,小组成员由具有广泛的跨学科研究和评估经验的研究人员组成 [9] ,并且规定在每个次专家组中必须招募至少两名“跨学科研究咨询员”。他们的作用并非代替评估专家小组及其成员,而是为评估小组针对跨学科研究的评估工作提供更加专业的指导和建议。
REF2021中创新性地引入“跨学科研究咨询小组”,是向各个高校和研究工作者发出的重要信息,鼓励科研人员积极参与到跨学科研究之中,而不是被评估机制所束缚,只能为了得到更高的评估而局限于单一学科的研究。所以,IDAP的设立不仅是对参评人员所得的科研成果和利益的保障,还能够引导科研工作将目光投向跨学科研究之中,促进高等教育研究领域的创新改革。
3.1.3. 完善参评学者管理制度
在REF2014的评估过程中,不少学者发现一些大学为了获得满意的评估结果,会在参与评估的学者中做一些手脚以获得有利的成绩。包括一些大学会在某项研究中加入或者临时雇佣学术大咖以提高研究的“地位”,反而真正能够给研究做出贡献的人员却被弃之门外;或者一些年轻的、尚处于职业发展早期的研究人员迫于学校或者评估制度的压力,只能做一些能够快速出成绩的课题,反而自己感兴趣或者有创新性、前瞻性的研究少有人问津。对此,REF2021采取了改革措施:如果一项研究中存在短期聘用的临时研究人员,高校必须提交证明以向评估小组解释高校与该研究人员的关系;对于处于研究发展早期的研究人员,取消其最低提交一项科研成果的要求 [10] 。
关于完善参评学者管理制度的各项措施,既是对高校科研评估工作科学进行的保证,也是对参与评估的研究人员利益与长远发展的保护,同时也是对科研人员价值取向的正确引导。以防止科研评估的压力导致研究人员科研取向的异化,也就是研究者为了提升自身在“学术市场”上的价值,专注于短周期的研究,而回避周期长、高风险的先驱性研究 [11] 。
3.2. 在评估指标上
在REF2014中,将评估指标中的“科研声誉”调整为“科研影响力”,引入了对科研社会影响力的测量。在2021的第二轮评估工作中,对“科研影响力”这一指标进行了进一步的调整和完善。
3.2.1. 提高科研影响力的评估权重
在第一轮科研评估中,REF将“科研影响力”定义为:“科研成果在学术界以外产生的辐射影响,包括对经济、社会、文化、公共政策、医疗、环境以及公民生活质量等方面产生的积极变化或影响”,并将影响力的权重设置为20% [12] 。对于评估指标的更换和评估范围的重新确定,许多学者提出了或赞赏或质疑的多种态度,但是这一决定还是受到了多数人的支持,并表示“科研影响力”的引入是推动科研工作和社会密切联系、促进高校科学研究注重社会效益的重要做法。在新一轮的评估中,REF更是强化对影响力这一指标的重视,将“科研影响力”的指标权重从原来的20%进一步提升至25%。
指标权重的提升体现的是评估导向的风向标,引导科研工作者将研究的眼光向外看,重视科研的辐射影响,正确认识科研对于学术、研究工作本身之外的意义。
3.2.2. 扩大科研影响力的涵盖范围
在提高科研影响力的权重之外,REF2021还进一步明确和完善影响的相关指标和含义范畴。其中新一轮评估将影响力的类别分为九大类,包括对人类和动物健康以及福利的影响;对创造力、文化和社会的影响;对社会福利的影响;对商业和经济的影响;对公共政策、法律和服务的影响等等。并且列出了一些影响和重要性的相关参考指标 [6] ,以便为高校提交科研影响力材料提供方向上的指导。而在对科研影响力涵盖范围的界定上,REF2021尤其指出影响力包括科研对学生、教学或者其他校内活动的影响,特别提出科研成果对于大学教学活动的影响。虽然在第一轮评估中REF已经明确将“科研影响”界定为超出学术界之外的社会影响 [13] ,但是加入科研对教学的影响无疑是对科研非学术影响范畴的丰富和扩展。
REF这一举措针对在高等教育中长久以来关于科研和教学关系的矛盾提供了发展指向,从评估导向的角度将科研与教学联系起来,推动高校平衡科研和教学之间的关系,希望高校在积极研究的同时带动教育教学的发展。
3.3. 在评估方法上
2009年1月,英格兰高等教育基金委员会(HEFCF)已经确定了以专家评议为主、文献计量分析为辅的评估方法 [14] 。而在REF2021中针对以往评估方法使用过程中存在的争议和出现的问题进行了改良完善。
完善同行评议结合文献计量的评估方法
在REF2021中格外增加了评估系统专家用户组和引用数据专家用户组。其中,设置评估系统专家用户组的目的是使评估小组的工作能够顺利进行,并在分发、评估、审计和报告的信息系统的设计中提供咨询意见,并根据小组成员提出的评估系统建议考虑适当的技术对策 [15] 。而引用数据专家用户组需要向次专家组提供参评学者科研成果相关的引用数据,并向评估小组提供合理使用引用数据的方法 [16] 。在本次评估中,REF依旧保留了同行评议的主体地位,同时通过完善信息系统建设、定量数据分析的工作,为同行评议工作提供有力的支持。
这两个小组的加入不仅为定量数据的分析提供可靠的、规范性的保证,也为主评估小组和次评估小组合理使用定量数据提供帮助,为评估小组的工作带来便利。因此,定量数据得以很好的利用,对于减轻评估小组的工作量、降低评估工作的成本是极大的帮助。
4. 中英高校科研评估的异同之处
我国的科研事业正在稳步上升,重视高校科研评估工作的开展,通过将英国科研卓越框架与我国科研评估制度进行比较,发现异同,帮助我国建立科学完善的科研评估体系。
4.1. 相同之处
在评估的主体上,英国的科研评估主体与我国的科研评估主体基本相同,包括政府、第三方机构、媒体、公众等,而且在以行政权力作为科研绩效评价主体的情况下,同行评价的地位也是不可替代的。英国科研评估十分注重同行评价的必要性,并设置评估系统专家用户组,我国也在《“十三五”国家科技创新规划》中明确指出,要探索基础研究类科研人员的代表作同行学术评议制度,进一步发挥国际同行评议的作用 [17] 。
在评估的目的上,英国进行高校科研评价绩效的直接目的是“为英国高等教育拨款机构提供分配经费所需要的信息服务” [18] ,我国也在文件中明确规定第三方的评价结果是财政科技经费支持的重要依据。可以看出,中英两国科研绩效评估的结果均与政府的财政拨款和项目资助直接挂钩。
4.2. 不同之处
在学科发展布局上,REF划分出48个学科专业和34个评估单元,减少评估单元和评估小组不仅能够促进评估标准的科学划分,还可以推动跨学科之间的学术交流。与英国的学科划分相比,我国在科研评估上缺乏学科的科学规划,片面追求“大而全”,学科之间较为分散不利于跨学科研究。
在评估方法上,英国的科研卓越框架逐渐形成了定性和定量相结合方法对科研成果进行评估,并且注重科研影响力这一指标。而我国高校的科研评估处于可操作性的考虑,依然以科研成果的数量作为主要的指标,“数量是硬指标,质量是软指标”的评估现象依旧大量存在,并且对于科研成果在创新突破、社会经济效益等非学术影响方面的评估无从考核 [19] 。
5. 科研卓越框架2021改革对我国的启示
REF2021是在英国数十年科研评估制度不断变迁完善的基础上的最新的改革框架体系,也是针对科研卓越框架在第一轮评估实践基础上的继续更进。本研究以渐进决策理论为理论基础,试图寻找英国科研评估制度为我国带来的可借鉴之处。渐进决策理论是由查尔斯·林德布洛姆教授所提出,他指出该理论是以过去的经验为基础,通过渐进的方式修改现行政策,以确保社会稳定为前提,逐渐落实政策目标 [20] 。该理论在政策分析及变革中具有重要的作用,在相对稳定中追求变革,具有较强的实用性和可行性。英国科研卓越框架2021中许多改革创新之处都体现了当今科研评估工作的最新动向,通过对政策变迁历程和政策改革内容的分析,学习借鉴REF2021中改革创新的优秀之处,对于我国建立完善科研评估制度很有帮助。
5.1. 促进跨学科研究发展
吉本斯在著作中写道,当今大学知识生产模式正是在从“模式1”走向“模式2”的过程,也就是从“强调学科本位”到“强调科研的跨学科本质”。知识生产和科学研究不再局限于单一学科,而是越来越强调跨学科的研究 [21] 。当今的知识是注重学科交叉和融合的知识,科学研究是注重交流合作的研究。REF2021从评估的角度为高校跨学科研究的发展提供了支持和动力,在评估单元的精简、“跨学科研究咨询小组”的设置上均体现了对于高校跨学科研究的鼓励和指导。
我国如今也越来越重视知识和科研的跨学科交流,但是在跨学科科研成果中并未有较大的成绩,这也与当前的科研评估体系脱不开关系。我国的科研评估并没有给予跨学科研究较高的重视,也缺乏专门的评价程序和评价指标予以保障,这使得科研人员在评估的压力下只专注于单一学科的、较快出成果的研究。加之我国的学术界一直以来有较强的“第一作者情节”,跨学科研究对一些排名靠后的学者缺乏足够的重视 [8] 。因此,我国的科研评估体系应当制定有利于跨学科研究的、公平合理的评估指标、评估程序、评估制度,并为其配备专门的跨学科评估人员,通过保障跨学科研究人员在评估过程中的利益,从而促进跨学科研究的发展。
5.2. 保障科研人员可持续发展
对于高校科研成果的评估,也就是对高校中科研人员的科研成果和绩效的评估,评估对研究者来说既是压力,也是动力。然而,一旦评估制度过于僵化和不合理,对于研究人员来说就变成了为了评估而创作的压力。这不仅会限制研究人员的积极性和自主性,对于研究者本身长远的可持续发展也是一种摧残。REF2021采取了多种措施完善对参评学者的管理制度,包括严谨调查科研项目中临时招聘的学者,取消对处于发展早期学者的最低提交要求,减轻了高校和科研人员的压力,促进科研工作者能够做自己真正感兴趣的、有创新性的研究。
英国评估体制的改革也给我国的评估工作许多启示,科研工作者是一所高校、一个国家的重要人才,对科研工作者的管理不能被评估工作所限制。相反,科研评估应当设立正确的指标和制度,以保障科研人员在能得到公平的评估的同时,给予其最大限度的科研选择和可持续发展权,以防止科研人员在不合理的评估工作中出现的价值异化取向。
5.3. 重视科研的非学术影响
一项研究的影响可以被分为两种:一是学术影响,也就是产生在学术界内部、对于学术领域发展的影响;另一种是非学术影响,也就是产生于学术界之外包括社会、文化、环境、经济等的影响 [22] 。一项研究的价值,不仅仅在于推动学术领域中理论或实践的发展,还特别表现在更加宽泛的非学术领域的影响上。同时,科研的非学术影响力也逐渐成为国际科研评估中备受关注的指标。英国REF2021对于“科研影响力”的含义界定,以及格外补充一条“科研对于学校教学活动的影响”,都体现了对科研非学术影响力的内涵丰富和重视。
伴随着我国科研评估体系的不断实践和改革,科研的非学术影响力也成为了评估工作中的一个重要指标。但从我国第四轮学科评估工作中来看,我国虽然也重视对科研影响力的评估,并设置了“社会服务”的指标,但对于“社会服务”这一方面的评估尚不完善。对此,我国应当明确“科研影响”评估的涵盖范围,并设置相关指标提高评估的可操作性,制定科学合理的“科研影响”评估体系。同时还可以借鉴英国在科研对教学活动影响方面的做法,将科研的非学术影响不仅仅局限于社会服务层面,更能有效引导科研和教学之间的关系。
5.4. 注重定量数据对同行评议的支持
尽管我国如今的科研评价一直在强调科研“破五维”改革,不少学者分析并批评当前使用的评估方法的弊端,提倡同行评议制度的引入,评估工作也在积极改革,但是我国当前的评估仍然以论文数量、被引率、期刊影响因子等定量的数据作为硬性评价指标 [23] 。虽然具有可显示度的定量指标的使用能够大大降低评估成本、提高工作效率,但是单纯地使用定量数据评价科学研究略显粗糙,并且会对研究工作者的学术工作方式、价值取向甚至日常话语表达和沟通方式产生极大的影响甚至扭曲 [24] 。而同行评议的方法虽然能够深入全面评价科研成果的质量,但也有其自带的高成本、低效率和主观性的弊端。
REF2021的评估方法给我们带来了很好的借鉴价值。科研评估不应该被简单地量化指标禁锢,同行评议应该被作为评估的主要方式来保证评估工作的科学合理性,并且以计量指标作为评议的支撑。当然,建立“同行评议为主,量化数据为辅”的方法,不是将二者的简单结合。对于量化数据的使用,评估机构应当制定规范或者安排专业人员为评估人员科学使用数据提供建议和帮助;对于同行评议的安排,也应当保证人员设置的专业性、多样性和代表性。
6. 结语
科研评估是对高校科学研究工作的有效评判,我国的科研评估体系在不断的改革进步的同时,依然存在不完善之处。中国可以借鉴学习英国“科研卓越框架”2021的改革创新之处,完善当前的科研评估工作,为我国的科研评估改革提供新的思路。