替代计量学的研究进展与应用
Altmetrics: Research Developments and Applications
DOI: 10.12677/ASS.2019.81026, PDF, HTML, XML, 下载: 1,134  浏览: 3,495 
作者: 刘 禹:中央财经大学,宣传部、新闻中心,北京;林琦钰, 关 蓉:中央财经大学,统计与数学学院,北京;朱婧池:中央财经大学,体育经济与管理学院,北京
关键词: 替代计量学文献计量学术成果评价替代计量指标Altmetrics Bibliometrics Evaluation of Academic Achievements Altmetric Indicator
摘要: 随着网络时代发展而产生的新型网络媒介(如微博和微信公众号等),为学术成果的传播提供了更为便捷的渠道,其阅读量、转发量等数据亦能反映学术成果的社会影响力。在此背景下,仅凭传统的文献计量方法来衡量学术成果的影响力是不够全面的。美国信息学教授J. Priem于2010年提出了一种基于社交网络的学术成果评价计量方法Altmetrics,中文译作“替代计量学”。本文从三个方面介绍替代计量学的发展状况:首先,梳理替代计量学的发展历史,明确其定义及与传统计量学的区别;其次,回顾国内外相关研究,总结该领域研究存在的问题与挑战;最后,以altmetric.com为例,介绍替代计量学的实际应用情况。
Abstract: With the development of network era, networks as a new medium, such as Weibo and WeChat official account, provide a more convenient channel for the dissemination of academic achieve-ments. Meanwhile, the amounts of reading or sharing reflect the social influence of academic achievements. In this context, it is neither comprehensive nor precise enough to measure the in-fluence of academic achievements only by traditional bibliometric methods. In 2010, J. Priem, a professor of informatics from the United States, proposed a social-network-based measurement method for academic achievement evaluation, namely Altmetrics. This paper introduces the de-velopment of Altmetrics from three aspects. Firstly, we provide a history of establishment and development for Altmetrics, and discuss the difference between Altmetrics and traditional bibli-ometric methods. Secondly, we review the relevant research in domestic and foreign and sum-marize the problems and challenges in this field. Finally, we introduce the actual application of Altmetrics by taking the website of altmetric.com as an example.
文章引用:刘禹, 林琦钰, 关蓉, 朱婧池. 替代计量学的研究进展与应用[J]. 社会科学前沿, 2019, 8(1): 175-181. https://doi.org/10.12677/ASS.2019.81026

1. 引言

随着网络时代的发展,科研模式和学术交流模式也发生了深刻的变化。学术成果的传播不仅仅局限于传统期刊、图书和学术网站,各种新型的网络媒介也在日渐发挥着更为重要的作用。比如,微博与微信公众号已成为向社会传播学术成果的便捷渠道,其后台提供的阅读量、评论数和转载量等数据都在一定程度上反映了学术成果的社会影响力。2010年,美国北卡罗来纳州立大学信息学教授J. Priem首次在自己的Twitter上提出了“Altmetrics”一词 [1] ,字面意思是“替代计量学”,意在提供一种基于社交网络来评价学术成果的新的计量指标。自此,替代计量学开始获得发展。

本文将从三个方面来综述替代计量学的发展情况:首先,梳理替代计量学的历史发展,包括其定义发展、与传统计量学的区别所在;其次,对替代计量学的国内外研究进展进行综述,并且总结该领域研究存在的若干问题与挑战;第三,以altmetric.com为例,介绍替代计量学的现实应用情况。

2. 历史发展

替代计量学的研究并不是一蹴而就。早期,PLoS ONE提出了“论文级别计量”(Article Level Metrics)的概念。进一步的,Priem等 [2] 将其扩展为“替代计量学”(Altmetrics)。其后,还发展了“社交媒体计量” [3] ,以及“影响力计量” [4] 。这些方法和概念都可视为替代计量学的不同版本。Altmetrics一词被美国国家标准制定委员会(National Information Standards Organization,USA,以下简称NISO)、国际研讨会Altmetrics Workshop和Altmetrics Conference、以altmetric.com、Impactstory和PlumX为代表的网络平台、多家知名出版集团(包括Nature、Elsevier、Springer等)以及众多学者使用,因而开始逐渐受到业界和学界的广泛关注。

关于替代计量学的定义,存在诸多版本。NISO经过三年的研讨,集合各方意见,提出了以下定义:替代计量学是个宽泛的术语,它囊括了多种形式评价的数字化收集、创造和使用,这些评价源于学术生态系统中多方利益相关者和学术产出的活动和互动;并说明“定义中多种不同类型的学术产出和不同形式的互动,将替代计量学区别于传统引文指标,同时又允许了在衡量学术影响力时,将传统计量指标纳入用于补充” [5] 。自此,替代计量学的定义得到明确。

在学术交流的主要形式转变为以Internet为载体的多样化学术社交网络形式的背景下,陈和 [6] 指出传统计量学至少存在三方面的局限性:首先,时滞过长,无法及时、快速反映科研成果的影响力;其次,存在片面性,以期刊作为主要评价依据导致影响力评价不够全面;最后,存在引文动机不明确、指标数据易作弊等固有缺陷。进一步地,陈和 [6] 对替代计量学与传统计量学进行了系统对比(如表1所示)。

Table 1. Comparison between altmetrics and bibliometrics

表1. 替代计量学与传统计量学的对比

3. 国内外研究进展

国内外学者对替代计量学的方法和实际应用进行了大量研究。早期研究大多聚焦于替代计量指标的选取。早在2007年,有国外学者指出标签、博客、讨论和评论等非传统指标 [7] ,对于评价学术成果的影响力具有非常重要的作用,这为替代计量指标的研究提供了参考。其后,Priem和Hemminger [8] 经过总结和提炼,提出了包含书签、推荐系统、文献管理工具、评论、微博、博客、维基百科、社交网络和开放数据平台在内的“科学计量学2.0”的评价指标体系。在《替代计量学宣言》中,Priem等 [2] 为检验替代计量指标的价值提供了一种思路:研究替代计量指标与既有指标的相关性,利用替代计量指标来预测引文指标,并将替代计量结果与专家评审做比较。若相关性高,表明替代计量指标和引文指标衡量的是同一种现象;否则,说明替代计量指标衡量的内容是不同的。

国内的相关研究从2012年开始。刘春丽 [9] 提出了将标签密度、知名度、热点和合作注释这四个指标纳入替代计量评价指标。其中,标签密度是指一篇论文在学术社会书签系统中获得的各种标签,按用户数量排序后得到的标签频次,可用来评估参考文献条目是否语义相关;知名度指标,类似于Web of Science等学术网站的被引频次指标,是从用户数量这一角度反映论文的学术影响力;热点指标可遴选出出版时间短却有较高影响力的文章;合作注释指的是多名专家共同注释评论同一篇文章。这四个指标为替代计量学的发展提供了重要思路,同时也指出了替代计量学工具提取的数据在引用合并、引文规范和科学评价适用性等方面仍存在问题,仍需进一步研究。

随着研究的深入,学者们开始更多关注替代计量指标发展的可行性和应用方向发展。张亻民等 [10] 从编辑的视角出发,总结了替代计量指标的五大特征,即客观性,公正、透明性,覆盖、社会性,补充性和实时性;并通过文献梳理,证明了替代计量评价指标在社交媒体和开放存取领域已得到认可,可以为科技期刊影响力的量化提供依据。

结合机构知识库的特点和Altmetrics指标的思想,邱均平等 [11] 设计了用于机构知识库(IR)的三大类Altmetrics指标(见表2),并依据IR开发平台系统的不同特点分别归纳其Altmetrics功能。从现实来看,该指标体系对于IR和IR资源的影响力评价有很好的支持效果,但对于IR资源发布者的指标支持情况并不理想,指标体系仍有待改善。

Table 2. Altmetric indicators expected to be used in institutional repository (IR)

表2. 机构知识库(IR)中Altmetrics的期望应用指标

王贤文等 [12] 指出,替代计量数据同传统的发文数据、引用数据和使用数据并列为四大类科学计量数据。表3显示了四类科学计量数据的特点和研究策略,据此亦可构建科学计量学的分析框架。

Table 3. Comparison of four types of scientometric data

表3. 四类科学计量数据的对比

余厚强等 [13] 专门分析了新浪微博的替代计量指标,指出其在中文环境下体现的特征和规律:首先,关注指标覆盖率很低,远小于国外的Twitter,但不排除数据不全面的原因;其次,指标数值在学科间及期刊间存在差异;第三,更加关注近期的论文但是也会注意经典论文。不同语言环境下的替代计量指标呈现的特点不同,要具体环境具体分析,不能将国外的研究成果直接照搬回国内。

虽然,替代计量学对于完善学术成果评价体系有着很重要的作用,但是,对于它的研究还不成熟,在应用过程中自然存在着诸多问题。卫垌圻和谭宗颖 [14] 从理论研究和应用研究两个方面,分别提出了四个需要注意的问题:现存的替代计量学定义模糊缺乏概念独立性,研究方法和对象不够独特,缺乏理论基础(未明确替代计量学的测度),缺乏行为层面的理解。此外,在使用替代计量指标时,常常出现指标覆盖率低、有偏、易受操控和异质的问题,这会导致结果的不可信。

由于替代计量学起源于国外,将其应用于国内学术成果的评价,仍需进行深入研究。韩毅 [15] 提出,中文环境现阶段的主要问题是数据基础设施的缺失,要解决替代计量学的应用问题,要解决三个方面的问题:第一,解析利益相关者的Altmetrics应用诉求识别,即理清不同利益相关者(作者和出版商等)在实践中的具体要求,了解需要哪些指标以及指标间关系如何。这个方面的工作量巨大,是最基础的方面。第二,要开发Altmetrics数据的搜集与分析工具。目前国内并没有大型的Altmetrics工具,仅有基于新浪微博数据的简单应用,开发具有中国特色的Altmetrics工具势在必行。第三,要将新型评价方法与传统评价方法进行有机结合,做到学术影响力评价与社会影响力评价相辅相成。

在应用替代计量指标来进行学者影响力评价研究时,可用指标种类颇多,并且存在较强相关性。王妍等 [16] 基于PlumX数据,采用Spearman相关系数来评估各替代计量指标间的相关性,发现Facebook评论数、喜爱量、Facebook分享数与Google+指标存在极强的相关性。若将多种替代计量指标同时使用,既使得评价体系复杂、计算量庞大,又会因为指标间的相互影响导致评价结果不准确。在王妍等 [16] 的研究中,综合考虑指标间相关性、媒体间相关性后,以Facebook分享数作为上述指标的代表,进而简化评价指标体系。

4. 实际应用

目前,已有一些公司或机构提供基于替代计量学的评价数据,包括altmetric.com、ImpactStory、PlumX等。本文以altmetric.com为例,介绍替代计量学的实际应用。

altmetric.com创立于2011年,通过统计学术成果在社交媒体、报纸、政府的政策文件及其他来源的关注度并整合编制成文章等级指标,为包括世界领先的学术期刊、基金组织和科研机构等终端用户提供数据服务。具体来说,altmetric.com使用了以下几类来源的数据:1) 社交媒体:如Twitter,Facebook和Google+等;2) 传统媒体:包括主流媒体(卫报,纽约时报)和特定领域媒体(新科学家,观鸟);3) 组织结构的官方网站、科研人员的博客、在线文献管理网站(如Mendeley、CiteULike),等等。altmetric.com统计学术成果在这些数据来源上的提及次数,并根据影响力和重要程度对不同数据来源赋予一定分值,最后计算得出一个具体分数,即替代计量得分= * 。不同来源的赋予分值见表4,注意这一分值并不是常见的权重系数,故而不必加和为1。

Table 4. Scores assigned to data from different sources

表4. 不同数据来源所赋予的分值

图1展示了altmetric.com提供的某篇学术论文的替代计量得分(见左上角的数值),其下方为该文章在

Figure 1. The altmetric score of an article provided by altmetric.com

图1. 由altmetric.com提供的某篇论文的替代计量得分

不同数据来源的提及次数,右边为在不同数据来源的具体情况,中间的地图显示了Twitter上引用或提及该文章用户的地理位置分布情况。

参考文献

[1] 邱均平, 余厚强. 替代计量学的提出过程与研究进展[J]. 图书情报工作, 2013, 57(19): 5-12.
[2] Priem, J., Taraborelli, D., Groth, P., et al. (2016) Altmetrics: A Manifesto. http://altmetrics.org/manifesto/
[3] Haustein, S., Costas, R. and Lariviã¨Re, V. (2015) Characterizing Social Media Metrics of Scholarly Papers: The Effect of Document Properties and Collaboration Patterns. Plos One, 10, e0120495.
https://doi.org/10.1371/journal.pone.0120495
[4] Ronald, F. (2013) A Multi-Metric Approach for Research Evaluation. Science Bulletin, 58, 3288-3290.
https://doi.org/10.1007/s11434-013-5939-3
[5] NISO (2016) Altmetrics Definitions and Use Cases. https://groups.niso.org/apps/group_public/download.php/16268
[6] 陈和. 替代计量学与传统计量学比较研究[J]. 中国教育网络, 2015(6): 68-70.
[7] Jensen, M. (2007) The New Metrics of Scholarly Authority. Chronicle of Higher Education, 53, 1.
[8] Priem, J. and Hemminger, B.H. (2010) Scientometrics 2.0: New Metrics of Scholarly Impact on the Social Web. https://journals.uic.edu/ojs/index.php/fm/article/view/2874/2570
[9] 刘春丽. Web 2.0环境下的科学计量学:选择性计量学[J]. 图书情报工作, 2012, 56(14): 52-56.
[10] 张亻民, 赵文华, 孙保存. 从编辑的视点探讨科技期刊Altmetrics的重要性[J]. 编辑之友, 2013(9): 41-43.
[11] 邱均平, 张心源, 董克. Altmetrics指标在机构知识库中的应用研究[J]. 图书情报工作, 2015(2): 100-105.
[12] 王贤文, 方志超, 胡志刚. 科学论文的科学计量分析: 数据、方法与用途的整合框架[J]. 图书情报工作, 2015(16): 74-82.
[13] 余厚强, Hemminger, B., 肖婷婷, 等. 新浪微博替代计量指标特征分析[J]. 中国图书馆学报, 2016(4): 20-36.
[14] 卫垌圻, 谭宗颖. Altmetrics国内外研究中的问题与挑战[J]. 图书情报工作, 2015, 59(2): 93-99.
[15] 韩毅. 中文学术成果评价的Altmetrics发展及实践路径[J]. 西华大学学报(哲学社会科学版), 2018(1): 81-86.
[16] 王妍, 郭舒, 张建勇. 学者影响力评价指标的相关性研究[J]. 图书情报工作, 2015(5): 106-112.