被引次数多的论文未必影响力就大

2017-01-13 14:08 来源:中国科学报 文双春 我有话说
2017-01-13 14:08:48来源:中国科学报作者:文双春责任编辑:赵清建

  学术影响力越来越受关注,在基金申请、人才计划申报等环节甚至起到决定性作用。何为影响力?这有充分的想象空间。就论文来说,有国外这样定义影响力:论文在科研人员日常实践中的作用或重要性。在笔者看来,一篇论文,发表或不发表,除了对作者本人外,对其他研究者或许都一样,甚至可以说没有影响力。

  科研人员日常实践和各类学术评价中常碰到这样的PK问题:同一领域的两篇论文,一篇发表在高影响因子刊物上但被引次数很少,一篇发表在影响因子较低的刊物但被引次数很多,哪篇论文的影响力大?这个问题的答案时至今日仍然莫衷一是。

  实际上,对上述问题应该视具体情况而回答。

  其一,何时评价?如果在两篇论文发表后就进行评价,毫无疑问前者影响力大,而且在发表后越短的时间内评价越是如此。例如,“诺奖级”成果(注意不是诺奖成果)无一例外都来自高影响因子刊物,而且必须是刚发表那一会才可能被加封“诺奖级”,过一会儿可能就被集体性失忆了。大众媒体报道、吹捧的论文无一例外都来自高影响因子刊物,而且必须是最新发表的论文。另外,实践表明,一经发表就能兑现票子、位子和帽子,从而立马产生立竿见影的影响力的论文,也无一例外都来自高影响因子刊物。

  如果在两篇论文发表后若干年评价,事实证明,后者的影响力大。汤森路透每年用论文被引次数而不是刊物影响因子预测诺贝尔自然科学奖,道理大概就在这里,而事实上诺奖成果也大多出自后者。所谓“路遥知马力,日久见人心”,对论文也大抵是如此。

  其二,谁来评价?这一点很值得玩味,真正的可以由评见人心。最近,美国印第安那大学Filippo Radicchi等人最近作了个大规模调查,他们请来多个学科领域的大约2000个受访者(都是论文通讯作者)对超过两万篇论文进行配对比较,确定自己认为影响力大的论文。研究人员然后汇总受访者的全部结果,并量化受访者配对偏好(专家认可的影响力)与论文被引次数(引用次数影响力)之间的实际差距。

  此次调查结果显示:如果受访者配对比较的是其他作者的论文,那么受访者认可的影响力与论文被引次数无关,也就是说,同行专家并不认可被引次数多的论文影响力大。如果受访者本人的论文与他人的论文作配对比较,受访者往往更看重自己的论文,而不是他们领域的高被引论文,这其中不知是不是有“文人相轻”的因素。最有意思的是,如果请受访者完全在自己的论文配对之间作选择,你猜他们会选什么?他们普遍性最看重自己被引用次数最多的论文。

  由此,研究人员得出结论:当科学家有足够的信息并确实能够作出客观公正的选择时,他们对论文影响力的判断与论文被引次数是一致的。也就是说,被引次数多的论文影响力大,这条判据本质上八九不离十。

  这条判据其实还是有一定道理的。根据影响力定义,一篇论文尽管发表在高影响因子刊物上,但若干年后被引次数依然很少甚至不被引用,说明它发表与否,除了对作者本人,对同行(实际上也是对学科领域的发展)都一样,大概很难说有影响力。

  另外,从刊物影响因子与论文被引次数之间的关系看,后者是前者之源,也就是说,论文没有很高的被引次数,刊物不可能有很高的影响因子,何谈刊物的影响力?所以,论文被引次数多比刊物影响因子高,某种程度应该更能说明论文的影响力大。

  被引次数多的论文究竟是否影响力大,笔者相信这个问题属于世界性难题之一。但这个问题之所以值得探讨,是因为它的确可以映射出学术评价方面的众多问题和众生相。例如,Filippo Radicchi等人的研究启示我们:学术评价永远不可能准确,而且越是同行评价可能越不准确——这大概出乎很多人的意料。

  当然,这个启示还可再延伸一下,依据数字的学术评价比依赖专家的学术评价往往更准确、更客观、更公正。那么,这是不是为领导和职能部门一直以来只看数字评价科研人员业绩和水平找到了科学依据呢?

  (http://blog.sciencenet.cn/u/SoSoliton)

[责任编辑:赵清建]

手机光明网

光明网版权所有

光明日报社概况 | 关于光明网 | 报网动态 | 联系我们 | 法律声明 | 光明员工 | 光明网邮箱 | 网站地图

光明网版权所有

立即打开