内容摘要:全国第四轮学科评估方案中的科研评价部分,特别是“A类期刊”的增列与取消,一时成为热议话题。事实上,科研评价是世界性难题,最近几年,国际学术界提出了科研评价方面的两个“宣言”——“莱顿宣言”和“旧金山宣言。
关键词:评估;评价指标;旧金山宣言;科研评价;量化;学科;研究;期刊影响;科研工作;计量
作者简介:
全国第四轮学科评估方案中的科研评价部分,特别是“A类期刊”的增列与取消,一时成为热议话题。事实上,科研评价是世界性难题,最近几年,国际学术界提出了科研评价方面的两个“宣言”——“莱顿宣言”和“旧金山宣言”。放在世界的范围内,如何看待这次学科评估中某些新鲜尝试呢?有哪些可取之处和不足之处?“A类期刊”的取消不意味着相应的探索和思考也被取消。
“莱顿宣言”纠偏“量化至上”
“莱顿宣言”(The Leiden Manifesto for research metrics)的提出源于2014年在荷兰莱顿召开的一次国际会议,美国佐治亚理工学院的公共政策教授Diana Hicks等提出了合理利用科学评价指标的七条原则,后来扩充为十条,并于2015年4月发表在《自然》杂志上。
“莱顿宣言”的十条原则,简言之,第一,量化评估应当支撑质化的专家评估,而不是取而代之;第二,衡量绩效应基于机构、团队和个人的科研使命;第三,保护卓越的本地化的相关研究;第四,保持数据采集和分析过程的公开、透明和简单;第五,允许被评估者验证数据和分析;第六,考虑发表和引用的学科差异;第七,对个人研究的评价应基于其综合作品的质性评价;第八,应避免评估指标的不当的具体性和虚假的精确性;第九,识别认清评价指标对科研系统的影响;第十,定期审查评价指标并加以改进。
按笔者的理解,这十大原则可以归为四个方面。
第一方面,即总的原则是:基于指标的量化评估是第二位的,是辅助性的,而同行评价的质性评估是第一位,是主导性的。量化指标可以降低同行评价中的偏见,促进更加深入的审议,提高同行评价的质量,但量化指标不应取代评估者基于充分信息基础上的判断。评估者仍然需要对其评估负责,而不是完全让“数据说话”了事(第一条原则)。所以,“莱顿宣言”并不提倡科研评价要用量化指标,更不提倡把量化指标作为主导甚至是唯一指标。“莱顿宣言”只是说在用到起辅助作用的量化指标时需要注意的一些原则。
第二方面,在总的原则指导下,运用科研评价指标做具体评价工作时的下位原则,即要充分考虑科研活动本身是创造性的、个性化的、独特性的等特点,所以需要在评价过程中特别注意科研活动的使命的差异(第二条原则)、地域性的差异(第三条原则)、学科性的差异(第六条原则)、个体性的差异(第七条原则)。这些差异容易被量化指标遮蔽,所以需要在评价中采用综合计量或者质性评估办法。
第三方面,关于科研评价指标的具体数据采集和分析的要求,要公开透明(第四条原则)、可以复核验证(第五条原则)。
第四方面,对科研评价指标的态度,要理解实质内涵(第八条原则)、警惕负面影响(第九条原则)、不断改进完善(第十条原则)。
“莱顿宣言”每一条都内涵丰富,指向明确。与之对比,可以发现,我国科学评价工作还大有改进空间。






