如何客观评判科研人员的水平及其论文影响力?
2013-10-27 MedSci MedSci原创
关于科研评价体系的争论,多年来未曾停歇过,尤其是随着近年来唯 SCI 的评价体系出现了各种各样的问题,科学家们也希望能有更公平更有效的评价系统。 如何评判科研人员的水平? 在申请基金、选择导师、合作者和招聘科研人员等多个方面都需要判断科研人员的学术水平。评价科研人员学术水平的金指标是对社会贡献的大小,除了个别纯理论 的研究。但是对社会的贡献有时候需要很久才能显示出来,而且有时社会效
关于科研评价体系的争论,多年来未曾停歇过,尤其是随着近年来唯 SCI 的评价体系出现了各种各样的问题,科学家们也希望能有更公平更有效的评价系统。
如何评判科研人员的水平?
在申请基金、选择导师、合作者和招聘科研人员等多个方面都需要判断科研人员的学术水平。评价科研人员学术水平的金指标是对社会贡献的大小,除了个别纯理论 的研究。但是对社会的贡献有时候需要很久才能显示出来,而且有时社会效益评价的主观性很强。在社会效益显示出来之前,评价科研人员的学术水平从高到低有三 种层次的方法。
同行评议法可信指数:五颗星
直接看他发表的文章,根据自己的学识判断其学术价值,这是最准确最可靠的方法。但是要能对别人的文章进行判断需要两个前提条件:一是要求自己和作者是同 行,最好是小同行;二是自己的学术水平和作者相比更高,最好是高一个等级,至少是相当,无论如何不能差太远。只有这样,自己才有能力对别人的文章进行评 价。你比被评价者水平高的越多,评价就越准确。这也是期刊选择审稿人的依据,所以能被著名期刊选为审稿人、编辑本身就是对其学术水平的认可。对于基础知识 尚有欠缺,对选题的重要性、新颖性一无所知的本科生和外行,或知之不多的研究生而言,是无法对一篇文献做出准确的判断的。如果自己不具备评价别人文章的能 力,也可以参考别的专家对该文章的同行评价的意见的。同行评价,即使是本领域的权威的评价也不是绝对正确的,只能说是正确的概率很大。爱因斯坦的相对论刚 提出来的时候,据说全世界只有三个人能看懂。那么如果用同行评价的方法去评价爱因斯坦,如果请的不是那看的懂的三个人,结果可能就是爱因斯坦的理论是胡 扯。为什么?因为他们的水平远不及爱因斯坦。当然爱因斯坦只有一个,如果你不认为自己是爱因斯坦,对于权威的否定,至少要清楚大部分情况下他们是正确的。
发表论文档次查阅法可信指数:三颗星
SCI 论文用的是国内常说的影响因子,即看期刊的影响因子有多高,国内非SCI 收录的期刊一般也有档次,例如中华牌、中国牌、核心期刊、省级期刊等。一般而言,发表在低影响因子期刊上的论文质量不如高影响因子上的,但是并非全部如 此。例如,发表在IF2.5 的一篇论著,如果被引次数是25,而发表在IF5.0 的一篇论文被引只有4 次,那么应该前者水平要高。事实上有很多诺奖获得者的获奖代表作不是发表在nature、science、cell 这些顶级期刊,而是发表在影响因子相对不是很高的期刊上的。这就是为什么被引次数比期刊影响因子更能准确判断学术水平的原因。当然影响因子也有优点:简 单。要查一个作者发表的所有论文被引次数一共有多少,是需要一定时间的,尤其是先要确定作者之前一共在哪些单位呆过,不然就容易漏查。
发表论文数量法可信指数:一颗星
是最不可靠的方法,就是看发表论文是数量。由于以前的科研评价体制只重数量不重质量,结果造成了大量的低水平的论文发表,这些论文无论是影响因子还是被引 次数都很低,很多是把一篇论文拆开为几篇发表,或者重复发表。所以,那些宣传“发表了XX 篇论文”的说法其实是难以真实的反应作者的学术水平的。
如何评判科学研究的影响力?调整科研评价体系
适用度:有待商榷英国高等教育局(HEFCE)讨论推行卓越研究框架(REF),替代原有的研究评估制度(REA),以强调科学研究为英国经济和社会发展服务。
从REA到REF,三项评价指标中前两项即“研究质量”和“研究环境”不变,但是第三项“研究的声誉”将被“研究的经济社会影响”所替代。各项指标的权重有所调整,分别是:研究质量(60%)、研究环境(15%)和研究的经济社会影响(25%)。
英国计划2014年开始执行REF,其中“研究的经济社会影响”(impact)这一指标替代的原来的“声誉”指标,但其比重将从20%开始试行,以后要调整到25%。HEFCE还表示,只有研究质量到达2级或2级以上的研究成果,才有资格进行研究影响的指标的评估。
REF的“研究的经济社会影响”(impact)概念提出以后,受到英国学术界的极大关注。英国学术院(BA)建议比例不宜太高,应设定为15%,其理由 是人文艺术学科与理工科不同,其经济社会效益很难衡量。许多科学家对这一概念也提出质疑,认为“研究的经济社会影响”(impact)这一指标操作性不 强。
以重大产出为导向适用度:四颗星
中国科学院此前曾宣布,将建立从评价、评估到验收及年度监测的一整套新评价体系,充分发挥评价的导向、诊断、衡量作用。
根据新的评价体系,中科院将组织国内外高水平同行专家和用户专家,对研究进展情况进行诊断评估。中科院还将根据6-7个核心指标和创新能力指数,对研究所 进行年度监测,监测指标主要是研究所状态、产出和效益情况。并对中科院宏观布局和发展态势也进行监测。2015年,中科院将根据“重大突破”的标准、人才 引进和培养等情况,对研究所任务完成情况进行验收。
中科院目前每年在国际上发表的文章数量虽然不少,但对科技发展的“贡献”却不多。相关人员表示,这一新的评价体系将一改从前“重成果轻应用”的论文、资源导向,引导科学研究向实质性的贡献看齐。
科研评价体系失当导致优秀论文外流
中国科协曾进行过一次问卷调查,在“科技论文外流的原因”一题中,不少学者都选了“外部评价体系方面原因,科技评价、职称评聘、奖励制度等均以外国科技期刊为高水准”这一项。
确实,科学引文索引(SCI)可谓是目前中国科技界时髦的词语之一,也被作为衡量大学、科研机构和科技工作者学术水平的重要尺度,而这种导向在某种程度上导致了国内科研成果和智力资源的流失。
除此之外,我国现有英文科技期刊也存在量少质低的情况。数据显示,我国现有英文科技期刊有230多种,仅占我国科技期刊总量的4.3%。2012年,中国 大陆有134种科技期刊被国际著名检索系统 SCI 收录,但被收录期刊的总体水平偏低,平均影响因子和平均被引频次远低于国际总体平均值。
科技界的专家指出,要完善政策环境,制定适当的期刊扶持政策,鼓励科技人员把科研成果,尤其是国家财政支持的科研项目产出的优秀论文,优先发表在国内优秀科技期刊上。
为促进科技期刊出版质量和论文发表水平的提高,已有为之努力者。据中国科学技术协会学会学术部副部长刘兴平介绍,从2006年起,中国科协开始实施精品科技期刊工程。截止目前,已资助科技期刊224种772项(次),累计资助金额达9025万元。
本网站所有内容来源注明为“梅斯医学”或“MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明来源为“梅斯医学”。其它来源的文章系转载文章,或“梅斯号”自媒体发布的文章,仅系出于传递更多信息之目的,本站仅负责审核内容合规,其内容不代表本站立场,本站不负责内容的准确性和版权。如果存在侵权、或不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
#科研人员#
62
#影响力#
72