Nature：英国如何评价指标在科研与管理中的作用

2015年7月，英国的一个专家小组发表了“指标大潮：指标在科研评价与管理中的作用之独立审议报告”。专家组组长为苏塞克斯大学科技政策研究所的James Wilsdon教授，成员包括科学计量学、科研资助、科研政策、学术出版、大学管理等领域的专家，以英国专家为主，也包括个别国外专家。博主在这里感谢比利时科学计量学家鲁索教授提供此报告的原文,欲阅读原文者请点击以下链接。原文.pdf

报告主要结论如下：

1.存在着推动指标使用的强大潮流。推动因素包括：人们强烈要求对高等教育和科研方面的公共经费支出进行审计与评价；政策制定者要求获得关于科研质量与影响的更具战略性的情报；学术机构需要制定和管理自己的科研战略；大学之间争夺名望、生源、师资力量和资源的竞争加剧；关于科研状况的实时大数据越来越多，分析相关大数据的工具日益强大。

2.在学术研究界，指标之描述、生产与使用仍旧争议不断，仍然可能遭到误解。从好的方面说，定量指标的更广泛使用，关于科研社会影响的一些新型计量指标的涌现，有助于我们向更加开放、更加有利于问责问效、更加结果导向的科研体系的转型。但是，若过分关注一些狭隘的、设计得较糟糕的指标（如期刊影响因子），则会产生负面影响，2013年关于科研评价的旧金山宣言（DORA）就反映了人们对负面影响的忧虑。迄今，全世界已经有570家机构和1.23万名个人在DORA上签字（但请注意，迄至2015年7月，英国只有三所大学，即曼彻斯特大学、苏塞克斯大学和伦敦大学学院在DORA上签字）。这次审议所调查访问的多数人对于科研管理中指标作用之增大持怀疑态度，但也有数量并不少的少数人认为，只要在指标设计与应用过程中谨慎从事，只要数据基础设施不断改善，还是可以支持采用指标的。

3.同行评议尽管有缺陷和局限，但仍在各学科领域获得广泛支持。指标的作用应该是支撑而不是替代专家判断（博主：这是全世界科学计量学专家从未改变过的强烈主张）。同行评议并不完善，但这是我们拥有的学术治理手段中毛病最少的，仍应是对论文、项目申请书、科研人员个人开展评价的基础，也应是诸如科研卓越框架（REF）这样的国家级评鉴的基础。但是，审慎地选择和使用一些定量指标，可以成为其他形式的评价和决策的有益补充。一刀切是不合适的：成熟的科研体系需要专家评价、定量指标和定性指标的有机结合。开展科研评价时，应关注学科背景的差异和学科多样性。学术质量是与背景高度相关的，所以最好是考察反映科研水平的多种质量，而不是追求对科研质量的单一描述或单一测度指标。

4.不适当的指标产生不良的激励。有理由担心，某些定量指标会被操纵，会导致人们不希望见到的结果；期刊影响因子和被引用次数是两个突出的例子。要识别、承认这些不良后果并加以匡正。与此相联系，指标的构造与使用需要更加透明，特别是将指标应用于大学排行和排名表（league tables）的时候。从事科研评价和科研管理的人员要负责任地行事，要尽可能考虑到潜在的负面后果并加以预防，尤其要注意不能造成危及平等和多样性的后果。

5.只有在开放和互操作的数据基础平台上，指标方能实现其潜力。数据是如何搜集的，如何加工的，这些数据在多大程度上可经受得住质询，这些都至关重要。若没有合适的标识符、标准和语义，那搞出来的指标的背景鲁棒性就不够可靠，就不易被理解。……

6.在作者科研产出层次上对REF 2014评价结果的相关性分析表明，对科研人员个体的指标分析得出的结果与同行评议的结果大相径庭，因此，这种分析结果不能代替同行评议。……

7.对于REF而言，目前单用定量指标来对评估单元（UOA）的学术质量进行评价是不可行的。

原始出处：

Wilsdon J.We need a measured approach to metrics.Nature. 2015 Jul 9;523(7559):129. doi: 10.1038/523129a