优化科学基金同行评议机制的思考
陈光1 , 陈凯华2 , 龚旭3 , 苑怡4 , 方新5     
1. 中国科学院 学部工作局 北京 100190;
2. 中国科学院科技战略咨询研究院 北京 100190;
3. 国家自然科学基金委员会 北京 100085;
4. 国家科技评估中心 北京 100081;
5. 中国科学院大学 公共政策与管理学院 北京 100049
摘要:同行评议是科学共同体的自我规范机制之一,是科学质量控制的核心环节。国家自然科学基金资助工作的核心运行机制是同行评议,它是遴选高质量基金项目的重要保障机制。为了使同行评议科学、客观、公正,稳步推进国家自然科学基金新时期的改革与发展,文章从同行评议机制的发展及其优缺点出发,分析了当前国家自然科学基金同行评议机制面临的挑战:不适应跨越式发展需要,专家和管理队伍规模不适应项目申请数量增长,专家评审行为缺少对象反馈且评审专家遴选有待优化,以及项目评审流程缺少监控手段等。据此,文章提出完善国家自然科学基金同行评议机制,建设“负责任、讲信誉、计贡献”(RCC)的同行评议监督与评价系统思路。文章阐述了RCC机制的动态性和科学性,总结了其在优化国家自然科学基金管理和提高项目评审效率中的潜在用途,为进一步推进RCC机制的改革发展提供了一定的理论依据。实践显示,同行评议的RCC改革方向是有效的,但仍需进一步完善RCC制度设计、加强评审质量监测并营造RCC评审文化。文章从多角度论述了完善科学基金同行评议机制的重要性,指明该机制所面临的挑战与可行的发展路径,为RCC监督与评价系统的改革与发展提供一定参考,同时对新时期稳步推进国家自然科学基金的管理具有借鉴意义。
关键词科学基金    同行评议    评审机制    
Thoughts on Optimizing Peer Review Mechanism of Science Foundation
CHEN Guang1, CHEN Kaihua2, GONG Xu3, YUAN Yi4, FANG Xin5     
1. Academic Divisions, Chinese Academy of Sciences, Beijing 100190, China;
2. Institutes of Science and Development, Chinese Academy of Sciences, Beijing 100190, China;
3. National Natural Science Foundation of China, Beijing 100085, China;
4. National Center for Science & Technology Evaluation, Beijing 100081, China;
5. School of Public Policy and Management, University of Chinese Academy of Sciences, Beijing 100049, China
Abstract: Peer review is the self-regulating mechanism of the scientific community and the core link of scientific quality control. The core operating mechanism of National Natural Science Foundation of China (NSFC) is peer review, which is an important guarantee for the selection of high-quality projects. In order to promote the scientificity, objectivity, and impartiality of peer review, and steadily advance the reform and development of NSFC in the new era, this study analyzes the challenges of the current peer review mechanism of science foundation based on the review of the development of the peer review mechanism, and its advantages and disadvantages. Specifically, the challenges include the inability of the mechanism to meet the needs of catch-up development, the difficulty of the scale of the expert and management team to meet the increasing for project application quantity, the lack of object feedback in the expert review, and the need to optimize the selection of review experts, as well as the lack of monitoring means for the project review process. Accordingly, this study further proposes ideas of improving the peer review mechanism and establishing a "Responsibility, Credibility, Contribution" (RCC) supervision and evaluation system. This study not only clarifies the dynamic and scientific nature of this evaluation system, but also summarizes its potential use in optimizing the management of science foundation and improving the efficiency of project review, providing a theoretical basis for further promotion of the RCC supervision and evaluation system. This idea has been applied in the reform of the science foundation, and the results indicate that the direction of RCC reform is effective. This study further emphasizes the necessity to improve the system design, strengthen the monitoring of review quality, and create a culture of responsible review. It discusses the importance of improving the peer review mechanism of science foundation from multiple perspectives, points out the challenges and feasible development paths of the mechanism, and provides a certain basis for the further reform and development of the RCC supervision and evaluation system, which is of great significance to steadily promote the management of NSFC in the new era.
Keywords: science foundation    peer review    review mechanism    

同行评议是科学研究的质量评价机制。科学共同体利用同行评议来确认学术成果的可靠性,并根据评价结果分配有限资源(如期刊版面、资助名额、学术声望与特殊荣誉等)[1]。当前,同行评议已成为各类科技评价活动常用的基本方法,是促进科技资源合理优化配置过程的重要机制;同行评议的缺失将导致科学质量无法得到有效保障[2, 3]。作为公共资金的管理者,各国科学资助机构都致力于积极探索建立规范、公正、高效的同行评议机制,以有效应对日益复杂而繁重的同行评议工作,确保公共资金投入到最能促进科学发展和回应经济社会需求的科研项目上。同行评议也是我国科学资助机构遴选项目的重要质量保障机制,完善评审机制是新时期国家自然科学基金改革的重点任务之一。本文从同行评议机制的发展历程及其特点出发,分析新时期国家自然科学基金同行评议面临的挑战,提出改革思路和应对举措,并结合实践情况进一步展开讨论。

1 同行评议机制的发展及特点 1.1 发展历程

一般认为,科学领域的同行评议发源于1665年,当时英国皇家学会主办的《哲学汇刊》(Philosophical Transactions)在论文出版前会邀请学会会员审查其内容[4]。近期有研究认为,威廉· 威厄尔(William Whewell)在1831年为该刊审稿时提出了将同行评议制度化的建议[5]。这说明同行评议在科学界已经具有超过百年的历史。

20世纪中叶以来,各国政府以公共财政资助基础研究,同行评议逐渐成为政府分配基础研究资助经费的重要机制之一。美国国家科学基金会、美国国立卫生研究院、德国研究联合会、欧洲科学基金会、日本学术振兴会等世界主要科学资助机构均已建立相对成熟的项目评议机制,并不断改进作为质量控制机制的同行评议。美国国家科学基金会是世界上较早建立同行评议制度的政府资助机构之一,对其他资助机构的同行评议机制影响较大。在充分依靠专家对其遴选项目进行学术把关的同时,美国国家科学基金会也根据科学与社会之间关系的调适与发展,不断改进同行评议机制,包括修改评议准则、探索评议方式,以期通过同行评议促进科学界的社会责任感[6, 7]

理想状态下的同行评议体现了默顿所指出的“科学的精神气质”,即普遍主义、公有主义、无私利性和有组织的怀疑,具有专业性、公正性的优点,以及凝聚科学共识的特点,因此其应用范围日益扩大。目前,同行评议已广泛应用于论文发表评审、资助项目遴选、科技奖励等活动[8]

1.2 局限性与应对

同行评议机制也存在一定局限性,许多文献质疑同行评议的真实效用,批评其过程耗钱费时;并且,经常发现评审人有意或无意的不公正现象,包括机构偏见、年龄偏见、性别偏见、学派偏见、利益冲突等[9-11]。对于项目评审来说,同行评议机制有着无法回避的缺陷。但尽管同行评议机制存在其局限性,各国政府及资助机构仍没有找到其他方式可以完全替代这一配置资源的机制,尤其是在分配基础研究经费时,因而积极尝试并不断创新和改进同行评议机制[12]

(1)非共识性项目在同行评议中难以胜出。许多文献指出同行评议具有内在的保守倾向,往往具有学科交叉特征的原创性研究项目难以找到同行进行评议,因而同行评议机制不利于变革性研究项目的胜出[13]。2011年,在我国财政部和国家自然科学基金委员会(以下简称“基金委”)共同委托开展的科学基金资助与管理绩效国际评估中,评估专家委员会就提出“任何资助体系都应该具备处理高风险、具有潜在突破性的研究申请的能力。通常的同行评议系统往往趋于保守,这类申请常常难以通过” 。为了改进这一问题,有些资助机构调整同行评议的运作方式,如实施交叉评审或强化管理者的自由裁量权等;有些资助机构则创设特定资助项目,如指定研究主题项目、跨领域或团队科学研究项目等,以鼓励原创性研究。

① 科学基金资助与管理绩效国际评估专家委员会,《国家自然科学基金资助与管理绩效国际评估报告(2011)》。

(2)具有科学共同体内部的封闭性。同行评议作为学术界内部自成体系的评审活动将资助建议权赋予科学家群体,这可能导致资助项目对社会需求的关注不够。正因如此,20世纪80年代以来,新公共管理主义在英、美等国发展迅速。面对庞大的财政预算赤字,科学资助机构开始关注政府资助科学研究的绩效,要求项目遴选除了考虑科学发展外,还需要提出有益社会的证据。由此,社会影响指标也逐渐成为一些政府科学资助机构实施同行评议的重要考量因素之一[14]

2 新时期科学基金项目同行评议面临的挑战

我国自1982年设立科学基金制以来,就将同行评议作为科学基金项目遴选的主要方法。经过多年的实践和完善,国家自然科学基金项目同行评议的规范性和公正性在科学界树立了良好的口碑。但随着我国科学基金投入及项目申请量的迅速增加,同行评议在专家选择、组织方式、行为规范等各方面,也面临不小的挑战[15, 16]

(1)同行评议机制不适应我国跨越式发展的需要。改革开放40多年来,我国科技发展取得长足的成绩,但与发达国家的差距仍然比较明显,一些“卡脖子”技术问题亟待突破。面对新形势新任务,习近平总书记指出,“要采取‘非对称’赶超战略,发挥自己的优势”,以及“在关键领域、卡脖子的地方下大功夫” [17]。而现有的同行评议机制很难遴选具有“非对称”赶超特征的、潜在的颠覆性创新项目。基础研究领域颠覆性创新具有偶然性、革命性、非共识性、高风险性和学科交叉性的特点,这使得具有潜在颠覆性创新的基础研究项目评审成为科研项目资助管理中的难点[18]

(2)同行评议的专家队伍和管理队伍规模不适应项目申请数量增长。进入21世纪以来,我国基础研究资助规模不断壮大。2020年,国家自然科学基金项目申请量已经超过28万份,参与通讯评审的专家规模超过7万人,通讯评审专家人均评审的项目申请约为15份,部分专家评审达50份以上。部分专家在短期内评审工作量大,这很难保证评审质量。同时,资助评审相关管理人员(含固定人员和流动人员)仅200多人。面对数量庞大的项目申请材料,在紧张的评审准备期内,管理人员很难有充足的时间根据申请书的研究内容准确遴选评审专家。项目数量的不断增加与基金委管理人员不足已经成为影响科学基金评审质量的重要因素[19]

(3)项目评审缺少规范和引导,存在学风和诚信风险。即使遴选的评审专家专业对口,但如果专家评审不公正,也不可能选出优秀的项目。有调研表明,国家自然科学基金项目评审过程中存在较为普遍的“打招呼”等现象,易引发科研诚信风险,从而影响项目评审的公平公正[20]。2011年国际评估结果也指出,申请者对同行评议不满意的原因主要有:专家不熟悉申请者的研究领域,没有认真阅读和评审申请书,评审过程中存在一些“拉关系”现象[13]。基金委虽然已出台《国家自然科学基金项目评审回避与保密管理办法》《国家自然科学基金项目评审专家行为规范》《国家自然科学基金项目评审专家工作管理办法》等管理规章,但在实际操作过程中这些管理措施多为原则性规范,评审专家对评审行为要求和相应的评审流程等还缺乏准确了解。同时,由于缺少对评审制度和相关要求的宣传及培训,部分专家尤其是初次参加评审的专家未能及时了解评审要求,相关信息的获取不够便捷及时,这些因素都会影响评审效果。

同行评议的科学性和公正性是科学基金实现公平公正和高质量评审的基本保障,以价值为导向开展同行评议是新时期我国科技高质量发展的必然要求。在此背景下,2018年基金委提出探索建立“负责任、讲信誉、计贡献”(RCC)评审机制,引导专家负责任地开展评审,试图将专家评审纳入其学术贡献,以不断完善同行评议机制,促进我国基础研究长期健康发展。国家自然科学基金项目同行评议专家不负责任最直接的后果,就是同行评议结果不能满足我国科学发展的两类价值需求:对申请人研究的引导价值和对项目资助决策的支撑价值。RCC评审机制要坚持“价值”导向,减少不负责任、不讲信誉的行为,充分发挥专家的质量控制作用,将评审工作的两类价值最大化,从而提升科学基金资助项目水平。

3 构建RCC评审机制的基本思路

推进科学基金项目RCC评审机制建设,是新时代科学基金改革的重要举措,是提高科学基金评审质量和改善科学基金管理的保障,是完善同行评议的重点内容,是改善科研诚信的有效手段。

3.1 RCC评审机制的维度

(1)“负责任”(responsibility)——RCC评审机制的核心和出发点。旨在引导和促进专家负责任地评审。评审“负责任”既包括专家对科学基金资助工作的责任(即帮助科学基金择优遴选项目),也包括对申请人的责任(即对申请人完善研究设想和研究方案有所帮助)。

(2)“讲信誉”(credibility)——RCC评审机制的重要目标。通过记录评审专家的公正性、科学性、建设性等状况,鼓励专家在评审工作中注重积累长期信誉。

(3)“计贡献”(contribution)——RCC评审机制的主要抓手。旨在将科研人员的评审工作计入其学术贡献中。评审“计贡献”既包括评审专家对资助决策的贡献(即为科学基金提供详细而明确的、具有重要参考价值的评审意见),也包括对申请人科研工作的帮助(即为申请人提供论点明晰、论据充分且具有启发性和建设性的评审意见)

② 国家自然科学基金委员会. 2021年“负责任、讲信誉、计贡献”评审机制试点工作. (2021-03-29) [2021-11-15]. https://www.rand.org/pubs/research_reports/RR139.html.

从同行评议的组织过程看,国家自然科学基金项目评审流程分为专家遴选、项目评审、效果分析3个过程,即评审源头、评审过程和评审结果。为了保障科学基金项目遴选质量,需要在评审源头选用“讲信誉”的专家,引导和鼓励其在评审过程中采取“负责任”的行动,最后对其评审效果“计贡献”。

3.2 基于RCC评审机制的动态优化系统

RCC评审机制是个不断循环的过程,可构成科学基金项目评审的动态优化系统。RCC评审机制针对专家的评审行为提出了较为详细的规范,包括倡导性规范、限制性规范和禁止性规范,旨在对进入评审环节的专家行为加以引导和约束。遵守规范的行为属于负责任行为,而违背规范的行为则是不负责任的。因此,“负责任”的行为规范为进入这个动态系统的评审专家提出了基本要求;“讲信誉”是RCC系统实现动态优化的更新节点,系统中的专家通过RCC评审行为获得信誉累积;“计贡献”为进入评审环节的专家贡献作价值认定,专家按照信誉累积排名进入或者退出系统,为系统运行提供不断优化的驱动力。

3.3 RCC评审机制的运行原则

RCC评审机制并非对项目评审专家的全面评价,而是对科学基金评审中负责任、讲信誉行为的积极倡导,以及对不负责任、不讲信誉行为的有效监督。通过RCC评审机制,可以促进基金委相关管理制度的真正落地,进一步保障和提升同行评议质量,为改善科学基金管理提供动力。

RCC评审机制旨在营造良好学术生态,提升我国基础研究总体水平,其基本原则包括:坚持正面引导,明确行为规范;坚持综合施策,避免简单量化,尤其不能将“计贡献”简单化,不能将科研中过度量化评价的弊端引入评审工作;坚持信任为本,避免挫伤评审专家的积极性,更不能影响基金委管理人员、评审专家和申请人之间长期以来业已建立的基本信任;坚持最小干扰,避免影响基金委年度评审工作的整体进度,保障评审工作公正高效。

4 RCC评审机制试点工作及思考

基金委自2020年开展RCC评审机制试点工作以来,共有8个科学部(交叉科学部除外)的45个学科参与,占全部学科的36%。从近2年来的试点工作总体情况来看,多数试点学科专家提交通讯评审意见更快捷,按时提交率提高,延误现象有效减少;评审意见更详细,且更加有理有据。通讯评审意见质量的提升不仅使得项目评审管理人员受益,参加会议评审的专家也从不少评审意见中受益匪浅。有试点学科的会评专家组认为,上会讨论项目的通讯评审意见对其“很有帮助”和“有帮助”的比例超过了95%。

不少申请人也参与了试点工作。2020年主动反馈对通讯评审意见看法的申请人占试点学科所涉申请人比例为23%,2021年以来占比提升为45%。其中,认为通讯评审意见对自己“很有帮助”和“有帮助的”的申请人在这2年均超过了80%,而认为“帮助不大”和“没有帮助”的均不到20%。不过,获资助者和未获资助者反馈意见的积极性大有不同。以2021年为例,获资助者中反馈意见的申请人占比达82%,而未获资助者中反馈意见的申请人占比仅为37%;获资助者中认为通讯评审意见“很有帮助”和“有帮助的”的申请人占比达97%,未获资助者中认为通讯评审意见“很有帮助”和“有帮助的”的申请人占比接近80%。这说明绝大多数评审专家都是很负责任的,不仅为遴选科学基金项目做好“守门人”,也为提升我国基础研究水平作出重要贡献。

RCC评审机制只是基金委完善同行评议机制的举措之一,而且还在探索和试行中。实际上,评审工作也只是科学资助机构资助管理工作的一部分。从国外资助机构改进同行评议机制的实践来看,一方面,要规范同行评议程序和评审专家行为,加大对青年评审专家的引导与培训;另一方面,也要不断扩大评审专家队伍,完善评审专家相关信息(特别是涉及利益冲突的信息),提高评议工作透明度(如向申请人反馈评议意见),建立项目申诉救济机制等。同时,也要注重控制项目申请量、资助管理人员的管理工作量和专家的评议工作量等,为同行评议机制的运行营造良好的环境和条件

③ Guthrie S, Guerin B, Wu H, et al. Alternatives to Peer Review in Research Project Funding: 2013 Update. [2021-11-19]. https://www.rand.org/pubs/research_reports/RR139.html.

此外,同行评议无论是作为个人的实践活动,还是作为科学界的集体行动,都深受科学之外的社会因素与社会环境的影响。从本质上看,负责任评审是个人或群体的负责任行为在科学评价中的体现,而负责任行为的养成不仅需要个人或群体的自觉自律,还需要全社会树立与维护追求卓越、诚实守信的价值理念,弘扬科学精神,培育创新文化,共同营造有利于世界科技强国建设的氛围。

参考文献
[1]
Daryl E C, Edward J H. 难有同行的科学: 同行评议与美国科学政策. 谭文华, 曾国屏, 译. 北京: 北京大学出版社, 2011.
[2]
London A J, Kimmelman J. Against pandemic research exceptionalism. Science, 2020, 368: 476-477. DOI:10.1126/science.abc1731
[3]
Kwon D. How swamped preprint servers are blocking bad coronavirus research. Nature, 2020, 581: 130-131. DOI:10.1038/d41586-020-01394-6
[4]
Burnham J C. The evolution of editorial peer review. Journal of the American Medical Association, 1990, 263(10): 1323-1329. DOI:10.1001/jama.1990.03440100023003
[5]
Baldwin M. In referees we trust?. Physics Today, 2017, 70(2): 44-49. DOI:10.1063/PT.3.3463
[6]
Roy R. Funding science: The real defects of peer review and an alternative to it. Science, Technology, & Human Values, 1985, 10(3): 33-38.
[7]
龚旭. 科学政策与同行评议: 中美科学制度与政策比较研究. 杭州: 浙江大学出版社, 2009.
[8]
Philip S, Stefan K. 科技政策评估: 来自美国与欧洲的经验. 方衍, 邢怀滨, 等, 译. 北京: 科学技术文献出版社, 2015.
[9]
Bornmann L. Scientific peer review. Annual Review of Information Science and Technology, 2011, 45(1): 197-245.
[10]
Liu X Z, Fang H. Peer review and over-competitive research funding fostering mainstream opinion to monopoly. Part Ⅱ. Scientometrics, 2012, 90(2): 607-616.
[11]
Lee C J, Sugimoto C R, Zhang G, et al. Bias in peer review. Journal of the American Society for Information Science and Technology, 2013, 64(1): 2-17.
[12]
徐彩荣, 李晓轩. 国外同行评议的不同模式与共同趋势. 科学学与科学技术管理, 2005, 26(2): 28-33. DOI:10.3969/j.issn.1002-0241.2005.02.006
[13]
Abdoul H, Perrey C, Amiel P, et al. Peer review of grant applications: Criteria used and qualitative study of reviewer practices. PLoS One, 2012, 7(9): e46054. DOI:10.1371/journal.pone.0046054
[14]
范英杰, 徐芳. 如何看待研究成果社会影响力评价?——英国高等教育机构科研水平评估框架概览. 科学与社会, 2019, 9(1): 129-142.
[15]
何光喜, 石长慧, 薛品, 等. 国家自然科学基金在科学界的形象——基于抽样调查数据的分析. 中国科学基金, 2016, 30(5): 417-424.
[16]
徐芳, 龚旭, 李晓轩. 科研评价改革与发展40年——以基金委同行评议和中科院研究所综合评价为例. 科学学与科学技术管理, 2018, 39(12): 17-27.
[17]
中共中央文献研究室. 习近平关于科技创新论述摘编. 北京: 中央文献出版社, 2016.
[18]
杨卫, 郑永和, 董超. 如何评审具有颠覆性创新的基础研究. 中国科学基金, 2017, 31(4): 313-315.
[19]
江虎军, 郝艳妮, 徐岩英, 等. 国家自然科学基金项目同行评议的智能化探讨. 中国科学基金, 2019, 33(2): 149-153.
[20]
李东, 郝艳妮, 何贤芒. 国家自然科学基金同行评议专家信息库的梳理与重构设计. 中国科学基金, 2014, 28(3): 209-213.