喜报 | pg麻将胡了试玩 余厚强副教授课题组在Nature子刊HSSCOMM发表文章

发布人:郑凯耿

#

 

论文出处

 

Yu, H., Liang, Y. & Xie, Y. Can peer review accolade awards motivate reviewers? A large-scale quasi-natural experiment. Humanit Soc Sci Commun 11, 1557 (2024). DOI: //doi.org/10.1057/s41599-024-04088-w

#

 

引言

 

pg麻将胡了试玩 余厚强副教授课题组在Nature子刊HSSCOMM上撰文研究了同行评议奖励机制问题,为科研管理与决策提供重要参考。Humanities and Social Sciences Communications,是Nature旗下的期刊,被誉为人文社科领域的唯一子刊。该期刊被SSCI和AHCI双检索,属于JCR一区和中科院一区。

#

Vol.1/   研究简介

替代计量学(Altmetrics)通过测度不同类型学术实体与社会多源主体的交互大数据,旨在揭示科学交流、传播和影响的一般规律。同行评议是替代计量学的重要研究对象之一,在我国科技评价改革深化的背景下,也是科技界关心的重要议题。目前,同行评议奖项来激励审稿人的做法较为普遍,但其有效性尚不确定。本研究旨在探讨获得同行评议获奖对审稿人后续审稿量的影响。构建了一个规模性、全球性、跨学科的数据集,包含超过170,000位学者作为审稿人的年审稿数量及其文献计量指标。研究运用倾向得分匹配方法将2018年获得“Publons全球同行评审奖”的711位审稿人视为实验组,762名未获奖的审稿人作为对照组。使用双重差分法来检验同行评议奖项对审稿人后续审稿数量的影响。结果表明,在获得同行评议奖项后,平均每位审稿人的审稿量减少了大约4篇,这一趋势呈现出V形模式。个体因素(学术年龄、资历、社会资本和性别)对获奖效应有显著影响,社会经济因素(高收入、英语、或科技发展水平较高的地区)会减轻同行评议奖项的负面影响。同行评议奖项边际效用的降低、同行评审的自愿性、奖项的意外特性是上述负面影响的潜在机制。学术界应重新评估现有的同行评审激励策略。

#

Vol.2/  研究背景

同行评议是保证科学交流质量的关键。但是,同行评议是一项自愿活动,是非强制的、耗时的、对于职业发展而言性价比低下的。以往关于同行评议的研究主要集中于提高质量。但保证审稿人完成足够数量的审稿也同样重要。为了应对同行评议参与度的下降,学术界一直探索使用外部激励来吸引审稿人。物质奖励高度依赖于可持续的经济基础,并且有研究表明反而会降低审稿人的内在动机,产生反效应。一直以来,荣誉奖项越来越多地被用来激励审稿人,诸多学术期刊都设立了同行评议奖项。

从理论上讲,同行评议奖项有可能与审稿人的亲社会性和自我实现动机相一致,从而克服货币奖励的局限性。但也有实证研究表明,荣誉奖项在其他领域也会产生负面影响。目前,缺乏实证研究来全面调查同行评议获奖对审稿人后续审稿量的影响。

#

Vol.3/   数据和方法

本研究旨在利用基于大规模、跨所有学科和全球的样本来开展准实验。数据来源于Publons平台。Publons会在各学科领域内识别出TOP 1%的审稿人,并授予其“Publons全球同行评审奖”。由于各种原因,该奖项自2019年起已停止颁发。本研究收集了2017年、2018年和2019年的所有获奖者数据。为了避免在异质多期DID分析中的偏差,本研究主要关注2018年的同行评审获奖者,并确保对照组不包括2017年和2019年的获奖者。

本研究最初以2018年Publons全球同行评审奖获奖者为实验组。然后,通过倾向得分匹配形成对照组,匹配以学者的学术年龄、性别、学科、累积发表论文数量和累积引用次数作为变量。最后,基于面板数据进行了双重差分(DiD)分析。

本研究的因变量是审稿人每年的审稿量。自变量包含是否为获奖者以及年份是否超过2018年。控制变量包含审稿人的近期发文量、学术影响、学科、社会资本、学术年龄、科学合作等。

#

Vol.4/   研究结果

1. 主要结果

在匹配后,进行了DiD建模。当包含控制变量和固定效应(包括双向固定效应的交互固定效应)时,系数为-4.06,表明在获得2018年Publons全球同行评审奖后,审稿人的动机有所下降。具体如表所示。

DiD结果表

在下图中,平均处置效应(ATTs)在处理后约为-4,趋势呈现出V形模式。经过连续四年下降后,这种负向趋势将有所放缓,表明在获得同行评议奖项后,平均每位审稿人的审稿量减少了大约4篇,这一趋势呈现出V形模式。

随时间变化的平均处置效应(ATTs)

另外,本研究通过了平行趋势和安慰剂测试。在2017年和2019年同行评议获奖者数据的稳健性测试中,2017年、2018年和2019年均呈现出相似的规律。

2. 额外分析

研究还通过调节效应和异质性分析考察了学术年龄、资历、资金、社会资本、跨学科性和评审专家的性别对获奖效应的影响。研究结果表明,学术年龄、资历、社会资本和性别对获奖效应有显著影响。其他变量,如资金和跨学科性,在统计上并不显著。对于资历和社会资本较高的审稿人,获得同行评议奖项会产生更负面的影响。男性审稿人在获得同行评议奖项后,动机下降;而对于女性来说,这几乎没有任何影响。社会经济因素对获奖效应的影响层面,发现英语国家、高收入水平和国家高水平的科学研究会减轻同行评议获奖的负面影响。

3. 机制分析

讨论部分理论地分析了这种机制的成因。学术影响力的边际效用递减、同行评审的自愿性质、奖项的意外特性都可能是成因。相较于首次获得同行评议奖,再次获得奖励不再具有先前的吸引力;加之其志愿性质,使得后续的奖项“性价比”低下。另外,奖项使得获奖者发现自身远超越了业界平均水平,加之这个奖项是意外的,强化了获奖者对自己远超社会规范的意识,进而使其后续审稿动机下降。

#

Vol.5/   研究结论

本研究发现同行评议获奖会减少审稿人后续的审稿数量。在获得2018年Publons全球同行评审奖后,审稿人的评审数量平均减少约四篇。而且,获奖效应受个人和社会经济因素的影响。具有较高学术资历、更多社会资本、较高学术年龄、男性学者以及来自低收入国家、非英语国家或科研较不发达国家的学者在获得奖项后,可能会减少更多的审稿数量。上述负向效应可能源于学术影响力的边际效用递减、同行评审的自愿性质、奖项的意外特性。