AI 在「超速」,AI 相关的论文投稿量也在「爆炸」。
近几年,NeurIPS, ICML, CVPR, ICLR, ACL 等顶级 AI / CS 会议投稿要「挤爆」同行评审人的书桌了。比如,CVPR 2024 大约有 9000 名审稿人,但投稿作者的数量却超过了 30000。
为了防止审稿人滥用 AI,CVPR 在去年直接出台了七条新规,明令禁止使用 LLM 参与评审。
然而,就在 CVPR 2025 录用结果公布之际,区域主席(AC)曝出了评审过程中一件令人震惊的事件:
一些极不负责审稿人,要么彻底放弃了评审过程,要么提交了质量低得离谱的评论。甚至,一些评论竟是由大模型生成的,敷衍程度可见一斑。
对于学术出版行业来说,这类问题早已相当严峻 —— 2020 年全球审稿人在同行评审上花费的总时间就超过 1 亿小时。
除了耗时且成本高昂之外,学术出版中的同行评审系统还存在很多其他缺陷,包括评审偏见、不一致性、缺乏奖励、寻找审稿人困难以及速度慢等问题。
论文地址:https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(21)02804-X/fulltext
面对的激增论文、高级审稿人的短缺和 AI 的诱惑,如何才能让审稿人保持评审的专业性?
Nature 近日的一篇文章似乎给出一种意想不到的方案 ——「直接发钱」!
本月,有两家试行这项政策的期刊公开了各自的研究数据。
结果表明,给评审论文的研究人员支付约 250 美元(现汇率约合 1817 元人民币)报酬,不仅能加快评审速度,还不会降低评审质量。
不过,一些专家警告,这种做法可能给科研和出版行业带来意想不到的问题。
Eötvös Loránd University 的心理学家 Balazs Aczel 指出,「尽管这两项试验规模不大,但在收集付费同行评审相关数据方面,迈出了不错的第一步。」
不过他也提到,到底要不要给同行评审人付费,仍是个非常复杂的问题。
给评审人报酬
其实,付费给同行评审人这一想法,很早之前就有讨论,但到目前为止,真正付诸实践的出版商并不多。
经济学期刊过去曾做过尝试,一些医学期刊会给特定的评审人支付报酬。
还有些期刊采用了一些不太常见的报酬方式:开放获取的大型期刊《PeerJ》采用了一种代币系统,为评审人减免出版费用;还有期刊用专门研发的加密货币来支付报酬。
有些研究人员担心,给评审人现金奖励,可能会降低评审质量,或者以未可知的方式改变科研格局。
但一直以来,都缺乏关于潜在利弊的确凿证据。
《Critical Care Medicine》期刊的编辑们好奇付费给评审人会产生什么效果,于是开展了一项为期 6 个月的实验,由加拿大 Queen’s University in Kingston 的临床科学家 David Maslove 牵头。
从 2023 年 9 月起,该期刊邀请了 715 名研究人员评审论文,并给其中一半的人提供 250 美元奖励。
本月早些时候,期刊公布了实验结果:付费评审在一定程度上提升了接受邀请的比例,也加快了评审速度。
收到付费邀请的研究人员中,大约 53% 接受了评审邀请,而无偿邀请的人员里,这一比例为 48%。
平均来看,付费评审比无报酬评审能提前 1 天出结果。
期刊编辑评估后发现,付费和无报酬评审人的评审质量并无差异。
Maslove 表示,这种影响并不十分显著,说明金钱在激励同行评审人的行为方面,作用较为有限。
「同行评审人可能还重视其他东西,比如责任感、忠诚度,或是想回馈社会。」
加快评审进度
《Biology Open》期刊也进行了一项实验,虽然参与的评审人数较少,但效果更为显著。
从 2024 年 7 月开始的 6 个月里,该期刊 10 个学科领域中的 2 个,将评审人视为付费合同工,并采用了两种付费方式。
一种是给评审人 600 英镑(约 776 美元)聘用金,让他们每季度最多评审 3 篇论文;另一种是每评审一篇论文支付 220 英镑(约 285 美元)报酬。
编辑会向自由职业的评审人发出评审邀请,评审人需在 1 个工作日内决定是否接受。接受邀请后,有 4 天时间提交评审报告。通过这种方式,共完成了 20 篇论文的评审工作。
根据本月发布的结果,付费评审比无报酬评审要快得多。
付费评审报告平均周转时间为 4.6 个工作日,而未参与付费试验的评审报告平均需要 38 天。
编辑发现,付费和无报酬评审报告在质量上没有差别。
该期刊的执行编辑 Alejandra Clark 表示:「这对编辑来说帮助极大,以往在某些领域,找评审人特别费劲。」
《Biology Open》期刊的实验非常成功,目前正打算将该体系推广至所有学科领域。
Clark 称,期刊用所属机构的自由支配资金来开展这个项目,这一做法会持续到 2025 年底。她希望到那时能收集更多数据,再考虑如果继续推行这项政策,应如何提供支持。
Clark 还补充道,长期维持这一政策可能要提高《Biology Open》期刊的论文处理费用,目前为 2200 美元。
Aczel 不太认同通过提高出版或订阅费,来为付费同行评审提供资金。他表示,很多机构目前已经难以承担这些费用了。
而且,这两项研究都未探讨,付费可能会如何改变评审人的其他行为。
Aczel 指出,付费体系可能会促使研究人员尽可能多完成评审,这可能导致评审报告质量下降,他们投入到自身研究的时间也会减少。
瑞典 Linnaeus University 的科学家 James Heathers,在 2020 年发起过一项活动,他认为一篇同行评审报告的合理报酬应为 450 美元。
他认为评审质量不会因此下降,因为出版商有权对付费评审进行监督,「以合同形式雇佣他人,合同中是有相关条件的,可以进行管控。」
过去出版社会给同行审稿人付费吗?
总的来说,过去绝大多数情况下,学术出版商是不向同行审稿人支付费用的。同行评审长期以来被视为学术界的互惠和志愿服务。
学者们审阅他人的稿件,同时自己的稿件也由其他同行评审。这被认为是学术共同体运作的一部分,是学者职责的一部分。
虽然没有直接的金钱报酬,但审稿工作有时会带来一些间接或非金钱形式的回报,例如:
了解领域内最新研究进展
提升在学术界的声誉和认可度(有时会被列入期刊的致谢名单或获得证书)
部分期刊可能提供审稿人一些小福利,如临时的免费阅读权限、购书折扣、免除自己投稿时的部分版面费等
象征性的感谢和荣誉认可
期刊订阅优惠
出版社书籍优惠
审稿证明
当前稿件激增和 AI 带来的新挑战,极大地加重了传统上依赖志愿服务的同行评审系统的负担。
审稿人面临前所未有的压力,导致寻找审稿人困难、评审周期延长甚至影响评审质量。
在这样的背景下,一些出版商开始尝试(或至少是讨论)向审稿人付费,作为一种可能的解决方案,试图通过经济激励来缓解审稿人短缺、提高审稿效率和质量。
然而,这在历史上是非常罕见的做法,并且这种付费模式是否可持续、是否会带来新的问题(如潜在偏见、成本转嫁等)仍在讨论和观察中。
这标志着学术出版界可能正在经历一个重要的变革时期。
参考资料:
https://www.nature.com/articles/d41586-025-00968-6
https://www.aje.cn/arc/the-peer-review-dilemma/
本文来自微信公众号:新智元(ID:AI_era),原标题《Nature | 审稿人告急!学术期刊出奇招:250 美元评审一篇论文?》
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。