“唯论文”的科研环境助长了学术不正之风,学术垃圾井喷更是让人瞠目结舌。一方面,出版商正加大力度打击论文工厂,推出新型论文造假检测工具;另一方面,改变“不发表就灭亡”的学术氛围也成为共同呼吁。
论文造假层出不穷
当神经心理学家Bernhard Sabel将他的论文造假检测器投入使用时,他对发现的结果感到“震惊”。在筛选了大约5000篇论文后,他估计2020年发表的神经科学论文中多达34%可能涉嫌编造或抄袭;在医学领域,这一比例是24%。近日,Sabel和同事在论文预印本平台medRxiv上发布了相关报告。这两个数字远高于2022年一项关于论文工厂研究所估计的2%基线。
(资料图片)
来自德国马格德堡大学的Sabel——同时也是《恢复性神经病学和神经科学》的主编——惊呼道“这太难以置信了”,就好像“有人告诉你,你吃的东西有30%是有毒的!”
Sabel的发现验证了人们普遍怀疑的事情:期刊上涌现越来越多的来自论文工厂的学术论文。
学术界有专门的论文工厂产业链是众所周知的事情。论文工厂收取费用,替研究人员将造假的论文提交给对口的期刊,压缩期刊出版周期以达到快速出版的目的,或出售作者署名。
知名出版商于5月发布的公告强调了这一威胁:它关闭了旗下4份期刊,因为发现这些期刊被论文工厂的文章“严重侵蚀”。
上文提及Sabel所使用的论文造假检测工具依赖于2个指标——使用私人、非机构电子邮件地址的作者,以及列出与医院有隶属关系的作者。然而,这不是一个完美的解决方案,因为误报率很高。其他论文造假检测器的开发人员通常很少透露他们的工具是如何工作的,但他们也面临着类似的问题。
尽管如此,检测工具还是带来了打倒论文工厂的希望,论文工厂大量生产包含部分或全部抄袭或捏造的文本、数据和图像。有些论文甚至通过了那些不严谨审稿人的认可。此类论文可能会腐蚀科学文献、误导读者并扭曲系统评价。最近出现的ChatGPT等人工智能工具更是加剧了这种担忧。
新工具有望甄别假论文
魔高一尺道高一丈。为了反击,代表120家出版商的国际科学、技术和医学出版商协会(STM)正在领导一项名为Integrity Hub(诚信中心)的工作,以开发新工具。
STM没有透露太多有关检测方法的信息,以避免走漏消息。“这是一场军备竞赛,”Integrity Hub的产品总监Joris van Rossum说,造假的一个迹象是引用了许多被撤稿的论文,另一个迹象是通过电子邮件发送的手稿和评论,这些ip地址看起来像合法机构的地址。
20家出版商——包括Elsevier、Springer Nature和Wiley等大型出版商——正在帮助开发Integrity Hub工具,其中10家出版商预计将使用该组织于4月份推出的论文造假检测器。STM预计今年还将试行一种单独的检测工具,用于检测一稿多投的现象。
由于项目刚起步,STM尚未生成有关准确性或误报率的数据。但捕捉造假论文数量越多,误报的概率也越高。Sabel的工具在假论文的测试样本中能够正确标记近90%的欺诈或撤稿论文。然而,在真论文的测试样本中它将高达44%的真论文标记为假论文。由此可见,结果仍然需要由经验丰富的审稿人来人工确认。
审查可疑论文可能很耗时:2021年,Springer Nature对大约3000篇疑似来自论文工厂的论文进行了发表后审查,需要多达10名兼职和全职员工。(Springer Nature每年发表约400000篇论文。)
不过,4月份发布的最新期刊指南可能有助于减轻工作量。由出版商资助的非营利性出版道德委员会表示,即使证据是间接的,他们也可以决定拒绝或撤回怀疑由论文工厂生产的论文。在此之前,旧版指南鼓励期刊向每篇可疑论文的作者询问更多信息以辅助判断,但沟通可能会引发冗长的来回争论。
论文工厂或可内外兼攻
打击论文工厂的两条路——疏与堵。从内部而言,要疏,即消除科研工作者盲目追求论文的信念;从外部而言,要堵,即联合出版商以及期刊集体抵抗。
科研工作者面临着“不发表就灭亡”,这个压力是很大的障碍。Joris van Rossum表示,“我们考虑与机构合作,探讨如何取消可能会产生这些不利影响的一些‘专业’的激励措施。”Sabel表示,这种压力会促使没有时间研究的临床医生转向论文工厂。
Byrne表示,出版商应该寻求外界的帮助,以改进支持论文造假检测工具的技术,尽管这需要对其工作方式保持透明。“当工具是闭门造车时,没有人可以批评或检验检测器的性能”,她补充说,更公开、更广泛的合作可能会事半功倍,赶在论文工厂反侦察之前攻破。
一些学者表示论文工厂的论文会逐步迁移到影响力较低的期刊,而检测它们的资源较少。但如果许多期刊联合行动,整个论文工厂产业的生存空间会急剧萎缩。
参与Integrity Hub工具开发的咨询顾问Adam Day看到了一些希望:标记论文工厂目标的可疑期刊,可以迅速阻止更多的欺诈性投稿。
用Papermill Alarm自动检测器进行的一项分析数据,每列显示月发文数量
由Adam Day担任创始董事的公司Clear Skies进行了一项分析(如上图),在一份2020年的报告点名涉嫌包含论文工厂论文的期刊之后,使用Papermill Alarm自动检测器进行的一项分析发现,其中一份期刊中此类论文的数量迅速且急剧地下降。
参考资料:
https://www.medrxiv.org/content/10.1101/2023.05.06.23289563v1
https://publicationethics.org/node/55256
https://www.science.org/content/article/fake-scientific-papers-are-alarmingly-common