AI垃圾充斥論文庫？科研人員稱AI痕跡難以發(fā)現(xiàn)、部分領(lǐng)域有AI造假的可能

2025-1-25 09:17| 發(fā)布者: admin| 查看: 139| 評(píng)論: 0

摘要: 生成式AI在學(xué)術(shù)領(lǐng)域正在加快科學(xué)發(fā)現(xiàn)，甚至因此登上了諾貝爾獎(jiǎng)臺(tái)，但技術(shù)的另一面是，學(xué)術(shù)造假越來越方便，學(xué)術(shù)界近期開始擔(dān)憂，AI垃圾或許會(huì)充斥論文庫。瑞典布羅斯大學(xué)學(xué)院近期發(fā)布了一篇文章，稱研究人員在谷歌學(xué) ...

生成式AI在學(xué)術(shù)領(lǐng)域正在加快科學(xué)發(fā)現(xiàn)，甚至因此登上了諾貝爾獎(jiǎng)臺(tái)，但技術(shù)的另一面是，學(xué)術(shù)造假越來越方便，學(xué)術(shù)界近期開始擔(dān)憂，AI垃圾或許會(huì)充斥論文庫。

瑞典布羅斯大學(xué)學(xué)院近期發(fā)布了一篇文章，稱研究人員在谷歌學(xué)術(shù)平臺(tái)中發(fā)現(xiàn)了上百篇疑似由AI生成的文章，研究人員認(rèn)為，由AI生成的“垃圾科學(xué)”正在侵蝕學(xué)術(shù)平臺(tái)，給同行評(píng)審系統(tǒng)帶來壓力，也對(duì)科研人員的信息素養(yǎng)提出更高要求。

第一財(cái)經(jīng)記者留意到，近一年來，學(xué)術(shù)界出現(xiàn)了不少被質(zhì)疑使用AI生成的論文，甚至被撤稿，也出現(xiàn)了使用AI技術(shù)“潤(rùn)色”論文被認(rèn)為是學(xué)術(shù)不端的事件。

記者梳理發(fā)現(xiàn)，目前可以將AI可能導(dǎo)致的學(xué)術(shù)垃圾分成兩類，一是用AI翻譯或生成部分文字表達(dá)，二是利用生成式AI學(xué)術(shù)造假，前者AI主要起到輔助寫作的作用，但可能因?yàn)檎撐淖髡卟蛔屑?xì)檢查生成的內(nèi)容導(dǎo)致論文出錯(cuò)，后者的主要問題在于AI使學(xué)術(shù)造假變得更便利。

“我還沒有發(fā)現(xiàn)大量明顯由AI生成的論文，如果作者將AI的痕跡刪除干凈就難以發(fā)現(xiàn)。但理論上AI確實(shí)能用于輔助論文寫作，也出現(xiàn)了被懷疑使用了AI生成的論文。”一名高?？蒲泄ぷ髡吒嬖V記者。記者采訪的多名在讀博士或科研工作者認(rèn)為，他們還沒有發(fā)現(xiàn)AI導(dǎo)致學(xué)術(shù)垃圾充斥論文庫，但AI已經(jīng)能用于做一些學(xué)術(shù)輔助工作，在不同研究領(lǐng)域使用AI學(xué)術(shù)造假的可能性則有所不同。

AI垃圾充斥論文庫了嗎？

擔(dān)心AI垃圾充斥論文庫的不只瑞典布羅斯大學(xué)學(xué)院研究人員。

去年9月，莫那什大學(xué)研究人員Julian Koplin發(fā)表在The Conversation上的一篇文章稱，隨著類似ChatGPT的生成式AI工具出現(xiàn)，越來越多論文疑似使用了AI輔助寫作，一些論文出現(xiàn)了AI經(jīng)常使用的表達(dá)，例如commendable（值得稱贊）、meticulously（小心翼翼）。

還有一篇關(guān)于農(nóng)業(yè)技術(shù)的論文出現(xiàn)了明顯使用AI工具的表述：“作為AI語言模型，我無法直接訪問當(dāng)前的研究文章或研究。但是，我可以為您提供一些最新趨勢(shì)和進(jìn)展的概述……”。Julian Koplin表示，AI存在幻覺問題，有時(shí)會(huì)犯嚴(yán)重的錯(cuò)誤，而論文作者需要確保學(xué)術(shù)論文沒有嚴(yán)重錯(cuò)誤。

去年5月，也有消息稱，一篇未經(jīng)同行評(píng)議的預(yù)印本論文估計(jì)，通過分析寫作風(fēng)格，有上萬篇論文可能被AI以某種方式潤(rùn)色了，一些論文留下了使用AI的跡象，例如出現(xiàn)了以“作為人工智能模型語言模型”開頭的句子，有研究人員認(rèn)為，濫用AI工具可能會(huì)損害公眾對(duì)科學(xué)研究的信任。

學(xué)術(shù)論文出現(xiàn)AI常見表達(dá)還發(fā)酵成一些輿論事件。早在2023年，就有一篇發(fā)表在《Physica Scripta》期刊上的論文被發(fā)現(xiàn)使用了AI慣用的短語，隨后該論文被撤稿。去年，有論文出現(xiàn)一句疑似ChatGPT慣用回答“Certainly, here is a possible introduction for your topic:” （當(dāng)然，這里有一個(gè)關(guān)于你的主題的可參考介紹：），也被質(zhì)疑用了AI寫論文，引起了學(xué)界和媒體的關(guān)注。

由于目前學(xué)術(shù)界已有不少存在AI痕跡的論文出現(xiàn)，傳播學(xué)在讀博士李庭對(duì)第一財(cái)經(jīng)表示，某種意義上，AI生成的學(xué)術(shù)垃圾是存在的，例如加劇了模式化的表達(dá)，導(dǎo)致虛假的事實(shí)與論據(jù)污染數(shù)據(jù)庫。

不過，需要注意的是，瑞典布羅斯大學(xué)研究人員強(qiáng)調(diào)，出現(xiàn)了AI垃圾的谷歌學(xué)術(shù)平臺(tái)并不等同于專業(yè)學(xué)術(shù)數(shù)據(jù)庫，該平臺(tái)缺少必要的質(zhì)量保證流程。

記者采訪的一些學(xué)術(shù)界人士認(rèn)為，不使用谷歌學(xué)術(shù)平臺(tái)而使用專業(yè)學(xué)術(shù)數(shù)據(jù)庫，可以有效篩掉低質(zhì)量論文和“AI垃圾”。不過，用AI潤(rùn)色或翻譯論文變得較為普遍，使用AI或也難以發(fā)現(xiàn)其痕跡。

一名新聞學(xué)在讀博士生告訴記者，她平時(shí)搜集中文文獻(xiàn)主要使用知網(wǎng)，限定搜索范圍為CSSCI，搜集英文文獻(xiàn)主要使用web of science，限定搜索范圍為SSCI，這樣搜索到的只有國(guó)內(nèi)外相對(duì)較認(rèn)可的期刊文獻(xiàn)，她并未發(fā)現(xiàn)學(xué)術(shù)論文庫出現(xiàn)被AI污染的情況。

中科院生物學(xué)博士、科研工作者劉耀文則擔(dān)心，還是會(huì)有一些研究者使用AI寫論文，并且AI痕跡可能難以發(fā)現(xiàn)。他去年就留意到一篇學(xué)術(shù)論文帶有AI生成痕跡，“可能是AI生成，審稿人還沒發(fā)現(xiàn)。這個(gè)事件曝出后，后續(xù)使用AI寫論文的人就會(huì)更注意刪掉AI痕跡了?！?br>
用AI寫論文背后，可能是作者用AI翻譯或潤(rùn)色已經(jīng)寫好的論文，也可能是使用AI輔助后直接采用AI生成內(nèi)容。就用AI翻譯論文的需求，劉耀文表示，國(guó)內(nèi)研究者在海外期刊發(fā)表論文經(jīng)常會(huì)面臨語言問題，通常會(huì)尋求翻譯軟件的幫助，但根據(jù)經(jīng)驗(yàn)，AI的效果比翻譯軟件、人工翻譯的效果更好?，F(xiàn)在已經(jīng)有很多人采用這種方式潤(rùn)色論文。問題在于，AI可能生成有歧義的表達(dá)，翻譯后作者需要糾正一遍，如果不修改可能導(dǎo)致論文出現(xiàn)垃圾信息。

AI垃圾充斥論文庫？科研人員稱AI痕跡難以發(fā)現(xiàn)、部分領(lǐng)域有AI造假的可能

至于直接使用AI寫作論文，一些受訪者認(rèn)為，AI生成的內(nèi)容表達(dá)能力尚可，但思辨性不足。上述新聞學(xué)在讀博士表示，用Kimi生成的文本應(yīng)付本科課程論文還行，寫其他論文不太行。從生成文本質(zhì)量看，AI生成的內(nèi)容邏輯和表達(dá)基本可以，但思辨性不夠，缺乏深度，缺少讓人眼前一亮的東西。劉耀文則注意到，用AI生成論文中的文字，看起來具備相當(dāng)?shù)膶I(yè)性，AI生成的文字確實(shí)缺少思辨性，不過，并不是論文中所有內(nèi)容表述都需要思辨性。

同樣是傳播學(xué)博士的殷文則表示，AI確實(shí)可以補(bǔ)充學(xué)術(shù)寫作，例如幫助翻譯、潤(rùn)色文字、整合文獻(xiàn)、激發(fā)思維?！爱?dāng)你想做一個(gè)題還沒什么思路的時(shí)候，AI可以給你提供一些關(guān)鍵詞，或者整合一些前沿研究，你再看著去找自己感興趣的點(diǎn)，有時(shí)候你沒想到的但是AI更系統(tǒng)地去幫你想了?！币笪姆Q。

“但全靠AI是別指望了，全靠它我覺得對(duì)話也挺費(fèi)勁的，一點(diǎn)一點(diǎn)教它，我不如自己寫完了?！币笪恼J(rèn)為，如果AI是用來應(yīng)付作業(yè)確實(shí)會(huì)生產(chǎn)很多學(xué)術(shù)垃圾，但如果真想做點(diǎn)實(shí)質(zhì)性的研究，目前的大模型還是寫不出有創(chuàng)新性的內(nèi)容的。

即便用AI做文獻(xiàn)綜述這類不需要太多創(chuàng)新的工作，殷文覺得“也挺雞肋的“?！敖oAI一個(gè)關(guān)鍵詞，它會(huì)選高引用的幾篇論文給你堆一堆，但分不清楚哪些是前沿，也分不清楚哪篇優(yōu)秀，另外在文獻(xiàn)來源上，AI還會(huì)引用一些平時(shí)根本不會(huì)用的文章，例如百家號(hào)上的。”

殷文認(rèn)為，AI篩選的數(shù)據(jù)庫還是有很大的問題，此外AI的寫法也很笨，“誰誰誰說了什么這樣的，或者是列幾個(gè)點(diǎn)，反正需要作者加工的還是很多，每次折騰完了還是要自己寫。”

有研究者認(rèn)為，目前還不用太擔(dān)心AI垃圾影響學(xué)術(shù)研究?！皩W(xué)術(shù)圈一直是優(yōu)勝劣汰的機(jī)制，真正能留下來、被反復(fù)引用和討論的文章不多。AI生成的文章如果沒有實(shí)質(zhì)內(nèi)容，很快就會(huì)被淘汰出局。不用太擔(dān)心AI垃圾充斥論文庫或滋生學(xué)術(shù)不端。” 一名理論物理學(xué)博士告訴記者。

AI學(xué)術(shù)造假有多大空間？

對(duì)學(xué)術(shù)而言，生成式AI有其高光時(shí)刻。

2024年諾貝爾物理學(xué)獎(jiǎng)和化學(xué)獎(jiǎng)都頒發(fā)給了AI領(lǐng)域的科學(xué)家，將AI for Science（AI驅(qū)動(dòng)科學(xué)研究）的關(guān)注度提升到空前的水平。諾獎(jiǎng)得主中，既包括用物理學(xué)工具開發(fā)機(jī)器學(xué)習(xí)基礎(chǔ)方法的學(xué)者，也包括用AI模型預(yù)測(cè)蛋白質(zhì)復(fù)雜結(jié)構(gòu)的學(xué)者。越來越多科學(xué)家考慮用AI輔助科學(xué)研究了。

一名化學(xué)研究者告訴記者，他在紫杉醇生物合成研究中全面應(yīng)用AI，例如用AI判定實(shí)驗(yàn)是否生成紫杉烷類分子。一名數(shù)學(xué)物理學(xué)研究者表示，她也讓學(xué)生嘗試用AI識(shí)別少層石墨烯的層厚和轉(zhuǎn)角。

研究者們用AI加速科學(xué)研究和使用現(xiàn)有AI工具生成論文、進(jìn)行學(xué)術(shù)造假，是這個(gè)技術(shù)的一體兩面，但有著本質(zhì)的區(qū)別。

例如，要做出像上述能輔助學(xué)術(shù)研究的AI工具，門檻頗高。從2018年推出可預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)的AlphaFold1到2024年推出AlphaFold3，谷歌DeepMind團(tuán)隊(duì)花了近6年時(shí)間。記者了解到，要訓(xùn)練出可加速科學(xué)研究的AI工具，也需要研究者花費(fèi)精力獲取AI訓(xùn)練所需的數(shù)據(jù)，這個(gè)過程并不容易。

而使用AI工具造假，則是更快的一條捷徑。學(xué)術(shù)界更受關(guān)注的事件似乎還是用AI輔助寫作而未將AI的痕跡刪除干凈，不過，使用AI技術(shù)進(jìn)行學(xué)術(shù)造假也引起了一些擔(dān)憂。前段時(shí)間，一名中國(guó)學(xué)生使用ChatGPT潤(rùn)色論文、修改部分用戶訪談內(nèi)容涉嫌學(xué)術(shù)造假而被麻省理工學(xué)院退學(xué)的事件也引起輿論關(guān)注。

記者了解到，使用AI進(jìn)行學(xué)術(shù)造假的可能性在不同研究領(lǐng)域存在區(qū)別。在一些文科研究領(lǐng)域，AI的思辨性不足可能無法讓其代替人工做學(xué)術(shù)。上述理論物理學(xué)博士告訴記者，在理論物理方向，也幾乎沒有學(xué)術(shù)造假的空間，因?yàn)檎撐闹械耐茖?dǎo)層層遞進(jìn)，如果有問題可以比較直接地看出來。

一名在讀計(jì)算機(jī)博士也告訴記者，對(duì)計(jì)算機(jī)科研工作者來說，用AI造假似乎不太可行，要發(fā)頂級(jí)會(huì)議、頂級(jí)期刊的研究者無法用AI造假。學(xué)術(shù)論文要求的研究動(dòng)機(jī)、方法設(shè)計(jì)、實(shí)驗(yàn)驗(yàn)證和分析相互對(duì)應(yīng)，目前AI還不太可能符合要求。不過，他也承認(rèn)，在審稿質(zhì)量低的會(huì)議或期刊上，AI技術(shù)可能讓學(xué)術(shù)不端事件容易發(fā)生。

對(duì)于一些較依賴實(shí)驗(yàn)，且實(shí)驗(yàn)存在較多不確定性的學(xué)科，學(xué)術(shù)造假可能有更多潛在空間，AI也可能成為學(xué)術(shù)造假的幫手。劉耀文告訴記者，學(xué)術(shù)造假一直是問題，AI只是加重了對(duì)造假的擔(dān)憂，原因在于AI生成速度更快、生成內(nèi)容更真實(shí)。

劉耀文表示，以往一些學(xué)術(shù)造假事件被發(fā)現(xiàn)，往往是因?yàn)檎撐某霈F(xiàn)低級(jí)錯(cuò)誤，例如多篇文章使用同一張圖、數(shù)據(jù)單位出錯(cuò)，又或是數(shù)據(jù)存在人為痕跡（如66.7是100的2/3，可能人為編造），而不是因?yàn)槠渌芯空邍L試復(fù)現(xiàn)實(shí)驗(yàn)。其背后，學(xué)術(shù)界重視個(gè)人聲譽(yù)，對(duì)學(xué)術(shù)權(quán)威一般不予質(zhì)疑，復(fù)現(xiàn)實(shí)驗(yàn)也需要成本，生物醫(yī)學(xué)領(lǐng)域復(fù)現(xiàn)實(shí)驗(yàn)的成本就非常高。即便復(fù)現(xiàn)實(shí)驗(yàn)，一些研究領(lǐng)域也存在很大變量空間，就像“9點(diǎn)取的樣本和10點(diǎn)取的樣本不同”，研究者可能很難確認(rèn)無法復(fù)現(xiàn)實(shí)驗(yàn)的原因，特別是在一些起步比較晚、缺少公理的研究領(lǐng)域。

劉耀文表示，學(xué)術(shù)造假后果可以參考“心肌干細(xì)胞”論文造假事件。2018年，哈佛大學(xué)醫(yī)學(xué)院教授、心肌再生領(lǐng)域開創(chuàng)者皮耶羅·安韋薩被發(fā)現(xiàn)有31篇學(xué)術(shù)論文造假，幾乎使整個(gè)研究領(lǐng)域遭受毀滅性打擊。

劉耀文擔(dān)心的是，有了AI技術(shù)后，論文作者可能會(huì)用AI生成看上去更專業(yè)、更真實(shí)的數(shù)據(jù)，例如數(shù)據(jù)更加隨機(jī)，數(shù)據(jù)造假更難被發(fā)現(xiàn)。如果用AI生成實(shí)驗(yàn)圖，看上去也更真實(shí)，實(shí)驗(yàn)圖造假可能導(dǎo)致實(shí)驗(yàn)結(jié)果出錯(cuò)。他認(rèn)為，個(gè)人研究者很難辨別他人的論文是否造假，一個(gè)原因是很多學(xué)術(shù)論文庫不開源，難以找到足夠的論文比對(duì)判斷。

2023年，查爾斯特大學(xué)教授Geoffrey M. Currie也在一篇論文中指出Al偽造的監(jiān)測(cè)難點(diǎn)。他表示，“深度偽造”或帶來圖像虛構(gòu)，比如生成對(duì)抗網(wǎng)絡(luò)GAN可以去除噪點(diǎn)使醫(yī)學(xué)圖像更清晰，但也可能被用于生成高仿真的醫(yī)學(xué)圖像。此外，AI生成的文本可能會(huì)通過“扭曲短語(Tortured phrases)”的方式繞過抄襲軟件的監(jiān)測(cè)，AI可能會(huì)修改某些文本導(dǎo)致文本變味。

學(xué)術(shù)期刊如何規(guī)定AI技術(shù)使用？

就是否接收使用了AI輔助的論文、是否采取措施辨別論文是否使用AI輔助或造假、措施是否有效，第一財(cái)經(jīng)記者向知名學(xué)術(shù)期刊Natrue、Cell、The Lancet、Science、ACM、IEEE和中國(guó)圖象圖形學(xué)報(bào)發(fā)送郵件，截至發(fā)稿前未獲回復(fù)。

不過，2023年底，來自美國(guó)加州大學(xué)和英國(guó)的團(tuán)隊(duì)用文獻(xiàn)計(jì)量學(xué)的方法統(tǒng)計(jì)了Top 100出版社和Top 100期刊針對(duì)AI的使用規(guī)范和聲明，其分析結(jié)論發(fā)表在了《英國(guó)醫(yī)學(xué)雜志》(TheBMJ)上。

上述研究者發(fā)現(xiàn)，在前100大出版商中，24%提供了關(guān)于生成式AI使用的指導(dǎo)，在前100名高排名期刊中，87%提供了生成式AI使用指導(dǎo)。在提供指導(dǎo)的出版商和期刊中，只有1%的期刊明確禁止在手稿生成過程中使用生成式AI，但96%和98%的出版商和期刊分別禁止將生成式AI作為作者。

關(guān)于該如何聲明生成式AI的使用，不同的期刊和出版社存在差異，包括在方法部分致謝等部分，但總體他們認(rèn)為，作者應(yīng)對(duì)AI生成的內(nèi)容仔細(xì)核對(duì)，并負(fù)有全部責(zé)任。

一名新聞學(xué)在讀博士生告訴記者，目前她只注意到新聞傳播學(xué)領(lǐng)域較知名的國(guó)際會(huì)議IAMCR對(duì)投稿論文使用AI生成技術(shù)提出要求，大致意思是可以使用AI技術(shù)，但作者需要說明使用AI工具的用途等。記者也留意到，一些知名期刊要求作者說明AI工具的使用情況。Nature對(duì)論文使用AI技術(shù)的要求包括，作者需要說明文章使用了AI工具，用AI輔助文案編輯則不需聲明，但作者須對(duì)最終文本負(fù)責(zé)。Science也要求作者披露AI工具的使用，并要求作者對(duì)文章的準(zhǔn)確性負(fù)責(zé)。IEEE要求作者在致謝部分說明文章使用AI生成內(nèi)容的情況。

由中國(guó)科學(xué)技術(shù)信息研究所牽頭制訂并于2024年9月發(fā)布的《學(xué)術(shù)出版中AIGC使用邊界指南2.0》在論文圖表制作、文字撰寫、語言潤(rùn)色、同行評(píng)審等方面也提出規(guī)范做法。例如，蛋白質(zhì)印跡實(shí)驗(yàn)圖、組織細(xì)胞染色圖等實(shí)驗(yàn)生成類圖像不可通過AIGC直接生成，不應(yīng)用AIGC產(chǎn)生研究假設(shè)、直接撰寫整篇論文文本或解釋數(shù)據(jù)，但可用于提高文本可讀性、總結(jié)其他學(xué)術(shù)出版物或生成文獻(xiàn)綜述部分。研究人員對(duì)AIGC提供的資料需驗(yàn)證真實(shí)性和準(zhǔn)確性，并充分、正確披露和聲明AIGC使用情況。

據(jù)李庭觀察，學(xué)界現(xiàn)在對(duì)AI的態(tài)度是，不反對(duì)用來輔助寫作，但是寫作的結(jié)果不能讓人發(fā)現(xiàn)用了AI。

“目前行業(yè)有AI檢測(cè)網(wǎng)站，如果檢測(cè)結(jié)果顯示使用AI的可能性過高，會(huì)對(duì)學(xué)術(shù)聲譽(yù)造成影響。如果論文中出現(xiàn)了明顯是AI生成的錯(cuò)誤，論文肯定是要被撤稿的，如果是學(xué)位論文甚至可能會(huì)拿不到學(xué)位。”李庭表示，期刊目前對(duì)AI使用沒有明確的標(biāo)準(zhǔn)，不同的刊物和學(xué)術(shù)機(jī)構(gòu)對(duì)于AI有支持有禁止，但是在實(shí)際操作中往往難以證明使用了AI。

(本文來自第一財(cái)經(jīng))