ChatGPT又攤上事了。
11月9日，JAMA Ophthalmology刊登了一篇論文，研究人員使用GPT-4和其拓展的高級數據分析功能（ADA）配對，生成關于圓錐角膜患者的虛假數據集，從而支持一個未經證實的科學假說。
對于部分圓錐角膜患者而言，有兩種治療方法可供選擇：一種是穿透性角膜移植術（PK），即切除全層病變角膜，以捐贈者的健康組織取代；另一種是深板層角膜移植術（DALK），僅替換病變的部分角膜組織，保留角膜內層完整。
隨后，研究人員要求GPT-4 ADA編造臨床數據，以支持DALK比PK效果更好的結論。
GPT-4 ADA生成的數據包含160名男性和140名女性參與者。結果顯示，接受DALK的參與者在視力測量和眼部成像測試中得分均高于接受PK的參與者。
但真實情況并非如此。2010年報告的一項有77名參與者的試驗顯示，在術后長達兩年時間內，兩種手術效果相似。
“在外行看來，這顯然是一個真實的數據集。”英國曼徹斯特大學生物統計學家Jack Wilkinson說。
此外，Wilkinson還對其他版本的大語言模型生成的數據集進行了檢查，他表示這些數據集缺乏令人信服的證據，因為它們難以準確捕捉變量之間的關系。
應Nature新聞團隊的要求，Wilkinson和他的同事Zewen Lu評估了這個偽造的數據集。
結果顯示，許多“參與者”的性別和名字不匹配。此外，術前和術后進行的視力測量及眼部成像測試之間缺乏相關性。Wilkinson和Lu還檢查了數據集中是否存在非隨機的模式，眼部成像數值通過了這個測試，但年齡值以7或8結尾的參與者人數過多。
研究人員承認他們的數據集存在缺陷，只要仔細觀察就能發現端倪。意大利卡利亞里大學眼科外科醫生、研究的合著者Giuseppe Giannaccare說：“我們的目的是強調，在短短幾分鐘內，你就可以創建一個沒有真實數據支持的數據集，這些數據可以支持或反駁已有的科學證據。”
AI能夠深度偽造數據，這大大增加了研究人員和期刊編輯對研究誠信的擔憂。
微生物學家、職業學術打假人Elisabeth Bik表示，這意味著，研究人員能夠輕而易舉地生成大量虛假數據集。
EMBO Reports的主編Bernd Pulverer也認為這是一個令人擔憂的問題。“實際上，同行評審往往不會重新分析研究的數據，因此不太可能發現AI精心策劃的違規行為。”Pulverer補充說，“期刊需要更新質量檢查以識別AI偽造的數據。”
Wilkinson正在領導一個項目，主要是設計工具評估有問題的研究。“AI是導致問題產生的原因，但我們也可以基于AI自動化檢查其中一部分。”但他警告說，“AI的進步可能很快就可以規避這些檢查。”
參考鏈接：
https://www.nature.com/articles/d41586-023-03635-w
本文鏈接：難辨真假！研究人員使用ChatGPT生成數據集支持科學假說http://m.lensthegame.com/show-11-1569-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任，僅提供存儲服務。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。