ChatGPT:研究表明人工智能可以為期刊撰寫足夠好的學術論文


ChatGPT:研究表明人工智能可以為期刊撰寫足夠好的學術論文


ChatGPT:研究表明人工智能可以為期刊撰寫足夠好的學術論文 。Credit: Shutterstock
據美國物理學家組織網(by Brian Lucey and Michael Dowling, The Conversation):一些世界上最大的學術期刊出版商已經禁止或限制他們的作者使用先進的聊天機器人ChatGPT 。因為機器人使用來自互聯網的信息來產生高度可讀的問題答案,出版商擔心不準確或抄襲的作品可能會進入學術文獻的頁面 。
一些研究人員已經將聊天機器人列為學術研究的合著者 , 一些出版商已經禁止了這種做法 。但世界頂級科學期刊之一《科學》的主編更進一步 , 禁止在提交的論文中使用該項目的任何文本 。
學術出版商對此類聊天機器人的使用感興趣并不奇怪 。我們最近發表在《金融研究快報》上的研究表明,ChatGPT可以用來撰寫學術期刊認可的金融論文 。雖然這個機器人在某些方面比其他方面表現得更好 , 但加入我們自己的專業知識有助于克服期刊評論者眼中該程序的局限性 。
然而,我們認為出版商和研究人員不應該將ChatGPT視為一種威脅 , 而是一種潛在的重要研究助手——一種低成本甚至免費的電子助手 。
我們的想法是:如果簡單地使用ChatGPT就能很容易地獲得好的結果 , 也許我們可以做一些額外的事情來將這些好的結果轉化為偉大的結果 。
我們首先要求ChatGPT生成研究的標準四個部分:研究想法、文獻綜述(對同一主題的先前學術研究的評估)、數據集以及對測試和檢查的建議 。我們只指定了廣泛的主題,并且輸出應該能夠在“一個好的金融期刊”上發表 。
這是我們選擇使用ChatGPT的第一個版本 。對于第二版,我們在ChatGPT窗口中粘貼了不到200篇相關的現有研究的摘要 。
然后,我們要求該計劃在創建四個研究階段時考慮這些因素 。最后 , 對于第三版,我們增加了“領域專業知識”——來自學術研究人員的輸入 。我們閱讀了計算機程序產生的答案,并提出了改進建議 。在此過程中 , 我們將我們的專業知識與ChatGPT的專業知識相結合 。
然后 , 我們要求一個由32名評審人員組成的小組,每個人評審一個版本的ChatGPT如何用于生成學術研究 。評論者被要求評價研究結果是否足夠全面、正確,以及它是否做出了足夠新穎的貢獻,可以在“好”的學術金融期刊上發表 。
最大的教訓是,所有這些研究都被專家評論者普遍認為是可以接受的 。這相當令人震驚:聊天機器人被認為能夠產生高質量的學術研究想法 。這就提出了關于創造力和創意所有權的基本問題——還沒有人有確切答案的問題 。
優勢和劣勢
研究結果還強調了ChatGPT的一些潛在優勢和劣勢 。我們發現不同的研究部分有不同的評分 。研究理念和數據集往往被評為高 。文獻綜述和測試建議的評分較低,但仍可接受 。
我們懷疑ChatGPT特別擅長獲取一組外部文本并將它們連接起來(一個研究想法的本質) , 或者從一個文檔中獲取容易識別的部分并對它們進行調整(一個例子是數據摘要——大多數研究中容易識別的“文本塊”) 。
當任務更復雜時 , 當概念過程有太多階段時,平臺的相對弱點變得明顯 。文獻綜述和測試往往屬于這一類 。ChatGPT傾向于擅長其中的一些步驟,但不是所有步驟 。這個好像被審稿人撿到了 。
然而,在我們最高級的版本(第三版)中,我們能夠克服這些限制,在那里我們與ChatGPT一起工作,得出可接受的結果 。隨后,高級研究的所有部分都得到了評論者的高度評價,這表明學術研究人員的角色尚未消亡 。
倫理含義
ChatGPT是一個工具 。在我們的研究中 , 我們表明,只要小心,它可以用來生成一個可接受的金融研究 。即使不小心,它也會產生看似合理的工作 。
這有一些明顯的倫理含義 。研究誠信已經是學術界的一個緊迫問題,RetractionWatch等網站源源不斷地發布虛假、抄襲和完全錯誤的研究報告 。ChatGPT會讓這個問題變得更糟嗎?
簡短的回答是,可能 。但是沒有辦法把精靈放回瓶子里 。這項技術也只會變得更好(更快) 。我們究竟應該如何承認和監管ChatGPT在研究中的作用,這是一個更大的問題 。但我們的發現在這方面也是有用的——通過發現具有研究人員專業知識的ChatGPT研究版本更優越,我們表明人類研究人員的投入在可接受的研究中仍然至關重要 。
目前,我們認為研究人員應該將ChatGPT視為助手,而不是威脅 。它可能特別有助于那些往往缺乏傳統(人力)研究援助財政資源的研究人員群體:新興經濟體研究人員、研究生和早期職業研究人員 。ChatGPT(和類似的項目)可能有助于研究過程的民主化 。
但是研究人員需要注意在準備期刊論文時禁止使用它 。很明顯 , 人們對這項技術的看法大相徑庭,因此需要小心使用 。