科学分野では、かつてない規模の論文発表のブームが起きており、これは人工知能技術によるところが大きい。『Science』誌に掲載された新たな研究によると、ChatGPTなどの大規模言語モデル（LLM）を使用する研究者は、多くの学問分野において論文の産出量が顕著に増加している。この技術はまた、英語を母語としない研究者を支援し、研究競争の場をより公平にする効果ももたらしている。
人工知能が研究分野で広く使われるようになっており、粗製濫造の研究成果や、機械が生成した虚偽の内容に関する懸念も生じている。しかし、この新たな分析では、LLMを使って執筆された論文は、言語表現がより複雑であり、引用されている文献もより幅広いことが示されている。
人工知能の分析方法
人工知能が科学論文の発表に与える影響を定量化するため、コーネル大学とカリフォルニア大学バークレー校の研究者らは、2018年1月から2024年6月の間に、三大主要プレプリント論文プラットフォームで公開された約210万本の研究要旨を分析した。これらの論文はいずれも査読を経ずに公開されたものである。
分析を行うにあたり、研究チームはチャットボットモデルであるGPT-3.5 Turbo-0125を使用し、2023年以前に発表された論文要旨の人工知能による改変版を生成した。続いて、人工知能による文章と人間による文章の違いを示す特徴パターンを抽出した。これらの発見をもとに、近年発表された論文をスキャンするアルゴリズムを開発し、類似する特徴を検出して人工知能による執筆の可能性がある論文を特定した。研究者たちはまた、論文著者の長期的な追跡調査を行い、論文発表数の変化を評価した。
研究成果の大幅な増加
研究では、人工知能ツールの使用により、研究者の作業効率が著しく向上していることが明らかになった。社会科学および人文科学分野においては、論文数の増加率が最も高く59.8％に達した。生物および生命科学分野では52.9％、物理学および数学分野では36.2％の増加が見られた。報告書では、「大規模言語モデルの利用は、研究者の学術的成果の大幅な増加と密接に関係している」と述べられている。
この研究で特に注目される発見のひとつは、英語を母語としない国の研究者の論文発表数が大幅に増加している点である。多くのトップジャーナルでは、高度な英語での執筆が求められ、この要件が長年、これらの研究者にとって不利な条件となっていた。しかし、人工知能が一部の作業を分担することで、アジア地域の研究者は一部の学問分野で最大89％の論文増加を達成した。
品質との関係に対する懸念
ただし、この研究の著者らは、人工知能と論文品質の関係について警告を発している。人工知能が論文の表現をより専門的なものにする一方で、それが落とし穴となる可能性がある。過去には、洗練された文章が高品質な研究の指標とされていたが、現在では必ずしもそうとは限らない。
研究では、人工知能によって生成されたテキストの言語が複雑であるほど、その論文の質が低くなる可能性が高いことが判明した。言い換えれば、華麗な文体は弱い学術的主張を覆い隠すことがあるということだ。
著者らが伝えようとしている核心的なメッセージは、もはや論文の言語的な完成度だけでその品質を評価するべきではない、ということである。「従来の評価基準が徐々に機能しなくなる中で、ジャーナル編集者や査読者は、著者の学術的経歴や所属機関などの身元情報に依存する傾向が強まる可能性がある。これは、大規模言語モデルが研究成果の民主化を推進する上で果たしている役割を、皮肉にも打ち消してしまうことになりかねない。」
研究者による提言
研究の誠実性を維持するために、研究者たちは複数の提案を行っている。その中には、各研究機関がより精緻な審査メカニズムを導入すべきであるという意見も含まれている。さらに、「人工知能による審査エージェント」の導入も提案されており、これは人間による執筆か機械による執筆かを見分けるのに役立つ可能性がある。
