AIで開発が「19%遅くなった」実験の中身：METRの研究（2025年7月）とその後の追試

2025年7月、「経験豊富な開発者がAIを使うと、作業が19%遅くなった」という研究結果が開発者のあいだで大きな話題になりました。Modern-Gも7月14日に「“19%の衝撃”」として紹介しています。

出どころは、AIの能力評価を手がける米国の非営利の研究機関METRが7月10日に公開した実験です。2026年10月29日に論文と研究機関の発表を読み直すと、旧記事は結果をおおむね正しく伝えていた一方、研究者自身が付けていた注意書きをほとんど落としていました。さらにMETRは2026年2月に追試の暫定結果を公表し、2025年の記事には「この結果は古くなった」という注記が付いています。実験の中身と、その後に何が変わったかを順に見ていきます。

実験の設計：何を、どう測ったか

METRの研究「Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity」は、ランダム化比較試験（RCT）という形をとっています。参加したのは、大きなオープンソースのプロジェクトで平均5年の経験を持つ開発者16人です。

対象のリポジトリは、論文によると平均でGitHubのスター約2万3,000、コード約110万行という成熟したプロジェクトでした。開発者は自分のプロジェクトで実際に抱えていた課題（バグ修正、機能追加、リファクタリングなど）を246件持ち寄り、それぞれが「AIを使ってよい」「使ってはいけない」にランダムに振り分けられました。内訳はAIあり136件、AIなし110件で、1件あたり平均2時間ほどの作業です。

使うツールは自由でしたが、主に使われたのはエディタのCursor ProとAnthropicのClaude 3.5／3.7 Sonnetでした。期間は2025年2〜6月で、当時の最先端のツールにあたります。参加者には時給150ドルが支払われ、作業中の画面も録画されました。

結果：予想は「速くなる」、実測は「遅くなった」

開発者は事前に、AIを使えば作業時間が24%短くなると予想していました。実験を終えたあとも、20%短くなったと感じていました。ところが実測では、AIを使えた課題のほうが19%長くかかっていました。

19%は課題の難しさの違いなどを調整した回帰による推定で、95%信頼区間は2%〜39%の増加です。外部の専門家の予想はさらに楽観的で、経済学の専門家34人は39%、機械学習の専門家54人は38%の短縮を見込んでいました。

旧記事は「どの分位でもAI使用タスクの方が遅い」と書いていましたが、論文の表現は「ほぼすべての分位で」です。論文は、一部の開発者はAIで速くなっていたと推定しており、全員が一様に遅くなったわけではありません。

なぜ遅くなったのか

画面録画のうち128本・143時間分に作業内容のラベルを付け、条件を満たした74本・84時間分を分析しています。AIを使えるとき、開発者はコードを書く時間や情報を調べる時間の割合が減り、代わりにAIへの指示、生成の待ち時間、出力の確認に時間を使っていました。何もしていない時間の割合もやや増えていました。

研究チームは遅くなった理由の候補を洗い出し、改訂版（2025年7月25日）では21の要因を検討しています。そのうち5つが「遅くなった原因になっている可能性が高い」、10が「はっきりしない」、6は「原因ではない」と判断されました。旧記事の「20の要因（5／9／6）」は7月12日の初版の数字です。

原因の可能性が高いとされた5つは次のとおりです。

研究者自身が書いていた注意書き

旧記事が伝えていなかったのが、この部分です。論文には「この研究は次のことを示すものではない」という表があり、たとえば次のように書かれています。

• 現在のAIが多くの、あるいはほとんどの開発者を速くしない、ということ
• ソフトウェア開発以外の分野で、AIが人を速くしない、ということ
• 近い将来のAIが、この同じ条件で開発者を速くしない、ということ
• 今のAIをもっとうまく使って速くする方法がない、ということ

論文は、小さな新規プロジェクトや慣れないコードベースでの作業なら大きく速くなるという結果とも矛盾しない、としています。この実験が示したのは「よく知っている大きなプロジェクトで、2025年前半のツールを使った熟練者」という条件での結果です。旧記事の「『AIに任せれば何でも解決』は、もはや幻想」という一般化は、研究の範囲を超えていました。

旧記事が触れていた周辺の話も確かめ直しました。AmazonのAndy Jassy CEOは2025年6月17日の社員向けメッセージで、生成AIによる効率化で今後数年のうちに本社部門の総人員が減ると見込んでいると述べています。旧記事の「より速く、より多くの価値を提供せよ」という言い方はそのメッセージの趣旨に近いものの、引用ではありません。

SAPの調査（2025年1月2〜27日、各国の働く大人4,030人）では、AIで時間を節約できている人は58%で、節約できた時間は自己申告で1日平均52分とされています。旧記事の「1日1時間」は丸めすぎです。この数字は自分の感覚を答えたもので、METRの実験が示したとおり、実感と実測はずれることがあります。

その後の動き（2026年10月時点）

いちばん大きな変化は、METR自身の追試です。2025年8月から、元の参加者10人と新たに集めた47人で同じ形の実験を続けたところ、暫定の推定では元の参加者はAIありで所要時間が約18%短く（信頼区間は38%短い〜9%長い）、新しい参加者は約4%短い（同15%短い〜9%長い）という結果でした。どちらも信頼区間がゼロをまたいでいます。

ただしMETRは、この追試のデータは「信頼できない」と自ら書いています。AIなしで作業したくないという理由で参加を断る開発者が大きく増え、参加者の30〜50%は、AIなしではやりたくない課題を提出していなかったと答えたためです。AIで最も得をする人と課題が抜け落ちている可能性があります。

そのうえでMETRは、2026年初めの開発者は2025年前半よりAIで速くなっている可能性が高いとしつつ、その幅については「非常に弱い証拠」しかないと述べ、実験の設計を見直しています。2025年7月の記事の冒頭には、この結果はもう現在のAIの影響を反映していない、という注記が付きました。

2026年5月に公表した調査では、技術職349人（2026年2〜4月）が、AIによって仕事の価値が中央値で1.4〜2倍になったと答えています。METRは、2025年の実験では実感が実測より平均40ポイント楽観的だったとして、自己申告の数字は割り引いて読むよう注意しています。

業界の調査も、使う人の多さと信頼の低さが同居する姿を示しています。Stack Overflowの2025年の調査（回答4万9,009件、2025年5月29日〜6月23日）では、開発でAIを使っている、または使う予定の人が84%でした（「開発でAIツールを使っているか」の設問、回答3万3,662人）。一方、AIの出力の正確さについての設問（回答3万3,244人）では「ある程度／とても信頼する」が約33%、「ある程度／とても信頼しない」が約46%です。

GoogleのDORAの2025年版（世界の技術職約5,000人の調査。発表のブログに調査時期の記載はない）では、90%が仕事でAIを使い、80%超が生産性が上がったと感じる一方、30%はAIが生成したコードをほとんど、あるいはまったく信頼していませんでした。報告は、AIはチームの問題を直すのではなく、すでにある長所も短所も増幅する、とまとめています。

なお、METRの2025年の論文は、2026年10月時点で確認できた範囲では査読前のプレプリントのままです。

この研究から何を持ち帰るか

ここからは編集部の見方です。この実験のいちばんの教訓は「AIは役に立たない」ではなく、「自分の実感はあてにならない」という点にあるように思います。16人全員が、終わったあとも速くなったと感じていました。

AIの効果を知りたいなら、使った感覚ではなく、作業時間や手戻りの量を記録して比べるのが確実です。追試が示したように、ツールも使い方も1年で大きく変わります。2025年の19%も2026年の暫定値も、その時点・その条件での数字として読むのがよさそうです。

AIと考える力の関係はMITの脳波研究も参考になります。