「ChatGPT」の精度を劣化させる「ドリフト」現象–米研究チームが検証

　「ChatGPT」を使っていて実際にそう感じたり、あるいはそのような記事を読んだりした人もいるだろう。ChatGPTの精度が劣化しているのではないかという、あのうわさは本当だったようだ。

この現象はいささか不可解に感じられる。なぜなら、生成人工知能（AI）モデルはユーザーからの入力を利用して自らを訓練し続けるため、時間とともにより多くの入力が蓄積されるほど賢くなるはずだからだ。

その謎の答えは、「ドリフト」と呼ばれる概念にあるかもしれない。

「ドリフト」とは、大規模言語モデル（LLM）が予期しない、あるいは予測不可能な振る舞いをし、元のパラメーターから逸脱してしまうことだ。こうした現象は、複雑なAIモデルの一部を改善しようとした結果、他の部分の性能が低下することで発生する可能性がある。

カリフォルニア大学バークレー校とスタンフォード大学の研究チームが、ドリフト現象を検証するための研究で、広く用いられているLLM「GPT-3.5」（ChatGPTの基盤）と「GPT-4」（新しい「Bing」と「ChatGPT Plus」の基盤）の経時的変化を調査した。

この研究では、両LLMの能力を、それぞれ2023年3月と6月のバージョンで比較した。比較したのは、数学の問題を解く能力、デリケートな質問に答える能力、意識調査に答える能力、知識を要するマルチホップ型の質問（複数のソースから情報をまとめなくてはならない質問）に答える能力、コード生成能力、米国医師免許試験の回答、および視覚的推論タスクの能力だ。

その結果、多くのタスクでGPT-4の3月バージョンが6月バージョンを上回った。最も顕著な差が出たのは基本的な数学のプロンプトで、例題（a）と（b）の両方で3月バージョンが6月バージョンを上回った。

また、デリケートな質問への回答、コードの生成、医師免許試験の成績、意識調査への回答でも、3月の方が高成績だった。これらはすべてドリフト現象によるものと考えられる。

GPT-3.5一方GPT-3.5では、多くのタスクで6月のバージョンが3月のバージョンを上回った。

今回の研究に参加したJames Zou氏は、「（ドリフトが）起こるのではないかと疑ってはいたが、これほど速いペースでドリフトが発生していることは大きな驚きだった」とThe Wall Street Journal（WSJ）に語った。

ただし、GPT-4とGPT-3.5のいずれも、6月の方が改善されていたタスクもあった。そのため研究者らは、LLMを使い続けるよう推奨しつつ、使用する際には注意を払い、常に検証する必要があるとしている。