サマリー：大規模言語モデル（LLM）は、まだ予測マシンの域を出ていない部分もあるが、人工知能（AI）が人間の意思決定を支援する方法を様変わりさせつつある。LLMの出現により、人間が判断を下す方法が大きく変わろうとしていからだ。では、LLMを使った対話型AIのチャットGPTはどのようにして、平均的な人間の書き手よりも質の高い文章をつくり出しているのか。
大規模言語モデルの出現で変わる人間の意思決定
人工知能（AI）の本質は、予測マシンだ。今日の降水確率がどれくらいかは教えてくれる。けれども、傘を持って出かけるべきかどうかは教えてくれない。それは、傘を持って出かけるかどうかという決定が、予測だけでは決まらないからだ。たとえば、降水確率が10％の場合、傘を持っていこうと思う人もいれば、そう思わない人もいる。
同じ情報を示されたとしても、このように人によって行動が異なる場合があるのは、なぜなのか。それは、人によって嗜好が異なるためだ。このケースでいえば、雨に濡れることをどれくらい嫌だと思うかは人によって異なる。あなたが傘を持って出かける場合のコストと便益を判断できるのは、あなた自身、もしくはあなたのことをよく知っている人だけだ。したがって、傘を持っていくべきかどうかの決定を下すためには、降水確率の予測と、あなたの嗜好に基づく判断の両方が必要になる。
AIは、予測能力こそ傑出しているが、判断は下せない。たしかに、実際には、ある行動を取った場合の「報酬」が火を見るより明らかだったり、簡単に知ることができたりするケースも少なくない。ほとんどの状況で自動車の運転者がどのような行動を取るべきかは、基本的に誰もが知っている。アクセルを踏むべきタイミング、ブレーキをかけるべきタイミング、方向転換すべきタイミングは、ほぼ明白といってよい。それは、適切な行動を取らなかった場合に、どのような結果を招くかがわかっているためだ。
しかし、新しい食器洗い機についてグーグルに助言を求めても、せいぜい、どこを見ればあなたのほしい情報が載っている可能性が高いかを教えてくれるだけだ。あなたがどのような行動を取るべきかは、教えてくれない。また、あなたは勤務先の会社がAIを活用して、自分を解雇するのではないかと心配しているかもしれないが、機械がその決定を下すことはない。AIは、あなたの仕事の成績について予測を示すかもしれないが、その予測をもとに誰を解雇すべきかを判断するのは、あくまでも雇用主だ。
以上のような理由により、筆者らは2018年の著書『予測マシンの世紀』で、「報酬関数エンジニア」という職種の出現を予測した。この職種は、「AIの予測をもとに、ある行動がもたらす報酬を判断する」ことを役割とする。多くの場合、報酬関数エンジニアは、AIの予測を活用することにより、判断の質を高められる可能性がある。AIの採用が加速すれば、このような方法によって導き出される判断の質もいっそう高まるだろう。
問題は、報酬関数工学のイノベーションのペースがこれまでゆっくりとしたものに留まってきたことだ。この種の機能を大々的に導入するためには、その前にしかるべき人間の判断をコード化して機械に与える必要があるが、そのためのツールの開発はほとんど進展してこなかった。
しかし、ここにきて状況が変わり始めた。大規模言語モデル（LLM）は、一見すると立派な知性を持っているように見えるかもしれないが、まだ予測マシンの域を出ていない。それでもLLMは、AIが人間の意思決定を支援する方法を様変わりさせつつある。LLMの出現により、人間が判断を下す方法が大きく変わろうとしているからだ。
対話型AIの「チャットGPT」に、特定の読者層に向けて、ある文章をより明確に書き直すよう指示するとしよう。その場合、チャットGPTは、あなたに選択肢を示したり、文法やレトリックに関するレクチャーをしたりはしない。端的に、完成した文章を示す。その文章の質は極めて高いが、真の奇跡というべきなのは、単に文章の質が高いだけでなく、チャットGPTがあなたの望み通りの文章を作成することだ。
文章を書く過程では、数え切れないほど多くの報酬とリスクの問題について判断しなくてはならない。たとえば、その文章の内容は正直か（事実に反していないか）、有害な内容ではないか（誰かの気分を害する言葉が含まれていないか）、有益な内容になっているか（文章の目的を達成できるか）といったことを判断する必要がある。
この最後の要素について、少し考えてみてほしい。これらのモデルは、それ以前に人間によって執筆された文章を利用して訓練される。その意味では、実質的に「オートコンプリート」的な作業を繰り返すことによって文章を紡ぎ出しているといえる。スマートフォンに言葉を入力する際にオートコンプリート機能を用いた時のことを考えればわかるように、この種の機能はまずまずの成果を上げるものの、完璧とは言いがたい。
では、チャットGPTはどのようにして、平均的な人間の書き手よりも質の高い文章をつくり出しているのか。チャットGPTは、訓練のために与えられた文章──良質のものもあれば、質の悪いものもあるだろう──の質をどうやって判断しているのか。そして、チャットGPTはどうして、非倫理的な言葉を吐き出す存在にならずに済んでいるのか（マイクロソフトが開発したAIチャットボット「テイ」は、ツイッター（現X）にたった1日触れただけで、差別的な暴言をまき散らすようになった）。
ウルフラム・リサーチのCEOであるスティーブン・ウルフラムのような人たちによれば、LLMは、基本的な文法のルールを学びつつあるという。たしかに、基本的な文法のルールを学べば、読み手が理解可能な文章をつくり出せるようにはなるだろう。しかし、明晰で説得力のある文章を生み出せるようになるわけではない。
チャットGPTの開発元であるオープンAIの研究者たちが2022年に発表した論文に、この点に関する重要な手掛かりが記されている。その論文では、どのようにして手つかずのLLMを取り出し、現実の人々にアウトプットを提供させているのかを説明している。それによると、ほとんどのケースでは、評価役の人たちに、それぞれの判断に従い、同じ命令に対するいくつかの返答の候補をランク付けして評価するように求める。評価の基準は、細かく具体的に示される（有益性、真実性、無害性を重んじて判断することを求める）。明確な指示を言い渡し、人間対人間の形で訓練を行えば、こうしたことに関して異なる人たちの意見が簡単に一致する可能性があることがわかった。
このランキングに基づいて、アルゴリズムをいじり、「微調整」を加える。モデルが人間の判断を学習し、ポジティブな反応やネガティブな反応を取り込む形で調整されるのだ。その調整においては、ランキング評価の高かった文章は好ましいものと位置づけられ、ランキングの低かった文章は好ましくないものと位置づけられる。
興味深いことに、何十億ページもの文章をもとに訓練を受けたモデルでも、わずか数千件の人間の判断（ランキング評価）を与えられるだけで、あらゆる問いかけに対して、高いランキング評価を受けられる回答を示し始める。こうした現象は、評価役の人たちがランク付けを行ったテーマとは遠くかけ離れているように見えるテーマに関しても見られる。つまり、文章の質についての人間の評価をモデルに与えると、それは何らかの形でモデル全体に浸透するようだ。
このプロセスで評価役を務めた人たちがやっていることは、実質的に報酬関数エンジニアの仕事にほかならない。統計モデルの場合は、そのアウトプットを理解できない人がしばしばいるのに対し、LLMの場合は平易な言葉でやり取りできる。そのため、誰でもモデルに判断を教えるために一役買うことができるのだ。言い換えると、言葉を話せるか、タイピングができる人なら誰でも、報酬関数エンジニアが務まる。
チャットGPTの土台を成した目覚ましい成果は、比較的少ない労力により、報酬関数エンジニアがLLMを訓練して、有益で安全なものにできるようにしたことだった。オープンAIはそうやって、実世界に解き放たれた後も、過去のAIチャットボットの類いが陥った問題にさいなまれることのない、一般向けのモデルを送り出すことができたのだ。
人間の判断をコード化して機械に与えるというシンプルな方法によって、AIのパフォーマンスは飛躍的に向上した。これにより、機械は、蓋然性の高い順番に言葉を並べるだけでなく、報酬関数エンジニアたちの判断をもとに、読者にとって魅力的な文章を紡ぎ出すこともできるようになった。機械が人間の判断を取り込むための手軽な方法が見出された結果、予測マシンがさまざまな状況で報酬とリスクを判断する能力が強化されて、大きな違いが生まれたのだ。
AIを土台にした予測マシンを意思決定で大々的に活用しようと思えば、専門の報酬関数エンジニアが必要になる。このように人間の判断をコード化して機械に与えるための直感的なアプローチ──それは要するに、人間のフィードバックに基づいた学習により微調整を行うアプローチといってよい──が編み出されたことの意義は大きい。人間の判断を先回りしてコード化することは難しくても、実際の人間の判断を取り込むことが比較的容易な領域においては、こうしたアプローチを用いることにより、AIをさまざまな有益な用途で用いるための扉が開かれる可能性があるのだ。