2010年2月、The Economist（エコノミスト）は「Data, data everywhere」というレポートを公開した。当時は、そのデータのランドスケープが実際にはどれだけ単純なものであったか、ほとんどわかっていなかった。つまり、相対的に見て、2022年に目を向けるときに直面するデータの現実を考えた場合である。 このEconomistのレポートの中で筆者は、ビッグデータをめぐる興奮から始まり、現在のデータ駆動型AIの時代に続いている「データの産業革命」に社会が突入しつつあることについて語った。この分野の多くの向きが、この革命によってより多くのシグナルを持つノイズを抑えた標準化がもたらされると期待していた。だがその代わりに、ノイズは増え、一方でシグナルはより強力になっている。つまり私たちは、ビジネス上の成果が大きくなるポテンシャルを有しながら、より困難なデータの問題を抱えているのである。 また、人工知能にも大きな進歩が見られている。それは現在のデータ世界にとって何を意味するのだろうか。私たちがいた場所を振り返ってみよう。 Economistの記事が掲載された当時、筆者はカリフォルニア大学バークレー校を離れ、同大学と共同でIntel Research（インテル・リサーチ）の研究所を運営していた。私たちは当時、今でいう「モノのインターネット（IoT）」に全面的にフォーカスしていた。 当時私たちが話していたのは、建物や自然、壁の塗料など、あらゆるものに埋め込まれた、相互に接続された小さなセンサーのネットワークについてであった。物理的な世界を計測しその現実をデータとして捉えることができるというビジョンがあり、そのビジョンに向けて理論を探求し、装置やシステムを構築していた。 私たちは将来に目を向けていた。しかし当時、データに関する一般的な熱狂のほとんどは、ウェブと検索エンジンの台頭を中心に展開していた。誰もが「ドキュメント」という形で大量のデジタル情報にアクセスできることを話題にしていた。ドキュメントとは、人間が生成し、人間が消費するコンテンツのことを意味する。 水平線の向こうに見えたのは、さらに大きな機械生成データの波だった。これは、筆者が「データの産業化」と呼んだものの1つの側面であり、データは機械駆動でスタンプアウト（型に合わせて生成）されるため、ボリュームが大幅に増加していくだろうと考えていた。そして、それは確かに起こった。 筆者が想定していた「データの産業革命」の第2の側面は、標準化の出現である。簡単に言えば、機械が生成しているものは毎回同じ形式で生成されるため、無数のソースからのデータを理解して結合することで、よりゆるやかな増幅過程を実現でるはずだ。 標準化の先例は古典的な産業革命であり、すべての関係者が交通機関や船舶のような共有リソースやプロダクト仕様を標準化するインセンティブが存在した。それはこの新しいデータ産業革命にも当てはまるように思われ、経済やその他の影響力がデータの標準化を推進するだろうと考えられた。 そのようなことはまったく起こらなかった。 実際、逆のことが起こった。「データの浪費」が大幅に増加した。これはログファイルの形式で計算量が指数関数的に増大した結果であり、標準化されたデータはわずかな増加に留まった。 そのため、統一された機械指向のデータではなく、さまざまなデータやデータ型が膨大な量となり、データガバナンスが低下した。 データの浪費や機械生成データに加えて、データを敵対的に利用するようになり始めた。これはデータに関与する人々が、その利用に対して多くの異なるインセンティブを持っていたためである。 ソーシャルメディアのデータと「フェイクニュース」に関する最近の話題を考えてみよう。21世紀初頭においては、個人だけでなく、大衆にリーチしようとしているブランドや政治的利益のために、デジタル情報をバイラルにすることの巨大な実験がなされた。 今日では、そのコンテンツの多くは実際には機械で生成されているものの、人間の消費と行動パターンに合わせたものだ。何年も前の純真な「人による、人のための」情報通信ネットワークとは対照的である。 要するに、今日のデータ生産産業は途方もなく大規模であるが、標準的なデータ表現に合わせて調整されておらず、10年余り前に筆者がこうした予測を立てたときに期待していたものではない。 イノベーションの状況：AI対人間のインプット この10年ほどで明らかに大きく進歩したのが人工知能だ。私たちがアクセスし、処理し、モデルに取り込むことができるこの莫大なデータは、数年のうちにAIをSFから現実に変えた。…
