ニューラルネットワークのトレーニングには、市場で最も高速で高価なアクセラレータを使ってさえも、多大な時間がかかる。だから、多くのスタートアップ企業が、ソフトウェアレベルでプロセスを高速化し、学習プロセスにおける現在のボトルネックをいくつか取り除く方法を検討していることも、不思議ではないだろう。オーストラリアのシドニーに拠点を置くスタートアップで、最近Y Combinator（Yコンビネーター）の22年冬クラスに選抜されたStrong Compute（ストロング・コンピュート）は、学習プロセスにおけるこのような非効率性を取り除くことによって、学習プロセスを100倍以上高速化することができると主張している。
「PyTorch（パイトーチ）は美しいし、TensorFlow（テンソルフロー）もそうです。これらのツールキットはすばらしいものですが、そのシンプルさ、そして実装の容易さは、内部において非効率的であるという代償をもたらします」と、Strong ComputeのCEO兼創設者であるBen Sand（ベン・サンド）氏は語る。同氏は以前、AR企業のMeta（メタ）を共同設立した人物だ。もちろん、Facebook（フェイスブック）がその名前を使う前のことである。
一方では、モデル自体を最適化することに注力する企業もあり、Strong Computeも顧客から要望があればそれを行うが、これは「妥協を生む可能性がある」とサンド氏は指摘する。代わりに同氏のチームが重視するのは、モデルの周辺にあるものすべてだ。それは長い時間をかけたデータパイプラインだったり、学習開始前に多くの値を事前計算しておくことだったりする。サンド氏は、同社がデータ拡張のためによく使われるライブラリのいくつかを最適化したことも指摘した。
また、Strong Computeは最近、元Cisco（シスコ）のプリンシパルエンジニアだったRichard Pruss（リチャード・プルス）氏を雇用し、すぐに多くの遅延が発生してしまう学習パイプラインのネットワークボトルネックを除去することに力を注いでいる。もちろん、ハードウェアによって大きく違うので、同社は顧客と協力して、適切なプラットフォームでモデルを実行できるようにもしている。
「Strong Computeは、当社のコアアルゴリズムの訓練を30時間から5分に短縮し、数百テラバイトのデータを訓練しました」と、オンライン顧客向けにカスタム服の作成を専門とするMTailor（Mテイラー）のMiles Penn（マイルス・ペン）CEOは語っている。「ディープラーニングエンジニアは、おそらくこの地球上で最も貴重なリソースです。Strong Computeのおかげで、当社の生産性を10倍以上に向上させることができました。イテレーション（繰り返し）とエクスペリメンテーション（実験）の時間はMLの生産性にとって最も重要な手段であり、私たちはStrong Computeがいなかったらどうしようもありませんでした」。
サンド氏は、大手クラウドプロバイダーのビジネスモデルでは、人々ができるだけ長くマシンを使用することに依存しているため、彼の会社のようなことをする動機は一切ないと主張しており、Y Combinatorのマネージングディレクターを務めるMichael Seibel（マイケル・サイベル）氏も、この意見に同意している。「Strong Computeの狙いは、クラウドコンピューティングにおける深刻な動機の不均衡です。より早く結果を出すことは、クライアントから評価されても、プロバイダーにとっては利益が減ることになってしまうのです」と、サイベル氏は述べている。
Strong Computeのベン・サンド氏（左）とリチャード・プルス氏（右）
Strong Computeのチームは現在、依然として顧客に最高のサービスを提供しているが、その最適化を統合してもワークフローはあまり変わらないので、開発者はそれほど大きな違いを感じないはずだ。Strong Computeの公約は「開発サイクルを10倍にする」ことであり、将来的には、できる限り多くのプロセスを自動化したいと考えている。
「AI企業は、自社のコアIPと価値がある、顧客、データ、コアアルゴリズムに集中することができ、設定や運用の作業はすべてStrong Computeに任せることができます」と、サンド氏は語る。「これにより、成功に必要な迅速なイテレーションが可能になるだけでなく、確実に開発者が企業にとって付加価値のある仕事だけに集中できるようになります。現在、開発者は複雑なシステム管理作業のML Opsに、最大で作業時間の3分の2も費やしています。これはAI企業では一般的なことですが、開発者にとって専門外であることが多く、社内で行うのは合理的ではありません」。
おまけ：下掲の動画は、TechCrunchのLucas Matney（ルーカス・マトニー）が、サンド氏の以前の会社が開発したMeta 2 ARヘッドセットを2016年に試した時のもの。
画像クレジット：Viaframe / Getty Images
［原文へ］
（文：Frederic Lardinois、翻訳：Hirokazu Kusakabe）