AI数据需求将推动技术基础设施的革新

随着AI和深度学习将海量照片、视频、音频和自然语言数据纳入，包括云计算在内的信息系统必须扩展规模才能存储所有这些数据，一些公司已经开始尝试开发下一代基础设施。

AI将使云端变重很多。

多年来，云服务和私有网络只需要处理相对有限的数据量。然而，随着人工智能(AI)和深度学习将海量照片、视频、音频和自然语言数据纳入其中，曾经以GB和TB为单位的数据现在以PB和EB计量。

包括云在内的信息系统必须扩展规模才能存储所有这些数据。一个不太明显但更吸引兴趣的需求是，需要以更快的速度和更低的运营成本访问所有这些信息，后一点至关重要。

一些公司已经开始尝试开发下一代基础设施。云计算提供商CoreWeave为客户提供使用英伟达(Nvidia)先进AI芯片的途径，该公司已将注意力集中在这个新兴市场。

CoreWeave今年5月宣布完成了一轮11亿美元的股权融资，对这家成立七年的初创公司的估值为190亿美元，此外还与黑石集团(Blackstone)、凯雷集团(Carlyle Group)和贝莱德(BlackRock)等投资者进行了75亿美元的债务融资。英伟达也是该公司的投资者之一。

CoreWeave自身是一家名为VAST Data的初创公司的客户，后者从软件角度来实现云计算和私有网络的现代化。VAST开发了一种速度更快、成本更低、可扩展性更强的操作系统，适用于各种分布式网络。

VAST首席执行官Renen Hallak表示： “我们的愿景是为这些新的AI工作负载构建基础设施。”他于2016年在以色列创立了这家公司。VAST去年12月表示，在由Fidelity Management & Research领投的E轮融资中获得了1.18亿美元，估值几乎提高了两倍，达到91亿美元。该公司目前的年经常性收入已超过2亿美元，并声称毛利率接近90%。

Hallak称，数据存储历来是分层组织的，其中最近的高优先级数据保持随时可访问状态，而较旧的数据则被埋藏得更深。 Hallak在VAST位于纽约的办公室接受采访时表示：“这些新的AI工作负载不再是这样了。”

“一旦你有了一个不错的AI模型，你就会想依据你所有的历史记录进行推断，因为这样你才能从中获取价值。然后，当你获得更多信息时，你就会希望重新训练并构建一个更棒的模型，”Hallak说。

“你会一遍又一遍地读取PB级甚至EB级的数据。所以这是个非常与众不同的问题，”他还说。

传统系统也是通过增加可以存储更大数据集片段的节点来进行扩展的。这种架构的特性要求所有部分都耗费资源相互通信，如果单个节点出现问题，系统就会受到影响。因此，Hallak说，许多企业系统只能扩展到几十个节点，无法满足AI驱动的需求。他说，在VAST的方法中，所有节点都能同时访问所有信息，从而提高可扩展性、速度和弹性。VAST还将数据存储和计算分开计价，该公司称这可以节省资金。

对新技术基础设施的这种需求一开始会让人联想到那些科技巨头，但它会越来越深入地影响经济。

这种转变已经在一些高度数据密集型公司中展开，例如迪士尼(Disney)旗下电影工作室皮克斯(Pixar)，皮克斯是今年夏天大热的《头脑特工队2》(Inside Out 2)的出品方。自2018年以来，皮克斯一直与VAST合作。

从2020年的电影《心灵奇旅》(Soul)开始，皮克斯就采用了一种称之为体积动画(volumetric animation)的技术，可以制作出更精细的角色和动作。在2023年上映的《疯狂元素城》(Elemental)中，皮克斯更广泛地运用了体积动画，使用AI来策划主角小焰(Ember Lumen)的火焰。

6月份上映的《头脑特工队2》的数据容量需求是《心灵奇旅》的两倍，需要的计算量也增加了约75%。

皮克斯数据基础设施和平台负责人Eric Bermender表示，皮克斯之前的旧系统是在不使用时将数据从高性能驱动器移动到低性能驱动器，这种系统不适用于渲染体积动画角色。在AI方面，皮克斯倾向于使用内部网络，而不是云服务。

Bermender表示，AI通常不容易适应传统架构。“这些工作流程往往需要处理海量不同的数据，这些数据不可缓存、不连续，传统上会存储在性能较低的存档层中，”他说。

对企业来说，结论是运用AI的技术环境必须能够管理其前所未有的数据需求。这类似于电动汽车需要重新全盘考虑汽油动力汽车的许多部件，甚至包括轮胎。为了更具吸引力，AI也需要“一套新的轮子”。