通过此类结合使用，企业可以将它们的私有数据与OpenAI的GPT-4等大语言模型连接到一起，让AI基于企业数据来执行数据分析、总结和其他任务。
企业正在使用一种相对陌生的技术，即矢量数据库来帮助解决将私有数据与生成式人工智能(AI)结合的问题。这种趋势正令该工具和其制造者跻身AI发展热潮中的最大赢家之列。
矢量数据库已经存在了几十年，但现在将其与检索增强生成(RAG)技术结合使用正逐渐成为AI企业的行业标准。
通过此类结合使用，企业可以将它们的私有数据与OpenAI的GPT-4等大语言模型连接到一起，让AI基于企业数据来执行数据分析、总结和其他任务。如果没有此类工具，AI模型就只能利用它们在截至某个时间点之前从网络公共数据的初始训练中所学到的东西，而且更容易生成被称为“幻觉”的事实性错误内容。
总部位于纽约的初创公司Pinecone是矢量数据库AI领域的早期涉足者。去年4月，Pinecone从Andreessen Horowitz和其他投资者那里筹集了1亿美元，令企业估值达到7.5亿美元。自2019年以来，Pinecone一直在建立自己的矢量数据库，这比OpenAI的ChatGPT在2022年底掀起的AI淘金热幸运地早了几年。
Pinecone创始人兼首席执行官Edo Liberty说：”我们赶上了ChatGPT和OpenAI以及随之快速推出的所有工具所带来的拐点。”他说，“当这一切发生时，我们的平台刚刚开发成熟，令我们在这场竞争中遥遥领先。”
Liberty说，在一波需求潮刺激下，Pinecone的客户从最初的几百家增加到去年的5,000多家。Pinecone的员工人数也增加了近三倍，达到100多人。他说：“在很长一段时间里，我们的技术确实是唯一真正可行的选项。”
新加入者
Gartner分析师Arun Chandrasekaran表示，Pinecone的成功得益于该公司较早进入这块市场、在云端为客户管理产品，还有把矢量数据库与AI模型和其他开发者工具进行了整合。
但这一领域不再只有Pinecone一家了。
根据数据提供商Crunchbase的资料，自2022年以来，至少有八家矢量数据库初创公司进入了该市场。Crunchbase发现，在这段时期，投资者已向矢量数据库初创公司投入了近10亿美元，其中的7,300万美元是在今年迄今的阶段里投入的，涉及八笔交易。
甲骨文(Oracle)、MongoDB和Redis等传统数据库供应商也发布了它们自己的矢量数据库，科技巨头亚马逊(Amazon)、微软(Microsoft)和谷歌(Google)也已为它们自己的产品添加了类似功能。此外，开源竞争者也加入了该赛道。
未来可能还会有更多公司进入矢量数据库领域。印度研究公司Markets and Markets的数据显示，2028年全球矢量数据库的市场规模预计将从2023年的15亿美元增长到43亿美元。
据Gartner预测，尽管在2023年9月时还只有不到2%的企业在使用矢量数据库技术，但在未来两年内，这一占比将增长到30%以上。
企业和AI开发人员目前发现了矢量数据库的新用途，因为矢量数据库为RAG技术提供了动力。RAG源自Meta Platforms的AI研究小组在2020年的一篇论文，RAG通常被企业用来定制给员工使用的聊天机器人，以便员工用来查找公司政策，或帮助客户服务和销售人员从知识库中提取信息。
矢量数据库不同于那些有列和行的传统数据库，因为它们可以将海量数据存储为“矢量”，即原始数据的数字表达。这使矢量数据库成为RAG的理想搭配，在这个应用过程里，生成式AI模型从大量矢量数据中提取信息并利用获得的更多额外信息来改进AI模型的应答。
RAG与微调
微调是一种用来在现有大型语言模型基础上创建定制AI模型的技术，与微调相比，RAG的成本更低，因为它不需要大量算力和高深的AI专业知识，而且开发人员实施起来更容易、更快。Chandrasekaran说，大约80%的企业正在使用RAG，而使用微调技术的企业仅占20%。
穆迪(Moody’s)数字洞察总经理Cristina Pieretti说，该评级公司的金融情报部门使用RAG将其研究和评级数据与OpenAI的一个模型连接起来。当客户要求研究助理评估投资和比较实体时，RAG可以帮助该AI模型提供最新金融信息。
Gartner的Chandrasekaran说，许多企业已经在使用RAG，无论他们是否意识到这一点。
微软负责安全、合规、身份、管理和隐私的副总裁Vasu Jakkal说，微软的Copilot for Security依靠RAG将AI与客户自身的安全数据联系起来；Copilot for Security旨在帮助网络安全专业人士完成事件管理等任务。
Liberty说，Pinecone的许多客户都是“AI构建者”，即制造基于生成式AI产品的开发者和公司，它们将RAG和矢量数据库结合来服务于客户。
Notion的联合创始人兼首席运营官Akshay Kothari表示，该公司使用Pinecone的矢量数据库来存储其近1亿用户的数据，供结合AI使用。该公司去年11月推出了一个问答产品，用户可以就其Notion数据提问，例如“我上次与这个人见面是什么时候？”Notion使用OpenAI的GPT-4或Anthropic的Claude作为底层AI模型。Notion提供与公司同名的热门生产力工具。
Pinecone的新“无服务器”产品于本周二全面上市，将数据存储与计算分离开来，以降低数据成本。Kothari说，该产品将Notion的数据成本降低了60%。
不过，对企业而言矢量数据库的长期有用性仍存在不确定性。
Forrester分析师Mike Gualtieri说，虽然企业现在可以快速试用RAG，但它们将来更有可能向企业AI供应商购买定制的数据搜索或问答功能。
International Business Machines (IBM)的首席商务官Rob Thomas说，在IBM，RAG是“我们与客户合作时的首要用例”。但Thomas表示，矢量数据库有数以百计的选择，IBM并不认为该技术是一个差异化因素。
认识到企业很可能会从供应商那里购买AI工具而不是自行构建之后，Pinecone的Liberty表示，企业仍需要加强内部工程设计，以便将AI注入自己的产品，这就需要投资数据库和其他平台工具。
“我们看到很多大公司实际上都在投资学习如何构建这些产品，因为他们希望在内部拥有人才、相关能力和堆栈，”他说。
Enjoyed this article? Sign up for our newsletter to receive regular insights and stay connected.