7月4日,腾讯云正式发布了AI原生(AI Native)向量数据库Tencent Cloud VectorDB。据悉,该数据库是国内首个AI原生的向量数据库,可被广泛应用于大模型的训练、推理和知识库补充等场景。
腾讯云数据库副总经理罗云表示:“如果你看好AI大模型,就应该看好向量数据库。”随着大模型的不断发展和普及,AI Native向量数据库将成为企业数据处理的标配。
提升效率和降低成本的向量数据库
向量数据库通过将数据向量化后进行存储和查询,能极大地提升效率和降低成本。它能够解决大模型预训练成本高、缺乏“长期记忆”、知识更新不足、提示词工程复杂等问题,突破大模型在时间和空间上的限制,加速大模型在各行业场景的应用。简而言之,如果大模型是一个智能的处理器,那么向量数据库就是配合这台处理器的“外置缓存”。
![腾讯云发布首个AI原生向量数据库](https://www.webhostingtalk.cn/wp-content/uploads/2023/07/腾讯云1.png)
强大的检索规模和低延迟
腾讯云向量数据库支持业界领先的10亿级向量检索规模,并将查询延迟控制在毫秒级。相比传统的单机插件式数据库,其检索规模提升了10倍,同时具备每秒百万级查询(QPS)的峰值能力。
全面AI化的大模型场景应用
针对大模型场景,腾讯云向量数据库在接入层、计算层和存储层实现了全面的AI化。
在接入层,它智能化地支持自然语言文本的直接检索。
在计算层,通过采用AI算子替代企业寻找/调优AI算法,将接入工期从一个月缩短到3天。
在存储层,腾讯云向量数据库融合了智能压缩算法,将向量的存储成本降低了50%。
提升效率和降低成本的统计数据
统计数据显示,将腾讯云向量数据库用于大模型预训练数据的分类、去重和清洗,相比传统方式可以实现10倍的效率提升。如果将向量数据库作为外部知识库用于模型推理,则可以将成本降低2至4个数量级。
经过腾讯云内部业务验证的向量数据库
腾讯云向量数据库经过了长期的腾讯内部业务锤炼,覆盖了腾讯视频、QQ浏览器、QQ音乐等上百个业务场景,每日调用量超过千亿次。它支撑了QQ音乐人均听歌时长提升3.2%,QQ浏览器成本降低37.9%,腾讯视频有效曝光人均时长提升1.74%。向量化能力(embedding)也多次获得权威机构认可,并曾登顶MS MARCO榜单第一。
结论
腾讯云向量数据库的发布为大模型应用提供了强有力的支持。其能够提升效率、降低成本,并解决大模型应用中的诸多问题。作为国内首个AI原生向量数据库,它将在企业数据处理中扮演重要的角色。随着向量数据库的不断发展和应用,大模型在各个行业场景中将迎来更广阔的应用前景。