。

星环科技一路砥砺前行、坚持创新为先#xff0c;建设了全面的产品矩阵#xff0c;并于2022年作为首个独立基础软件产品公司成功上市。

星环科技在今年的向星力•未来技术大会上发布了分布式向量数据库Tra…

深耕技术研发数十载坚持自主可控发展路。

星环科技一路砥砺前行、坚持创新为先建设了全面的产品矩阵并于2022年作为首个独立基础软件产品公司成功上市。

星环科技在今年的向星力•未来技术大会上发布了分布式向量数据库Transwarp

Hippo以及两款领域大模型“无涯”和“求索”。

关于星环科技在向量数据库领域的建树和背后的故事、以及对该领域的看法墨天轮邀请到星环科技基础架构部副总经理刘熙分享他的观点与见解。

星环科技基础架构部副总经理

在星环科技工作达10年一直从事数据库方面的研究工作在关系型数据库、搜索引擎、时序数据库、时空数据库、向量数据库等产品领域具有丰富的实践经验主导和参与了泛金融、能源制造等多个行业上百个大数据项目。

所属公司

星环科技致力于打造企业级大数据基础软件围绕数据的集成、存储、治理、建模、分析、挖掘和流通等数据全生命周期提供基础软件与服务构建明日数据世界。

经过多年自主研发星环科技建立了多个产品系列一站式大数据基础平台TDH、分布式分析型数据库ArgoDB及交易型数据库KunDB、基于容器的智能数据云平台TDC、大数据开发工具TDS、智能分析工具Sophon和超融合大数据一体机TxData

Appliance

等并拥有多项专利技术。

目前公司产品已经在十几个行业应用落地拥有超过1400家终端用户。

2022年10月成功登陆上交所科创板。

1、首先请您用通俗易懂的话给大家科普一下什么是向量数据库主要解决什么样的问题和传统关系型数据库有什么区别

传统数据库主要处理数值和字符类型的数据通常是高质量的关系型表。

当然现在也有许多处理半结构化数据如JSON数据的数据库例如MongoDB、Elasticsearch等。

然而这些数据的语义通常只表现在表面没有深层次的含义。

向量数据库则与众不同它处理的是非结构化数据如图片、视频、长文本和音频等。

这些数据的意义不在于其物理表示并不仅仅是一堆字节真正有意义的地方在于隐藏的语义。

对于传统数据库我们无法通过其直接处理语义问题。

那么如何解决这个问题呢通过采用AI技术例如典型的神经网络来识别、提取和编码非结构化数据背后的语义特征。

最终将这种数据的语义映射或嵌入到高维的向量空间中。

这样做有什么好处呢这实际上将数据库无法直接处理的语义问题转化为向量空间中的搜索问题。

简而言之我们利用AI技术将数据库无法直接处理的数据背后的语义转化为一个结构化的过程。

在处理非结构化数据时我们通常不仅提取特征向量这一个维度还会提取一些结构化的属性标签。

举个例子我们正在开发的金融大模型从财经新闻中通过实体识别算法提取企业法人等信息。

这些信息并不仅仅是向量它们更像是一些属性标签。

类似地在以前的电商中对于商品图片除了特征向量外还可能提取价格、颜色等结构化标签。

因此可以说没有AI技术就不会有向量数据库这样细分的数据库品类。

另一方面向量数据库能够很好地解决AI技术落地的问题。

大模型近来非常受关注但大模型的能力是有限的它无法回答它从未见过的问题即无法回答训练语料库中没有的知识例如一些私密数据或专业领域的数据通常不会存在于通用语料库中。

当面对需要回答专业问题的情况时大模型可能会提供错误答案。

在以前的小模型时代我们通常会进行精细调整但如今的模型参数可能达到数千亿、万亿级别。

在这种情况下精细调整的成本非常高并且无法解决大模型无法获取最新数据的问题。

因此通过将知识从大模型中分离出来引入向量数据库实际上为大模型添加了一个记忆单元这就是所谓的大模型向量数据库PromptMVP架构。

在这种架构下整个大模型的技术实现更加容易。

通过使用向量数据库我们可以处理私密数据或实时数据并且可以更好地控制数据的安全性。

因此向量数据库作为一种基础的AI设施可以有效地解决AI技术在实际应用中的问题。

综上可以看出向量数据库与AI的关系非常密切。

它源自AI同时又为解决AI技术应用问题提供了有效的解决方案。

2、请您介绍下星环科技向量数据库诞生的背景以及产品名Hippo、Logo的寓意。

在谈论星环科技向量数据库诞生的背景前我想分享一些当时的故事。

大约在2018年左右那时我们星环科技还专注于开发多模型统一处理技术。

我们逐步将一些数据库的通用功能如分布式存储、分布式计算、安全性和资源管理等功能从紧耦合的架构转化为松耦合的架构。

我们当时的目标是通过统一的架构来更好地支持各种数据库例如图数据库和时序数据库。

在这段时间里我们公司内部的AI团队找到我告诉我有一类数据叫做向量数据对于我们的AI业务非常重要。

然而他们手头只有一个叫做Faiss的库来处理这类数据。

当时Faiss的版本可能是1.1或者1.2还处于比较早期的阶段。

他们面临的问题是这些数据需要他们自己编写代码来进行管理基本上每个项目都需要重复进行这样的工作非常费时费力而且可能无法保证高可用性和安全性。

因此他们希望我们能够开发一个专门处理向量数据的数据库供他们的AI团队使用。

我们当时进行了一些调研最终的结论是尽管当时市场还不大但这项技术有很大的潜力。

即使可能不能立即商业化但我们仍然认为有必要为将来做这样的技术储备。

于是我们决定着手进行这项工作。

从0到1的第一个版本进展迅速因为需求相对明确而且内部团队也不需要太多考虑面向客户的问题。

我们的第一个版本基本上只是将Faiss库改造成了一个分布式库通过基于数据ID的分片方式每个分片下有一些副本并通过Raft算法确保数据一致性。

这个时期我们已经完成了之前提到的解耦工作手上有很多可直接复用的技术组件所以我们第一个版本很快就交付给了AI团队整个过程不到两个月的时间。

AI团队使用后感觉还不错有了一个数据库来管理向量数据而且非常可靠。

随后他们也提出了许多需求。

接下来我们为这个数据库添加了独立的存储和查询向量索引逐步添加数据的增删改查功能以及标量和向量的混合搜索标量索引等等。

简而言之就是快速开发第一个版本并持续添加功能。

当大模型概念兴起的时候我们意识到向量数据库这项能力应该作为一个独立的数据库产品来支持而不仅仅是作为一个内部组件存在。

因此我们开始了产品化的工作并投入了大量时间包括解决安全性、开箱即用的易用性、运维管理能力等。

作为一个面向市场用户的完整产品我们必须综合考虑各种方面的问题。

最终我们在今年5月的发布会上正式对外发布了我们的向量数据库Transwarp

正如前面所说的向量数据库承担了中间存储的角色我们认为向量数据库就是大语言模型的海马体是一个记忆体。

因此产品名Hippo源自于海马体英文的前缀而logo我们也是精心设计的融入了海马体形状和数据库常用的图标元素并最终由多维向量元素表示。

3、最近市场上突然出现了很多向量数据库产品请问您觉得向量数据库的技术门槛高吗向量数据库有哪些挑战

这个现象是有点意思的。

有些人可能猜测向量数据库到底真的有需求还是这些厂商跟风才推出的这种短时间推出的产品能不能用

实际上研发一款新的数据库产品有很多方面的问题要克服需要投入大量的时间和人力资源而且向量数据库又涉及到多个领域的知识包括交叉的

知识、数据库知识和安全等从头开始构建一个向量数据库的时间和实践成本都很高。

对于我们星环科技的情况呢前面那个问题已经回答过了我们的产品是从几年前AI团队内部的需求演进而来的。

结合我们这几年的实践我们认为技术上的挑战主要包含几个方面。

首先就是扩展性问题。

随着AIGC等应用的发展特别是大模型的兴起对嵌入embedding和向量化这块能力的需求急剧增加。

大模型的普及也让向量数据的规模不断增大从百万级别的数据体量已经变为千万级别甚至更大。

这就需要数据库能够有效地支持大规模向量数据的存储和检索这对硬件资源提出了更高的要求特别是在云上部署时成本可能成为一个重要问题。

第二个挑战是成本问题。

在向量搜索中索引的大小和存储是关键因素而向量索引的成本通常较高。

以前在数据量较小的情况下可能只需要几台机器就足够了成本并不是关键问题。

但随着数据规模的增大需要更多的资源来支持这就涉及到成本的考虑。

第三个挑战是易用性问题。

与传统的关系型数据库不同向量搜索涉及到更多维度的考量包括性能和召回率等。

为了平衡性能和召回率需要调整各种参数但这可能对用户来说不太友好。

因此简化参数选择提高用户体验是一个重要的挑战。

最后一个挑战是混合搜索中的路径优化问题。

与传统的优化器相比向量搜索的优化器更加复杂因为它需要考虑多维度的因素。

如何设计一个能够描述向量搜索代价的模型以实现性能和召回率的平衡是一个需要解决的难题。

当然向量数据库还面临着其他有趣的挑战比如在向量搜索中实现向量相似度过滤以及如何在不同数据集间进行相似性join等问题。

这些问题都需要深入的研究和解决使得向量数据库能够更好地应对现实世界的各种应用场景。

4、自从GPT

3.5发布以来向量数据库突然火了投融资项目及规模空前您怎么看待这波“向量热”您觉得这个热度会一直持续下去吗

目前国内的向量数据库以及AIGC在行业内的火热程度不言而喻。

如之前我所说的向量数据库源自AI同时又为解决AI技术应用问题提供了有效的解决方案。

大模型的兴起为向量数据库等领域带来了巨大的关注度同时也催生了更多的产品和解决方案促使市场快速成熟。

我们星环科技这半年的时间里与很多家客户及合作伙伴的交流中我们发现客户对这些深度学习应用非常感兴趣。

然而客户们目前仍处于学习和选型的阶段。

我们与多个客户合作进行了深入的原型验证工作。

在客户将新技术引入实际业务之前他们需要时间来适应和了解这些新概念。

我们认为在下半年国内的大模型应用可能会迎来一个高潮。

在未来的几个月内我们将会看到更多客户开始在实际业务中应用这些新技术因为每次与客户交流时他们对于如何应用这些技术以及如何在他们的企业中发挥作用都会有更清晰的认识这是一个逐步推进的过程。

5、目前市面上的向量数据库应该已经有很多了有插件的、专用的用户在做向量数据库选型时应该注意哪些点

整体上目前向量数据库有2条技术路线一种是基于传统关系型数据库封装向量计算功能一种是专业的向量数据库。

基于我们星环科技的实践经验如果只是小数据量、访问并发延迟这类要求也不高的情况下从原有数据库里封装向量计算的方法可能是可行的但如果数据规模、访问并发这类指标上去以后处于性能、扩展性、资源弹性方面的原因我们其实是需要专业的向量数据库的。

我们其实⼀开始就抛弃了基于lucene去扩展向量计算这条路这个主要是java语言的执行效率以及jvm堆内存管理方面的限制对向量计算这种重cpu大内存的workload很难做得高效。

如果是基于关系型数据库现在的做法都是把向量作为⼀个列有些实现会做⼀个单独的向量数据类型有些实现就直接用float数组表示然后为这个向量列建向量索引最后扩展⼀下SQL语法或者搞几个UDF让向量搜索语法能够被SQL这套语言表示。

看起来好像挺简单的但这种做法有⼀些架构性的问题导致向量搜索很难做得高效。

第一个问题在于我们要在数据库里扩展新的索引实现是需要按照数据库的索引规范实现的这会造成向量索引的性能损失而向量索引是向量数据库最核心的逻辑这也直接导致现在这类通用向量数据库的性能会弱于专用向量数据库。

向量这块有很多公开的数据集和测试结果网络上很容易找到的通过简单的测试就可以发现这种方式的性能瓶颈。

另外在查询效率上因为类似的原因也会造成明显的性能损耗。

第二个问题在于向量搜索的资源使用模式与传统数据库不同这会导致这类向量数据库的扩展性以及资源弹性不如专业向量数据库。

技术上还会有⼀些其他问题比如如何设计⼀个兼容结构化数据和向量化数据的优化模型等等那第三个问题我想说的不在于技术而在于用户成本。

我们最开始聊向量数据库这个概念的时候有说过向量数据库绝大多数情况下服务于AI应用场景这些场景里传统数据库的存量功能其实很难产生实际的应用价值那对于用户来说相比与采购专用向量数据库采购通用数据库来应用在向量场景其实可能是比较亏的。

对于改造现有数据库系统也可能会对现有业务正常开展产生不稳定的影响。

6、向量数据库的使用门槛好像比较高您觉得哪类企业会第一批使用向量数据库。

另外星环科技向量数据库目前有哪些成功案例

向量数据库在大模型兴起之前可能并没有受到特别大的关注但实际上已经有较长一段时间的发展了也有了很多的应用。

我们自己就一直在使用向量数据库还有一些大型企业也在使用以及像生成式AI的顶尖企业此外向量数据库在AIGC之外也有许多其他应用场景。

举例来说电商领域主要专注于搜索、广告推荐等应用这对于电商而言至关重要。

自动驾驶领域也大量应用了向量数据库例如用于自动化标注、场景识别等。

在社交媒体中向量数据库可以用于内容风控帮助平台过滤掉敏感言论以提高内容的质量和安全性。

金融领域也能充分发挥向量数据库的应用例如服务推荐等。

此外像生物医药、知识产权等领域也都有广泛的应用。

如之前所说我们星环科技的向量数据库一开始是因为内部AI团队需求诞生的所以也是有一些实践的。

例如将一些交易所规则、期货法规、可研报告等材料处理后存储到向量数据库里结合领域大模型来构建知识库通过向量数据库来提升一些行业的、最新的知识的召回能力。

类似的金融场景中很多机构会构建金融法律法规问答库通过向量数据库可以很好地解决这些问题。

7、在国内向量数据库会不会和关系型数据库一样这么卷以及星环科技计划如何破局并建立“先发”优势

目前我们就能看到很多厂商陆续发布自己的向量数据库产品随着向量数据库技术的逐步成熟以及客户实践之后逐渐意识到这块的价值相信会有更多的产品出现。

这么多的产品星环科技该如何破局呢我认为主要有几点。

首先如前面谈到的星环科技的向量数据库在早几年就已经在公司内部使用了并且在今年5月份正式发布算是国内较早正式发布向量数据库产品的我觉得这个已经建立了一个“先发优势”。

向量数据库涉及多个领域的知识包括交叉的

知识和数据库等知识这些都需要积累的不是简单拿个开源的检索库过来封装下就可以的。

星环科技有这么多年的数据库技术和AI技术积累以及向量数据库技术方面的实践因此在产品可用性和稳定性等方面我们是绝对有信心的。

最近我们也发布了向量数据库社区版有几个特性免费获取、快速部署和简单易用也是为了进一步降低用户使用向量数据库的门槛和成本用户可以低成本、快速地基于已有向量数据库进行大模型领域的探索实现业务的创新。

除了在向量数据库技术方面的优势星环科技也有自己自研的行业垂类大模型金融大模型“无涯”和大数据领域大模型“求索”分别旨在促进金融分析和大数据分析的平民化推动计算普惠和AI普及。

通过大模型和向量数据库的结合互相反哺有利于进一步提升产品各自以及整体方案上的优势。

此外星环科技也有自研的分布式向量数据库和知识图谱通过将分布式向量数据库和分布式图数据库以及知识图谱结合与大模型可视化端到端构建工具一起提供了知识抽取融合、知识建模、知识图谱生成存储、基于大模型的知识问答等闭环功能可以构建业务域知识图谱和业务系统的应用服务激发出更多更深入的业务场景AI应用。

除了以上这些和AI强相关的方面优秀的平台也离不开扎实的数据底座星环科技在大数据领域有非常多的积累有我们的一站式多模型大数据基础平台可以处理关系型、图、时序、时空等业内主流的全部数据类型也有基于容器化技术的数据云平台还有各类丰富的数据开发工具等等涵盖了数据全生命周期的产品满足用户数据平台建设的各类需求。

从以上可以看出在这个领域市场里从向量数据库这个点到包括图数据库、知识图谱、领域大模型、大模型开发工具等等在内的布局星环科技的产品体系已经形成了一个颇具规模的面在市场竞争中是非常有竞争力的这一点上我们是很有信心的。

8、针对搜索场景类似Elasticsearch数据库目前被广泛应用首先向量数据库是否能够满足Elasticsearch等擅长的文本搜索场景另外传统的搜索数据库与向量数据库相比有哪些缺陷

针对文本搜索场景向量搜索和全文搜索擅长解决的问题并不完全相同全文搜索更适合做关键字匹配而向量搜索能找出字面上不同但语义上相近的内容。

向量数据与全文数据在存储、计算上也有很大的差别传统的搜索数据库比如Elasticsearch很难同时高效支持这两种场景这个大家感兴趣可以去查看网上的公开数据集比如ann

benchmarkElasticsearch的性能远落后于专业的向量数据库而且没记错的话它的索引类型也只支持HNSW不支持多种类向量索引大家知道每一种索引类型都有各自的使用场景HNSW在大数据量下性能稳定但资源开销非常大。

根据我们的实践经验在文本搜索场景里使用向量加全文的联合召回能够做到的精度比单独使用向量或者全文更高我们星环科技即将发布的向量数据库Hippo1.1版本里就有这样的功能叫hybrid

关于技术趋势我认为有几个关键点需要强调。

首先对于向量数据库领域要实现深度学习技术的最优应用需要具备AI、数据库和安全等多方面的能力。

数据库内通常会储存一些敏感数据因此如何保证这些数据的安全性将成为一个极其重要的议题。

尤其是随着向量数据库等领域逐渐引入深度学习技术对AI能力和数据安全的需求将变得愈发迫切。

其次我认为在短期内随着大模型技术的迅速崛起将会进一步加剧市场竞争的激烈程度。

大模型的兴起为向量数据库等领域带来了巨大的关注度同时也催生了更多的产品和解决方案促使市场快速成熟。

这对于技术从业者和用户都是利好因为竞争带来了更多选择也能获得更高性价比的解决方案。

我相信在这个大数据时代向量数据库领域具备巨大的潜力。

同时我想借此机会为对这一领域感兴趣的同学们打个小广告欢迎与我们进行线上交流或投递简历。

我们的团队将继续努力不断积累和分享行业大模型的经验与大家共同进步。

阅读原文https://www.modb.pro/db/1701130013479358464

欲了解更多可浏览墨天轮技术社区围绕数据人的学习成长提供一站式的全面服务打造集新闻资讯、在线问答、活动直播、在线课程、文档阅览、资源下载、知识分享及在线运维为一体的统一平台持续促进数据领域的知识传播和技术创新。