。

同时意识到#xff0c;企业想保持长远的发展#xff0c;还需要协调组织协作、利用现有的数据沉淀经验知识、累积数据资产。

据IDC调查#xff0c;目前企业结构化数据仅占到全部数据量的20%…

©作者|Zhongmei

越来越多的企业开始意识到数据的重要性。

同时意识到企业想保持长远的发展还需要协调组织协作、利用现有的数据沉淀经验知识、累积数据资产。

据IDC调查目前企业结构化数据仅占到全部数据量的20%其余80%都是以文件形式存在的非结构化和半结构化数据这些非结构化数据每年增长率达60%。

如何有效地管理和利用这些非结构化数据成为了许多企业和组织面临的重要挑战。

本文将对此展开解决方案的讨论。

结构化数据

大多数人所熟知的二维表格或SQL型数据库就是典型的结构化数据因为它们有明确的、预定义的数据模型是遵循一致顺序的数据。

结构化数据有三大特征

1有明确的含义数据所代表的含义是确定且已知的。

比如公司的员工信息表中第一列是id代表员工编号。

第二列是name代表员工姓名。

第五列是position代表员工职位等等。

每一列的列名明确告知了我们该列数据代表什么含义。

2有严格、一致的顺序结构化数据中数据顺序是固定的。

比如上面提到的员工信息表数据顺序一定是员工编号、姓名、性别、年纪、职位等等。

每一行的顺序都是一样的。

3有明确的数据类型结构化数据中具有同一定义的数据符合相同的数据类型。

同样用员工信息表举例年龄这一列数据类型一致采用整数而不会有的用整数“20”有的用小数“20.0”有的用汉字“二十”这种情况是不被允许的。

非结构化数据相较于记录了生产、业务、交易和客户信息等的结构化数据非结构化的信息涵盖了更为广泛的内容。

它是无固定格式或规则存储的数据没有固定的字段或标签不易被计算机程序解析和处理。

简单来说就是字段可变的数据常见的非结构化数据包含各种办公文档、图片、视频、音频、设计文档、日志文件、机器数据等。

但是非结构化数据通常包含着大量的信息和价值因此被越来越多的企业和组织所关注。

半结构化数据为介于结构化数据与非结构化数据之间的数据常见的半结构化数据有HTML超文本标记语言、XML可扩展标记语言广义上二者也可以认为是非结构化数据。

非结构化数据具有某种特定和持续的价值这种价值在共享、检索、分析等使用过程中得到放大沉淀为企业知识。

但上文提到的非结构化数据的特点造成了企业管理和利用这些非结构化数据的痛点。

我称之为“四失”失存、失真、失控和失用。

一方面由于企业日常经营管理和业务管理的需要建立了功能各异的应用系统或信息化管理平台用以支撑企业的各类管理工作。

这些管理系统和平台在业务的各个环节每天都在大量产生形式多样的非结构化文档数据增速越来越快体量不断增加汇聚成海量的企业非结构化数据。

数据量大、长期保存难。

并且传统的非结构化数据管理内容对象、元数据与索引是分离存储和独立管理难以同时灵活横向扩展加剧海量非结构化数据的管理复杂性。

另一方面多数企业中文档生命周期流程即从文档生成、流转、办结到归档、保存、利用的全过程并没有非常清晰和规范的管理流程和要求就导致存在过多的“账外”非结构化文档数据。

比如集团制订的归档范围未将一些应归档但无法通过系统流转的文档纳入其中部门相当一部分非结构化文档数据仍保存在个人电脑之中导致企业文档数据资产存在着流失的风险。

非结构化数据往往都质量不高必须进行数据清理才能进行组织。

对于公司来说清理和准备大量数据过程中就会看到很多失真现象。

举个例子企业业务活动中很多系统都存在着很多简称、全称以及英文名称并行使用的情况。

这代表着很多不同的数据标签对应着同一事物、代表相同意义的数据使用着不同标签。

再例如如果文档管理没有设有版本支持当使用口径不统一相同文件会分散在不同的业务系统中无版本控制的情况下无法确定系统中版本是否为最新也容易造成数据失真

一方面非结构化数据格式繁多。

根据不同的办公场景、业务需求非结构化数据以多种文件格式体现出来

如Word、Excel、PPT、PDF、TXT、JPEG、MP3、MP4、压缩文件、CAD图纸等。

有的散落在企业员工电脑上、硬盘里有的存放在各业务系统中格式和存储载体不受控制。

另一方面由于信息系统建设具有阶段性特征已有的信息系统建设之初仅以单个的业务需求为目标彼此孤立存在着比较严重的孤岛现象。

系统之间缺少横向的数据接口且数据标准不统一导致数据无法统一管理控制。

一方面在企业业务快速发展中面临大量信息和数据不断涌现的情况下如何在海量数据中建立筛选机制保证信息的准确、及时是业界公认的难题。

比如企业一些信息系统如OA系统、ERP系统等中文档多以表单如办文单的形式进行流转需要办理的文档通常作为表单的附件传统做法中借助表单信息或者简单的文件标题等元数据加以检索的做法是低效的导致数据开发利用不足。

另一方面业务涉及的数据繁杂来源广泛整理起来困难重重耗时耗力。

目前多数企业的数字化服务能力仍有所不足缺乏知识数据的自动流转能力就造成效率低人力投入成本高。

即使收集数据完成由于非结构化数据通常包含着丰富的信息和复杂的关联性基于常规单一算法技术很难有效识别、表达及获取其中的隐性知识精准描述关键信息难度大。

大模型时代企业知识管理解决方案

知识的全生命周期管理就涉及知识提取、存储、流转、利用的全过程。

在大模型时代LLM可以类似一个人的大脑去辅助知识的存储理解和创造可以解锁知识管理的新范式。

第一层是数据的整合关联。

这一层中一方面针对企业中的不同系统要整合不同终端数据打破数据孤岛对数据进行统一存储管理实现数据的多源融合。

另一方面对于系统外不同存储格式的散落文件为具备良好的数据处理质量针对不同格式的文档如Word、Excel、PPT、PDF、MP4等都要有定制的算子保证数据解析的精度与完整度。

第二层是知识的高效提取和存储。

非结构化数据的提取和存储常见有两种一种从中知识萃取存储进SQL或者知识图谱这种高度结构化的数据形式这其中涉及很多的NLP算法比如信息抽取实体链接知识融合等。

另一种则是经过切片和向量化嵌入embedding将文本或图片转化为向量存储进向量数据库。

这其中会涉及文本NLP技术和图像视频处理的CV技术。

这两种方式的相同点在于数据定义标准、数据架构易延展且便于检索和查询。

两者在实际应用上互相补充为企业知识管理打下地基。

第三层是结合业务的知识验证。

知识要以赋能业务为主要目标所以知识的构建效果和后续检索使用效果都需要以业务视角进行验证。

因此需要以业务自动化和智能化为目标面向业务应用需求以场景为立足点搭建指标体系并不断迭代丰富不断更新确保知识质量可以支撑需求保障知识能带来业务价值。

第四层是利用LLM智能体自动化知识利用。

以大语言模型LLM为中心的智能体的行动框架完美贴合TThink-PPlan-AActionTPA交付方法论数据分析洞察每一个流程交由一个专家智能体就能解锁人机交互新范式实现自动化。

比如数据收集部分可以交由智能检索RAG

Agent关于检索效果提升感兴趣可以查看我们之前的文章读懂RAG这一篇就够了万字详述RAG的5步流程和12个优化策略,

知识图谱查询

Agent协同合作收集到数据分析所需的全部数据。

而数据分析部分则可以由Data

Cleansing

Agent共同协作完成。

这样就可以将人力解放出来的前提下实现辅助人类的客观分析决策、诊断洞察以及关联推荐等等功能。

第五层是运营和管理提效。

数字化时代离不开的就是运维需要保证的就是管理和运营的成本、效率和稳定性。

所以一方面进行风险控制要对权限规划、角色职责设定、知识流转知悉范围、文档命名规范以及系统使用终端要求等等制定严谨丰富的管理规则。

另一方面运维服务工具的开发能够减少人工操作和错误节约人力和时间成本提高运维团队的工作效率。

同时基于SQL知识图谱的高度结构化数据库和向量数据库实现的统一且易拓展的数据架构大幅度降低更新成本。

大语言模型LLM的出现大幅度降低了非结构化数据的使用门槛有助于释放海量非结构化数据中隐含的知识赋能企业业务。

所以本文提出非结构化数据多源融合-

数据结构化向量化

知识运营知识管理大模型时代企业知识全生命周期高效管理五层架构。

大语言模型在其中多层中作为中枢和主力军辅佐人类协助企业数智化。