。

该白皮书首先指出大数据面临着5个主要问题#xff0c;分别是异构性来自IBM、微软、谷歌、HP、MIT、斯坦福、加州大学伯克利分校、UIUC等产业界和学术界的数据库领域专家通过在线的方式共同发布了一个关于大数据的白皮书。

该白皮书首先指出大数据面临着5个主要问题分别是异构性Heterogeneity、规模Scale、时间性Timeliness、复杂性Complexity和隐私性Privacy。

1挑战一

数据获取问题。

我们需要决策哪些数据需要保持或丢弃的问题目前这些决策还只能采用特设方法给出。

2挑战二

数据结构问题。

只有将没有语义的内容转换为结构化的格式并进行后续处理。

3挑战三

数据集成问题。

只有将数据之间进行关联才能充分发挥数据的作用因此数据集成也是一项挑战。

4挑战四

数据分析、组织、抽取和建模是大数据本质的功能性挑战。

数据分析是许多大数据应用的瓶颈目前底层算法缺乏伸缩性、对待分析数据的复杂性估计不够等等。

5挑战五

大数据技术在处理海量数据时需要使用高效的数据结构来组织和存储数据。

以下是一些在大数据技术中常用的数据结构

分布式文件系统(Distributed

随着大数据时代的到来半结构化和非结构化数据量的迅猛增长给传统的分析技术带来了巨大的冲击和挑战主要体现在

1数据处理的实时性随着时间的流逝数据中所蕴含的知识价值往往也在衰减因此很多领域对于数据的实时处理有需求。

在实时处理的模式选择中主要有三种思路:即流处理模式、批处理模式以及二者的融合。

虽然已有的研究成果很多但仍未有一个通用的大数据实时处理框架。

2动态变化环境中索引的设计关系数据库中的索引能够加速查询速率但是传统数据管理中的模式基本不会发生变化因此在其上构建索引主要考虑的是索引创建、更新的效率等。

大数据时代的数据模式随着数据量的不断变化可能会处于不断的变化之中这就要求索引结构的设计简单、高效能够在数据模式发生变化时快速调整并适应。

目前存在一些通过在NoSQL数据库上构建索引来应对大数据挑战的一些方案但总得来说这些方案基本都有特定的应用场景且这些场景的数据模式不太会发生变化。

在数据模式变更的假设前提下设计新的索引方案将是大数据时代的主要挑战之一。

3先验知识的缺乏传统分析主要针对结构化数据展开这些数据在以关系模型进行存储的同时就隐含了这些数据内部关系的先验知识。

比如我们知道所要分析的对象会有哪些属性通过属性我们又能大致了解其可能的取值范围等。

这些知识使得我们在数据分析之前就已经对数据有了一定的理解。

而在面对大数据分析时一方面是半结构化和非结构化数据的存在这些数据很难以类似结构化数据的方式构建出其内部的正式关系另一方面很多数据以流的形式源源不断的到来这些需要实时处理的数据很难有足够的时间去建立先验知识。

①数据类型从以结构化数据为主转向结构化、半结构化、非结构化三者的融合。

2数据质量

数据量大不一定就代表信息量或者数据价值的增大相反很多时候意味着信息垃圾的泛滥。