。

封闭系统主要指大型机等服务器。

开放系统指基于包括麒麟、欧拉、UNIX…

文章目录

存储和数据库1.存储技术2.数据结构模型3.常用数据库类型4.数据仓库

记忆要点总结

存储分类根据服务器类型分为封闭系统的存储和开放系统的存储。

封闭系统主要指大型机等服务器。

开放系统指基于包括麒麟、欧拉、UNIX、Linux等操作系统的服务器。

开放系统的存储分为内置存储和外挂存储。

外挂存储根据连接的方式分为直连式存储(Direct–Attached

Storage,DAS)和网络化存储(Fabric-Attached

Storage,FAS)。

网络化存储根据传输协议又分为网络接入存储(Network-Attached

Area

SAN)。

DAS、NAS、SAN等存储模式之间的技术与应用对比如下表所示。

存储虚拟化(Storage

Virtualization)是“云存储”的核心技术之一它把来自一个或多个网络的存储资源整合起来向用户提供一个抽象的逻辑视图用户可以通过这个视图中的统一逻辑接口来访问被整合的存储资源。

用户在访问数据时并不知道真实的物理位置。

它带给人们直接的好处是提高了存储利用率降低了存储成本简化了大型、复杂、异构的存储环境的管理工作。

存储虚拟化使存储设备能够转换为逻辑数据存储。

虚拟机作为一组文件存储在数据存储的目录中。

数据存储是类似于文件系统的逻辑容器。

它隐藏了每个存储设备的特性形成一个统的模型为虚拟机提供磁盘。

存储虚拟化技术帮助系统管理虚拟基础架构存储资源提高资源利用率和灵活性提高应用正常运行时间。

绿色存储(Green

Storage)技术是指从节能环保的角度出发用来设计生产能效更佳的存储产品降低数据存储设备的功耗提高存储设备每瓦性能的技术。

绿色存储是一个系统设计方案贯穿于整个存储设计过程包含存储系统的外部环境、存储架构、存储产品、存储技术、文件系统和软件配置等多方面因素。

绿色存储技术的核心是设计运行温度更低的处理器和更有效率的系统生产更低能耗的存储系统或组件降低产品所产生的电子碳化合物其最终目的是提高所有网络存储设备的能源效率用最少的存储容量来满足业务需求从而消耗最低的能源。

以绿色理念为指导的存储系统最终是存储容量、性能、能耗三者的平衡。

绿色存储技术涉及所有存储分享技术包括磁盘和磁带系统、服务器连接、存储设备、网络架构及其他存储网络架构、文件服务和存储应用软件、重复数据删除、自动精简配置和基于磁带的备份技术等可以提高存储利用率、降低建设成本和运行成本的存储技术其目的是提高所有网络存储技术的能源效率。

2.数据结构模型

数据结构模型是数据库系统的核心。

数据结构模型描述了在数据库中结构化和操纵数据的方法模型的结构部分规定了数据如何被描述例如树、表等。

模型的操纵部分规定了数据的添加、删除、显示、维护、打印、查找、选择、排序和更新等操作。

常见的数据结构模型有三种层次模型、网状模型和关系模型层次模型和网状模型又统称为格式化数据模型。

1层次模型

层次模型是数据库系统最早使用的一种模型它用“树”结构表示实体集之间的关联其中实体集用矩形框表示为结点而树中各结点之间的连线表示它们之间的关联。

在层次模型中每个结点表示一个记录类型记录类型之间的联系用结点之间的连线有向边表示这种联系是父子之间的一对多的联系。

这就使得层次数据库系统只能处理一对多的实体联系。

每个记录类型可包含若干个字段这里记录类型描述的是实体字段描述实体的属性。

每个记录类型及其字段都必须命名。

各个记录类型、同一记录类型中各个字段不能同名。

每个记录类型可以定义一个排序字段也称码字段如果定义该排序字段的值是唯一的则它能唯一地标识一个记录值。

一个层次模型在理论上可以包含任意有限个记录类型和字段但任何实际的系统都会因为存储容量或实现复杂度而限制层次模型中包含的记录类型个数和字段个数。

在层次模型中同一双亲的子女结点称为兄弟结点没有子女结点的结点称为叶结点。

层次模型的一个基本的特点是任何一个给定的记录值只能按其层次路径查看没有一个子女记录值能够脱离双亲记录值而独立存在。

2网状模型

网状数据库系统采用网状模型作为数据的组织方式。

网状模型用网状结构表示实体类型及其实体之间的联系。

网状模型是一种可以灵活地描述事物及其之间关系的数据库模型。

现实世界中事物之间的联系更多的是非层次关系的一个事物和另外的几个都有联系用层次模型表示这种关系很不直观网状模型克服了这一弊病可以清晰地表示这种非层次关系。

用有向图结构表示实体类型及实体间联系的数据结构模型称为网状模型。

网状模型取消了层次模型的不能表示非树状结构的限制两个或两个以上的结点都可以有多个双亲结点则此有向树变成了有向图该有向图描述了网状模型。

网状模型中以记录为数据的存储单位。

记录包含若干数据项。

网状数据库的数据项可以是多值的和复合的数据。

每个记录有一个唯一标识它的内部标识符称为码(DatabaseKey,DBK),它在一个记录存入数据库时由数据库管理系统(Database

Management

自动赋予。

DBK可以看作记录的逻辑地址可作记录的替身或用于寻找记录。

网状数据库是导

航式(Navigation)数据库用户在操作数据库时不但说明要做什么还要说明怎么做。

例如在查找语句中不但要说明查找的对象而且要规定存取路径。

3关系模型

关系模型是在关系结构的数据库中用二维表格的形式表示实体以及实体之间的联系的模型。

关系模型是以集合论中的关系概念为基础发展起来的。

关系模型中无论是实体还是实体间的联系均由单一的结构类型关系来表示。

关系模型的基本假定是所有数据都表示为数学上的关系就是说个集合的笛卡儿积的一个子集有关这种数据的推理通过二值的谓词逻辑来进行这意味着对每个命题都只有两种可能的值要么是真要么是假。

数据通过关系演算和关系代数的一种方式来操作。

关系模型是采用二维表格结构表达实体类型及实体间联系的数据模型。

关系模型允许设计者通过数据库规范化的提炼去建立一个信息的一致性的模型。

访问计划和其他实现与操作细节由DBMS引擎来处理而不应该反映在逻辑模型中。

这与SQL

DBMS

基本的关系建造块是域或者叫数据类型。

元组是属性的有序多重集(Multiset),属性是域和值的有序对。

关系变量(Relvar)是域和名字的有序对序偶的集合它充当关系的表头(Header)。

关系是元组的集合。

尽管这些关系概念是在数学上的定义的它们可以宽松地映射到传统数据库概念上。

表是关系公认的可视表示元组类似于行的概念。

关系模型的基本原理是信息原理即所有信息都表示为关系中的数据值。

所以关系变量在设计时是相互无关联的反而设计者在多个关系变量中使用相同的域如果一个属性依赖于另一个属性则通过参照完整性来强制这种依赖性。

3.常用数据库类型

数据库根据存储方式可以分为关系型数据库(SQL)和非关系型数据库(Not

Only

网状数据库以网状数据模型为基础建立的数据库和层次数据库采用层次模型作为数据组织方式的数据库)已经很好地解决了数据的集中和共享问题但是在数据独立性和抽象级别上仍有很大欠缺。

用户在对这两种数据库进行存取时仍然需要明确数据的存储结构指出存取路径。

而后来出现的关系数据库较好地解决了这些问题。

关系数据库系统采用关系模型作为数据的组织方式。

关系数据库是在一个给定的应用领域中所有实体及实体之间联系的集合。

关系型数据库支持事务的ACID原则即原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability),这四种原则保证在事务过程当中数据的正确性。

2非关系型数据库

非关系型数据库是分布式的、非关系型的、不保证遵循ACID原则的数据存储系统。

NoSOL数据存储不需要固定的表结构通常也不存在连接操作。

在大数据存取上具备关系型数据库无法比拟的性能优势。

键值数据库类似传统语言中使用的哈希表。

可以通过ky来添加、查询或者删除数据库因为使用key主键访问会获得很高的性能及扩展性。

Key/Value模型对于信息系统来说其优势在于简单、易部署、高并发。

列存储(Column-oriented)数据库将数据存储在列族中一个列族存储经常被一起查询比如人们经常会查询某个人的姓名和年龄而不是薪资。

这种情况下姓名和年龄会被放到一个列族中薪资会被放到另一个列族中。

这种数据库通常用来应对分布式存储海量数据。

面向文档(Document-Oriented)数据库文档型数据库可以看作是键值数据库的升级版允许之间嵌套键值而且文档型数据库比键值数据库的查询效率更高。

面向文档数据库会将数据以文档形式存储。

图形数据库允许人们将数据以图的方式存储。

实体会作为顶点而实体之间的关系则会作为边。

比如有三个实体Steve

4.数据仓库

传统的数据库系统中缺乏决策分析所需的大量历史数据信息因为传统的数据库一般只保留当前或近期的数据信息。

为了满足中高层管理人员预测、决策分析的需要在传统数据库的基础上产生了能够满足预测、决策分析需要的数据环境一数据仓库。

数据仓库相关的基础概念包括

清洗/转换/加载(Extract/Transformation./Load,ETL):用户从数据源抽取出所需的数据经过数据清洗、转换最终按照预先定义好的数据仓库模型将数据加载到数据仓库中去。

元数据关于数据的数据指在数据仓库建设过程中所产生的有关数据源定义、目标定义、转换规则等相关的关键数据。

同时元数据还包含关于数据含义的商业信息。

典型的元数据包括数据仓库表的结构、数据仓库表的属性、数据仓库的源数据记录系统)、从记录系统到数据仓库的映射、数据模型的规格说明、抽取日志和访问数据的公用例行程序等。

粒度数据仓库的数据单位中保存数据的细化或综合程度的级别。

细化程度越高粒度级就越小相反细化程度越低粒度级就越大。

分割结构相同的数据被分成多个数据物理单元。

任何给定的数据单元属于且仅属于一个分割。

数据集市小型的面向部门或工作组级的数据仓库。

操作数据存储(Operation

Data

Store,ODS):能支持组织日常的全局应用的数据集合是不同于DB的一种新的数据环境是DW扩展后得到的一个混合形式。

它具有四个基本特点面向主题的、集成的、可变的、当前或接近当前的。

数据模型逻辑数据结构包括由数据库管理系统为有效进行数据库处理提供的操作和约束用于表示数据的系统。

人工关系在决策支持系统环境中用于表示参照完整性的一种设计技术。

数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合用于支持管理决策。

常见的数据仓库的体系结构如下图所示。

1数据源。

它是数据仓库系统的基础是整个系统的数据源泉。

通常包括组织内部信息和外部信息。

内部信息包括存放于关系型数据库管理系统中的各种业务处理数据和各类文档数据。

外部信息包括各类法律法规、市场信息和竞争对手的信息等。

2数据的存储与管理。

它是整个数据仓库系统的核心。

数据仓库的真正关键是数据的存储和管理。

数据仓库的组织管理方式决定了它有别于传统数据库同时也决定了其对外部数据的表现形式。

要决定采用什么产品和技术来建立数据仓库的核心则需要从数据仓库的技术特点着手分析。

针对现有各业务系统的数据进行抽取、清理并有效集成按照主题进行组织。

数据仓库按照数据的覆盖范围可以分为组织级数据仓库和部门级数据仓库通常称为数据集市。

3联机分析处理(On-Line

Processing,OLAP)服务器。

OLAP对分析需要的数据进行有效集成按多维模型予以组织以便进行多角度、多层次的分析并发现趋势。

其具体实现可以分为基于关系数据库的OLAP(Relational

OLAP,ROLAP)、基于多维数据组织的OLAP(Multidimensional

OLAP,MOLAP)和基于混合数据组织的OLAP(Hybrid

OLAP,

HOLAP)。

ROLAP基本数据和聚合数据均存放在RDBMS之中MOLAP基本数据和聚合数

据均存放于多维数据库中HOLAP基本数据存放于关系数据库管理系统(Relational

Database

4前端工具。

前端工具主要包括各种查询工具、报表工具、分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。

其中数据分析工具主要针对OLAP服务器报表工具、数据挖掘工具主要针对数据仓库。

记忆要点总结

1外挂存储根据连接的方式分为直连式存储(Direct–Attached

Storage,DAS)和网络化存储(Fabric-Attached

Storage,FAS)。

网络化存储根据传输协议又分为网络接入存储(Network-Attached

Area

SAN)。

DAS、NAS、SAN等存储模式之间的技术与应用对比如下表所示。

2常见的数据结构模型有三种层次模型、网状模型和关系模型层次模型和网状模型又统称为格式化数据模型。

3数据库根据存储方式可以分为关系型数据库(SQL)和非关系型数据库(Not

Only

4数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合用于支持管理决策。