大的概念是相对来说的#xff1a;目前来说#xff0…大数据概念

大数据无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合是需要新处理模式才能具有更强的决策力、洞察发现李和流程优化能力的海量、高增长率和多样化的信息资产。

目前单台主机一般只能存放1T左右的数据所以要进行计算首先要进行分布式存储分开到10台电脑中进行存储。

然后后面的计算也必须基于分布式的存储结构来进行分布式运算。

大数据特点

大量(Volume)高速(Velocity)多样(Variety)低价值密度(Value)

大数据应用

增加用户粘性进行客户画像推荐客户喜欢的内容。

多臂试探当用户画像基本完成时尝试推送其他内容并重新画像。

发现多个事务之间的潜在关联性比如纸尿布和啤酒。

获取商场的流量信息分析运营情况。

保险/金融挖掘潜在客户助力保险行业精准营销。

大数据不是用来开发一个独立的软件而且需要贴合其他软件来叠加使用助力软件更加智能和贴合用户需求。

业务分析

数据部门搭建数据平台分析数据指标。

分析分为两种一种是离线数仓分析一种是实时分析。

处理好后的展示环节交给前端处理。

大数据部门组织结构

平台组搭建Hadoop、Flume、Kafka、HBase平台数据仓库组ETL数据清洗、数据分析实时组实时指标分析数据挖掘组算法工程师、推荐系统工程师、用户画像工程师报表开发组javaEE工程师

前端工程师非大数据部分

是一个分布式系统架构Apache基金会所开发的。

主要解决海量数据的存储和海量数据的分析计算问题。

Hadoop通常指一个更广泛的概念Hadoop生态圈Hadoop,

Hive,

Cutting开发了Lucene一个搜索引擎类似谷歌搜索引擎。

为了在对Lucene进行优化升级提升面对大数据的查询效率结合谷歌发布的三篇论文实现了DFS和MapReduce机制使Nutch搜索引擎性能飙升。

之后项目立项更名为Hadoop从此Hadoop诞生了。

Hadoop三大发行版本

Apache原始版本国外开发的图形化版本国内的阿里云、腾讯云版本

Hadoop优势

高可靠性有备份高扩展性可以扩展节点数量高效性Hadoop是并行运算的高容错性能够自动将失败的任务重新分配

Hadoop组成

存储文件的元数据如文件名文件目录结构文件属性DataNode(dn):

存储文件块数据,

NameNode(2nn):每隔一段时间对NameNode元数据备份。

YARN架构概述

容器相当于一台独立的服务器里面封装了任务所需要的资源如内存、CPU、磁盘、网络等类似一个小虚拟机。

MapReduce架构概述

MapReduce有两个阶段。

Map表示细分为子任务Reduce表示合并计算结果。

细分任务的名称为MapTask,

合并任务名称为ReduceTask(规约)。

MapReduce这个名称概括了分布式系统进行计算的基本过程。

大数据技术生态体系

最小化安装安装一些必要软件修改ip为静态ip修改主机名和hosts映射文件关闭防火墙创建atguigu用户配置sudo权限在/opt

module安装好的软件software安装包修改module和software的所属者和所属组

使用xshell连接查询虚拟机ip地址

JAVA_HOME/opt/module/jdk1.8.0_212

export

变量名将父类变量传递给子类shell子类定义变量父类不能获取获取不了

使用pstree命令可以查看进程之间的父子关系shell的三种执行方式

bash

一般情况下脚本都是开子shell来执行的除了环境变量是父shell中运行