----

hadoop是什么为什么会这么高薪引出大数据大数据时代大数据与云计算

大数据的故事google根据海量数据所作出的一次流行病传播趋势预测及时性和准确性都远超医疗体系根据传统方法所作出的预警渲染大数据技术将给这个时代带来的巨大变革

----

大数据技术带来的更多成功案例及基于大数据技术的机器学习带来的无限憧憬

----

介绍apache基金会旗下的hadoop生态体系中各种开源项目如hive

hbase

大数据领域的标准开源解决方案各大主流厂商都围绕hadoop进行周边开发和服务提供去IOE化

中国移动所使用的hadoop集群及其用途各大厂商在使用hadoop

6、hadoop生态系统

学什么分轻重缓急首先是整体技术架构然后是应用场景然后是开发规范有余力可以深入原理--如源码

难不难给以信心强调要多动手因为hadoop领域技术点多不像j2ee那么单纯在动手的过程中会遇到各种各样的问题这样一能加深理解二能提高学习和思考分析的能力三能积累问题解决经验

单机性能纵向扩展的瓶颈传统分布式存储入NFS所面临的单节点故障磁盘冗余阵列所带来的成本问题

----

集群协作随之而来的系统复杂度急需一个通用的平台封装底层复杂度降低使用开发难度

hdfs设计思想介绍

b、将整个求和任务分成两个步骤第一个步骤局部求和这样可以并发进行第二个步骤必须全局处理用一个线程来执行但是它的输入

数据集已经很小不会成为瓶颈

----并发思想的编程模型实现了但是并发协作的机制产生了大量公共管理问题引出mapreduce的资源管理任务调度错误重试并从这里可以引出hadoop2.0的yarn的思想及与hadoop1.0的对比

三、hadoop的部署----细节在《hadoop2.4.1伪分布式搭建.txt》中

根据以往经验学员对于虚拟机软件特别是虚拟网络环境很困惑这里需要详细讲一下虚拟机的思想

那么在虚拟环境下同样需要具备这些要素缺一不可只是机器交换机需要用虚拟的方式产生的而已然后详细讲一下交换机和网关的概念引出nat和bridge桥接方式的思想和差别

准备工作vmware虚拟机软件centos6.5的安装虚拟机软件的vmnet配置nat方式或者桥接方式

a、网络配置----

先用ifconfig查看目前的活跃网卡然后修改网卡的ip地址配置

setup配置ip地址简易图形界面或者

/etc/sysconfig/networking/devices/ifcfg-eth0

配置文件来修改ip地址

sudoers加入普通用户以便于利用sudo指令、时间配置启动级别配置防火墙配置

service

2、JDK的安装(细节在《hadoop2.4.1伪分布式搭建.txt》中)

JDK安装包获取----

3、安装hadoop(细节在《hadoop2.4.1伪分布式搭建.txt》中)

hadoop-1.2.1

propertynamefs.defaultFS/namevaluehdfs://itcast:9000/value

/property

propertynamehadoop.tmp.dir/namevalue/home/hadoop/hadoop-2.4.1/tmp/value

/property

propertynamedfs.replication/namevalue1/value

/property

propertynamemapreduce.framwork.name/namevalueyarn/value

/property

propertynameyarn.resourcemanager.hostname/namevalueitcast/value

/propertypropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value

/property

app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar

wordcount

Hadoop-HDFS-Shell-学习资料及文档、Java代码