。

字段名称、类型不变#xff0c;同时添加静态分区#xff0c;分区字段为etl_date#xff0c;类型为String使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。

字段名称、类型不变同时添加静态分区分区字段为etl_date类型为String且值为当前日期的前一天日期分区字段格式为yyyyMMdd。

使用hive

cli执行show

ods.user_info命令将结果截图粘贴至答案表.docx中对应的任务序号下

13、

编写Scala代码使用Spark将MySQL的ds_db01库中表sku_info的全量数据抽取到Hive的ods库中表sku_info。

字段名称、类型不变同时添加静态分区分区字段为etl_date类型为String且值为当前日期的前一天日期分区字段格式为yyyyMMdd。

使用hive

cli执行show

ods.sku_info命令将结果截图粘贴至答案表.docx中对应的任务序号下

软件名称

Sparkspark-3.1.1-bin-hadoop3.2.tgz

3.1.1

Hiveapache-hive-3.1.2-bin.tar.gz

3.1.2

mysql-connector-java-5.1.37.jar

集成开发工具IDEA

Hadoop3.1.3主要参考了官方安装教程步骤详细辅以适当说明相信按照步骤来都能顺利安装并运行Hadoop。

另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。

此外小北希望友友们能多去了解一些

Linux

为了方便学习请友友们利用Linux系统中自带的firefox浏览器打开本指南进行学习。

Hadoop安装文件可以到Hadoop官网下载hadoop-3.1.3.tar.gz。

也可以直接点击这里从百度云盘下载软件提取码ziyu进入百度网盘后进入“软件”目录找到hadoop-3.1.3.tar.gz文件下载到本地。

一、环境

也行32位、64位均可请自行安装系统可参考小北的这篇博客~ubuntu18.04

位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2离线数据处理_failed

open

d:\programdata\master\ubuntu-CSDN博客https://blog.csdn.net/Zhiyilang/article/details/135069233?spm1001.2014.3001.5502装好了

Ubuntu

装好了Ubuntu系统之后在安装Hadoop前还需要做一些必备工作。

1.创建hadoop用户

本文中会大量使用到sudo命令。

sudo是ubuntu中一种权限管理机制管理员可以授权给一些普通用户去执行一些需要root权限执行的操作。

当使用sudo命令时就需要输入您当前用户的密码.

密码:在Linux的终端中输入密码终端是不会显示任何你当前输入的密码也不会提示你已经输入了多少字符密码。

而在windows系统中,输入密码一般都会以“*”表示你输入的密码字符

输入法中英文切换:

ubuntu中终端输入的命令一般都是使用英文输入。

linux中英文的切换方式是使用键盘“shift”键来切换也可以点击顶部菜单的输入法按钮进行切换。

ubuntu自带的Sunpinyin中文输入法已经足够读者使用。

Ubuntu终端复制粘贴快捷键:

用户增加管理员权限方便部署避免一些对新手来说比较棘手的权限问题

sudo

最后注销当前用户点击屏幕右上角的齿轮选择注销返回登陆界面。

在登陆界面中选择刚创建的

hadoop

的提示可通过更改软件源来解决。

若没有该问题则不需要更改。

从软件源下载某些软件的过程中可能由于网络方面的原因出现没法下载的情况那么建议更改软件源。

在学习Hadoop过程中即使出现“Hash校验和不符”的提示也不会影响Hadoop的安装。

“下载自”

在列表中选中【mirrors.ubuntu.com】并点击右下角的【选择服务器】会要求输入用户密码输入即可。

最后耐心等待更新缓存即可。

更新完成会自动关闭【软件和更新】这个窗口。

如果还是提示错误请选择其他服务器节点如

mirrors.163.com

gedit这样可以使用文本编辑器进行修改并且每次文件更改完成后请关闭整个

gedit

vim的常用模式有分为命令模式插入模式可视模式正常模式。

本教程中只需要用到正常模式和插入模式。

二者间的切换即可以帮助你完成本指南的学习。

正常模式

正常模式主要用来浏览文本内容。

一开始打开vim都是正常模式。

在任何模式下按下Esc键就可以返回正常模式插入编辑模式

插入编辑模式则用来向文本中添加内容的。

在正常模式下输入i键即可进入插入编辑模式退出vim

如果有利用vim修改任何的文本一定要记得保存。

Esc键退回到正常模式中然后输入:wq即可保存文本并退出vim

四、安装SSH、配置SSH无密码登陆

但这样登陆是需要每次输入密码的我们需要配置成SSH无密码登陆比较方便。

ssh-keygen

Hadoop3.1.3需要JDK版本在1.8及以上。

需要按照下面步骤来自己手动安装JDK1.8。

把JDK1.8的安装包jdk-8u212-linux-x64.tar.gz

开发软件Oracle

VirtualBox虚拟机与实体机文件的互传是不能复制粘贴的。

此时实体机与虚拟机里面的文件如何实现相互传输呢?下面是小北收集整理的OracleVirtualBox虚拟机如何实现文件夹共享希望对大家有帮助~

工具/原料

1、首先在自己的实体机(电脑)上的磁盘上新建一个文件夹例如在G盘新建“虚拟机共享文件夹”--------------------------------------------“Oracle

VirtualBox”

3、安装虚拟机的“安装增强功能”安装完成之后。

就开始在实体机和虚拟机之间建立文件的共享了。

安装增强功能后需要重启虚拟机。

小北之前的博客有具体操作详解

在Windows中使用VirtualBox安装Ubuntu虚拟机Oracle

VirtualBox——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项-CSDN博客https://blog.csdn.net/Zhiyilang/article/details/135223395?spm1001.2014.3001.5501

方法/步骤2

1、在虚拟机中分配指定共享文件夹点击菜单栏上的设备选择共享文件夹

2、在弹出“设置”窗口中点击左边共享文件夹页签点击右边添加文件夹的按钮在弹出的“添加共享文件”窗口中添加共享文件夹路径找到实体机新建的虚拟机共享文件夹然后把固定分配打钩点击确定。

然后就可以看到设置界面的设置情况。

点击确定。

方法/步骤3

1、映射网络驱动器。

共享文件夹添加成功后就是映射网络驱动器了。

选中我的电脑右键选择映射网络驱动器

2、选择驱动器号然后点击文件夹的浏览在弹出的浏览文件窗口中选择

VirtualBox

选择新建的虚拟机及共享文件夹点击确定。

然后点击完成。

先去Oracle

VirtualBox

3、此时实体机和虚拟机之间的共享文件夹就做好了打开我的电脑就可以看到磁盘下面有一个新建的网络驱动器。

双击打开就可在在这个文件夹里面共享文件了

没有安装rpm代码如下

没有显示其他版本的jdk表示不用输入下一段代码不然会宕机需要重新进入,很难退出

如果存在使用该命令卸载

之前提过在虚拟机的opt目录下建两个文件夹分别是software和module

平时我们都是在windows下安装jdk都比较简单今天我们在linux系统下来安装下jdk8,首先需要下载jdk8下载链接jdk-8u212-linux-x64.tar.gz_免费高速下载|百度网盘-分享无限制

(baidu.com)https://pan.baidu.com/s/1Lb-k1D1_h3YDZrP_d-L2Pg提取码0706

复制这段内容后打开百度网盘操作更方便哦~