操作与MapReduce单词计数一、实验目标二、实验要求三、实验内容四、实验步骤附系列文章

SequenceFile、元数据操作与MapReduce单词计数

一、实验目标

SequenceFile读写操作掌握MapReduce单词计数操作熟练掌握查询文件状态信息和目录下所有文件的元数据信息的方法

二、实验要求

给出主要实验步骤成功的效果截图。

要求分别在本地和集群测试给出测试效果截图对本次实验工作进行全面的总结。

完成实验内容后实验报告文件名加上学号姓名。

涉及的文件名、类名自拟要求体现本人学号或姓名信息涉及的文件内容自拟。

三、实验内容

使用mapreduce编程自拟文件名和文件内容完成对该文件的单词计数实现效果参考下图。

四、实验步骤

org.apache.hadoop.util.*;SuppressWarnings(unused)

public

hdfs://master:9000/seqfile.txt;static

String[]

FileSystem.get(URI.create(url),

conf);Path

Text();SuppressWarnings(deprecation)SequenceFile.Writer

conf,

i){key.set(10-i);text.set(data[i%data.length]);w.append(key,

text);}IOUtils.closeStream(w);}

}程序分析

这是一个使用Hadoop的SequenceFile编写程序它可以将数据写入到一个SeqFile中。

SeqFile是Hadoop中的一种二进制文件格式它能够高效地储存大量的键值对数据并支持高效地随机访问。

在程序中首先定义了一个静态的Configuration对象和一个静态的URL字符串url用于指定数据文件的位置。

然后定义了一个包含若干数据字符串的data数组。

在main()方法中通过调用FileSystem.get()方法获取一个文件系统对象fs并通过指定URL字符串和Configuration对象来实现。

然后定义一个Path对象指定数据文件的路径。

接下来定义一个IntWritable对象key和一个Text对象text用于储存键和值。

打开文件并创建一个SequenceFile.Writer对象w用于向SeqFile中写入数据。

通过for循环遍历数据将数据写入到SeqFile中并通过IOUtils.closeStream()方法关闭写入流。

总的来说这个程序是一个简单的SeqFile写入例子它可以帮助初学者了解SeqFile的使用方法。

运行结果

org.apache.hadoop.util.*;public

class

hdfs://master:9000/seqfile.txt;public

static

FileSystem.get(URI.create(url),

conf);Path

Path(url);SuppressWarnings(deprecation)SequenceFile.Reader

new

(Writable)ReflectionUtils.newInstance(r.getKeyClass(),

conf);Writable

(Writable)ReflectionUtils.newInstance(r.getValueClass(),

valueclass)){System.out.println(key:

keyclass);System.out.println(valueL:

valueclass);System.out.println(position:

r.getPosition());}IOUtils.closeStream(r);}

}程序分析

这是一个使用Hadoop的SequenceFile读取程序它可以从指定的SeqFile中读取数据并输出到控制台上。

在程序中首先定义了一个静态的Configuration对象和一个静态的URL字符串url用于指定数据文件的位置。

在main()方法中通过调用FileSystem.get()方法获取一个文件系统对象fs并通过指定URL字符串和Configuration对象来实现。

然后定义一个Path对象指定数据文件的路径。

接下来打开文件并创建一个SequenceFile.Reader对象r用于从SeqFile中读取数据。

通过ReflectionUtils.newInstance()方法动态生成Writable类型的对象实例。

然后在while循环中通过r.next()方法读取下一个键值对并输出到控制台上。

最后通过IOUtils.closeStream()方法关闭读取流。

总的来说这个程序是一个简单的SeqFile读取例子它可以帮助初学者了解SeqFile的读取方法和Writable对象的动态生成方法。

运行结果

org.apache.hadoop.conf.Configuration;

import

org.apache.hadoop.fs.FileSystem;

import

org.apache.hadoop.fs.Path;public

class

Configuration();conf.set(fs.DefailtFS,

hdfs://master:9000/);FileSystem

null;Path

FileSystem.get(URI.create(args[0]),

conf);org.apache.hadoop.fs.FileStatus[]

filestatus

listPaths[]FileUtil.stat2Paths(filestatus);for(Path

p:listPaths){System.out.println(p);System.out.println(p.getName());String

fs2

FileSystem.get(URI.create(ps),conf);org.apache.hadoop.fs.FileStatus[]

filestatus2

ifilestatus.length;i){System.out.println(filestatus[i]);}}}catch(IOException

这是一个使用Hadoop的FileStatus获取指定文件夹中的文件状态信息的程序。

在程序中首先定义了一个Configuration对象conf并设置default

file

system的URL为hdfs://master:9000/。

然后通过FileSystem.get()方法获取一个文件系统对象fs。

在main()方法中通过for循环依次处理传入的参数将其转换为Path对象并存储在数组path[]中。

在try语句块中通过fs.listStatus()方法获取指定文件夹的文件状态信息存储在数组filestatus[]中。

然后通过FileUtil.stat2Paths()方法将filestatus[]转换为Path类型的数组listPaths[]。

接下来遍历listPaths[]数组分别输出路径和文件名并再次调用FileSystem.get()方法获取一个新的文件系统对象fs2用于获取指定路径下的文件状态信息。

通过fs2.listStatus()方法获取指定路径下的文件状态信息存储在数组filestatus2[]中并将其循环输出到控制台上。

总的来说这个程序是一个简单的使用Hadoop的FileStatus获取文件状态信息的例子可以帮助初学者了解Hadoop中FileStatus的使用方法。

运行结果

org.apache.hadoop.mapreduce.Mapper;

import

org.apache.hadoop.mapreduce.Reducer;public

class

IOException,InterruptedException{int

sum

count.get();}context.write(key,

new

org.apache.hadoop.mapreduce.lib.input.*;

import

org.apache.hadoop.mapreduce.lib.output.*;

import

org.apache.hadoop.mapreduce.*;import

import

{SuppressWarnings(deprecation)public

static

IOException,ClassNotFoundException,InterruptedException{if(args.length

args

null){System.out.println(please

input

Path);System.exit(0);}Configuration

conf

WordMain.class.getSimpleName());job.setJarByClass(WordMain.class);job.setInputFormatClass(TextInputFormat.class);job.setOutputFormatClass(TextOutputFormat.class);FileInputFormat.setInputPaths(job,

new

Path(args[0]));FileOutputFormat.setOutputPath(job,

new

Path(args[1]));job.setMapperClass(Map.class);job.setReducerClass(Reduce.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);job.waitForCompletion(true);}

}运行结果

实验文章与文件的创建删除与查询操作https://want595.blog.csdn.net/article/details/133168734