准备数据信息
素材下载位置
准备配置pom文件
其中仓库我们使用的如下仓库
编写如下代码
素材在如下位置
我们创建Reduce和Partitioner和Mobile类
我们在Mobile中编写如下代码
生成get和set方法
其中两个关键方法的编写如下
Write是将对象的数据序列化到流中
ReadFields是从流中反序列化出对象的数据,从数据流中读出对象字段时,必须跟序列化时的顺序保持一致
为了对象数据的初始化方便,加入一个带参的构造函数
其中无参构造函数是在反序列化时,反射机制需要调用空参构造函数,所以显示定义了一个空参构造函数
Partitioner中的代码如下
现在我们操作mobile.txt文件,按省份统计每个地区手机号码,每个地区的统计数据单独放在一个结果中
首先在reduce中不要导错包
编写如下代码注意端口号和地址
继续
编写主方法
我们启动我们的Hadoop
我们上传我们的文件
准备我们的目录
这是我们的文件
上传到hdfs中
新建输出文件目录
我们打包我们的程序
然后修改文件名,将我们的jar包上传
执行下列语句
hadoop jar /data/file/mobileMapReduce.jar com.xlglvc.xxx.dsj.mobile.MobileMapReduce /mobile/input/mobile.txt /mobile/output
结果显示
?