博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
理解MapReduce计算构架
阅读量:4961 次
发布时间:2019-06-12

本文共 292 字,大约阅读时间需要 1 分钟。

用Python编写WordCount程序任务

程序

WordCount

输入

一个包含大量单词的文本文件

输出

文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔

编写map函数,reduce函数

1.创建函数

2.编写两个函数

将其权限作出相应修改

本机上测试运行代码

放到HDFS上运行

下载并上传文件到hdfs上

 

用Hadoop Streaming命令提交任务

先找到Streaming的Jar包

配置默认环境变量

运行结果

 

转载于:https://www.cnblogs.com/cgz123/p/9019307.html

你可能感兴趣的文章
OOA/OOD/OOP的区别
查看>>
hint指定index的深入理解
查看>>
ASP.NET Excel数据导入数据库---2
查看>>
Instagram的技术架构
查看>>
嘉定三屠与扬州十屠
查看>>
Lua学习笔记9:多文件
查看>>
Qt 3D研究(九):尝试第二边缘检测方法
查看>>
GG同步sqlserver报错一个案例 Invalid date format
查看>>
Opencv246+vs2012生成不依赖编译环境的exe文件
查看>>
jquery对checkbox的操作汇总
查看>>
ps 第一篇
查看>>
nginx配置url中带问号的rewrite跳转
查看>>
SICP习题1.45解答
查看>>
[转]Delphi 控件属性和事件
查看>>
iOS:事件处理机制
查看>>
ASPose导出excel简单操作
查看>>
基础数据类型
查看>>
SQL Server开启远程连接
查看>>
codeforces 978C Letters
查看>>
联系作者
查看>>