大数据处理技术 - Hadoop 集群初体验

HDFS 使用体验

从 Linux 本地上传一个文本文件到 hdfs 的 /test/input 目录下
递归的创建文件夹：

hdfs dfs -mkdir -p /test/input
hdfs dfs -ls /

分布式文件系统来源于本地磁盘

hdfs dfs -put /root/install.log /test/input 

MapReduce 程序初体验

在 Hadoop 安装包的 hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce 下 有 官 方 自 带 的 MapReduce 程序。我们可以使用如下的命令进行运行测试。
示例程序 jar: hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar

计算圆周率:

hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 2 5

关于圆周率的估算，感兴趣的可以查询资料 Monte Carlo 方法来计算 Pi 值。

底层日志线程异常，不用管！