install Hadoop 2.6 on CentOS/RHEL 7/6/5 and Ubuntu System

YARN命令是调用bin/yarn脚本文件，如果运行yarn脚本没有带任何参数，则会打印yarn所有命令的描述。

Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。

在hive-site.xml中添加如下内容，指定METASTORE的地址以及连接方式

DistributedCache 是一个提供给Map/Reduce框架的工具，用来缓存文件（text, archives, jars and so on）文件的默认访问协议为(hdfs://).

集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通

在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。

跟代码就去发现是HADOOP_HOME的问题。如果HADOOP_HOME为空，必然fullExeName为nullbinwinutils.exe。解决方法 配置环境变量

何通过web查看hdfs集群状态 通过web查看运行在在主节点master上ResourceManager状态

Java API里的Collections.shuffle(List)方法，它会随机地打乱参数list里的元素顺序。