• 约92条记录,页面显示在80条内,推荐使用搜索获取文章发布时间       点击
  • 2015-12-06     54

    HDFS是一个主从结构的体系,HDFS集群有一个NameNode(Master)和很多个DataNode (Slaves)组成。NameNode管理文件系统的元数据,DataNode存储实际的数据。客户端联系NameNode以获取文件的元数据,而真正 的文件I/O操作是直接和DataNode进行交互的。

  • 2015-12-06     53

    Hadoop 2.3.0已经发布了,其中最大的亮点就是集中式的缓存管理(HDFS centralized cache management)。这个功能对于提升Hadoop系统和上层应用的执行效率与实时性有很大帮助,本文从原理、架构和代码剖析三个角度来探讨这一功能。

  • 2015-12-06     53

    输入[root@localhost bin]# hadoop fs -ls / 报bash: hadoop: command not found 错误

  • 2015-12-06     43

    The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many similarities with existing distributed file systems.

  • 2015-12-06     64

    Namenode 管理者文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。管理这些信息的文件有两个,分别是Namespace 镜像文件(Namespace image)和操作日志文件(edit log)

  • 2015-12-06     58

    Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.

  • 2015-12-05     109

    Hadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;Storm是内存级计算,数据直接通过网络导入内存。

  • 2015-12-05     71

    Java API里的Collections.shuffle(List)方法,它会随机地打乱参数list里的元素顺序。

  • 2015-12-05     37

    将两个文件合并成一个文件,是一个很简单的案例。设想我们可以将value设为空,这样就只有key在输出的时候直接数据就可以了。map过程将两个文件的每一行设为key,值设为空。在Reduce阶段只用将map阶段整理好的数据输出就可以了。

  • 2015-12-05     51

    map 阶段将将学生姓名作为key 成绩作为value.这样Reduce阶段得到的数据就是