• 约92条记录,页面显示在80条内,推荐使用搜索获取文章发布时间       点击
  • 2018-03-30     9

    Hadoop is a Java-based framework which manages the large data sets among the group of cluster machines.

  • 2018-03-27     17

    HDFS metadata represents the structure of HDFS directories and files in a tree. It also includes the various attributes of directories and files

  • 2018-03-23     8

    数据倾斜是指,map /reduce程序执行时,reduce节点大部分执行完毕,但是有一个或者几个reduce节点运行很慢,导致整个程序的处理时间很长

  • 2018-01-29     42

    Namenode 上保存着 HDFS 的名字空间。对于任何对文件系统元数据产生修改的操作, Namenode 都会使用一种称为 EditLog 的事务日志记录下来。

  • 2018-01-18     31

    ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。

  • 2017-12-06     35

    ResourceManager运行在主节点master上,可以Web控制台查看状态 http://master:8088/

  • 2017-12-06     33

    localhost: Error: JAVA_HOME is not set and could not be found.

  • 2017-07-20     60

    NameNode可以看作是分布式文件系统中的管理者,主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。

  • 2017-03-07     66

    hadoop访问文件的IO操作都需要通过代码库。因此,在很多情况下,io.file.buffer.size都被用来设置缓存的大小。

  • 2016-08-10     52

    复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。