• 约92条记录,页面显示在80条内,推荐使用搜索获取文章发布时间       点击
  • 2015-12-05     70

    MapReduce运行的时候,会通过Mapper运行的任务读取HDFS中的数据文件,然后调用自己的方法,处理数据,最后输出

  • 2018-03-27     58

    保证Hadoop中数据存储的可靠性和完整性至关重要。HDFS的容错机制,其中包括NameNode(元数据节点)的单点失效解决机制、Block数据块的多副本存储机制、NameNode的心跳检测机制、数据存储等

  • 2015-12-05     63

    hadoop的心跳机制的底层是通过RPC机制实现的。

  • 2015-12-05     75

    为了实现一个 Hadoop 集群的集群共享、可伸缩性和可靠性。设计人员采用了一种分层的集群框架方法。具体来讲,特定于 MapReduce 的功能已替换为一组新的守护程序,将该框架向新的处理模型开放。

  • 2015-12-05     72

    /opt/hadoop-2.6.2/sbin/../libexec/hadoop-config.sh: Syntax error: word unexpected (expecting ")")

  • 2015-12-02     65

    HDFS采用主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的(在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改hadoop源代码实现的功能,在最新的版本中就已经实现了)。

  • 2015-12-02     78

    Hive是为简化编写MapReduce程序而生的,使用MapReduce做过数据分析的人都知道,很多分析程序除业务逻辑不同外,程序流程基本一样。

  • 2015-12-13     73

    Download Hadoop from Apache: I’ll be using this mirror but I trust that if you’re not in England, you can likely find a more suitable one

  • 2015-11-17     54

    Hadoop中的Map Reduce框架依赖InputFormat提供数据,依赖OutputFormat输出数据;每一个Map Reduce程序都离不开他们。Hadoop提供了一系列InputFormat和OutputFormat方便开发

  • 2015-11-17     47

    当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的部分结果的缓存,并在内存buffer中进行一些预排序来优化整个map的性能