hadoop2.6.0理论:hdfs、yarn、mapreduce的架构

news/2024/8/26 12:25:30

HDFS2的架构:负责数据的分布式存储

主从结构    

  主节点,可以有2个: namenode

  从节点,有很多个: datanode

  namenode负责:    

  接收用户操作请求,是用户操作的入口    

  维护文件系统的目录结构,称作命名空间

  datanode负责:存储文件

 

Yarn的架构:资源的调度和管理平台    

主从结构    

  主节点,可以有2个: ResourceManager    

  从节点,有很多个: NodeManager

  ResourceManager负责:

    集群资源的分配与调度

    MapReduce、Storm、Spark等应用,必须实现ApplicationMaster接口,才能被RM管理

  NodeManager负责:

    单节点资源的管理

 

MapRedece的架构:依赖磁盘io的批处理计算模型

主从结构    

  主节点,只有一个: MRAppMaster

     MRAppMaster负责:    

     接收客户提交的计算任务    

     把计算任务分给TaskTrackers执行,即任务调度    

     监控TaskTracker的执行情况

 


http://www.niftyadmin.cn/n/2776860.html

相关文章

Scala知识图谱

2019独角兽企业重金招聘Python工程师标准>>> 环境搭建 在SBT的项目中使用scala console:在平时学习、表达式时,不方便调用的大型的intellij,如果直接使用scala,不能调用前期下载的库。这是可以使用 sbt console** 使用…

java 8 排序_Java 八大排序实现

参考链接本文只给出算法的Java实现版本,具体原理参考:八大排序算法。公用代码下面的swap()函数,是排序算法中经常用到的,单独贴出来。public void swap(int[] a, int i, int j) {int tmp a[i];a[i] a[j];a[j] tmp;}冒泡排序/**…

Web服务器一些机制

1 通信协议 1.1 HTTP/HTTPS HTTP是HyperTextTransfer Protocol(超文本传输协议)的缩写。HTTP协议是用于从Web服务器传输超文本到本地浏览器的协议,它能使浏览器更加高效,使网络传输减少,保证计算机正确快速地传输超文…

点击流日志分析架构

2019独角兽企业重金招聘Python工程师标准>>> 整体流程设计 1、通过日志收集系统将数据获取并存放到某个存储介质中,本例可以使用kafka 2、Storm程序从kafka中消费数据数据,逐条消费的日志 3、Storm程序从数据库中加载产品人员配置的任务信息 …

java字符串hash算法_Hash算法大全(java实现)

packagecom.conan;/*** Hash算法大全* 推荐使用FNV1算法** algorithm None*authorGoodzzp 2006-11-20* lastEdit Goodzzp 2006-11-20* editDetail Create*/publicclassHashAlgorithms {/*** 加法hash**paramkey* 字符串*paramprime* 一个质数*returnhash…

MyBatis事务隔离级别

一般数据库的隔离级别有4个,由低到高依次为Read uncommitted、Read committed、Repeatable read、Serializable,这四个级别可以逐个解决脏读、不可重复读、幻读这几类问题。 √: 可能出现 : 不会出现 脏读 不可重复读 幻读 说明Read uncommitted √ √…

java json和map相互转化

2019独角兽企业重金招聘Python工程师标准>>> java使用json要导入如下这些包: commons-beanutils-1.7.0.jar commons-lang-2.1.jar ezmorph-1.0.2.jar json-lib-1.1-jdk15.jar commons-logging-1.0.4.jar commons-collections.jar commons-collections…

获取Executor提交的并发执行的任务返回结果的两种方式/ExecutorCompletionService使用

当我们通过Executor提交一组并发执行的任务,并且希望在每一个任务完成后能立即得到结果,有两种方式可以采取: 方式一: 通过一个list来保存一组future,然后在循环中轮训这组future,直到每个future都已完成。如果我们不希…