创新互联Hadoop教程：HadoopApplicationMaster

单个作业的资源管理和任务监控

具体功能描述：

计算应用的资源需求，资源可以是静态或动态计算的，静态的一般是Client申请时就指定了，动态则需要ApplicationMaster根据应用的运行状态来决定
根据数据来申请对应位置的资源（Data Locality）
向ResourceManager申请资源，与NodeManager交互进行程序的运行和监控，监控申请的资源的使用情况，监控作业进度
跟踪任务状态和进度，定时向ResourceManager发送心跳消息，报告资源的使用情况和应用的进度信息
负责本作业内的任务的容错

ApplicationMaster可以是用任何语言编写的程序，它和ResourceManager和NodeManager之间是通过ProtocolBuf交互，以前是一个全局的JobTracker负责的，现在每个作业都一个，可伸缩性更强，至少不会因为作业太多，造成JobTracker瓶颈。同时将作业的逻辑放到一个独立的ApplicationMaster中，使得灵活性更加高，每个作业都可以有自己的处理方式，不用绑定到MapReduce的处理模式上

如何计算资源需求

一般的MapReduce是根据block数量来定Map和Reduce的计算数量，然后一般的Map或Reduce就占用一个Container

如何发现数据的本地化

数据本地化是通过HDFS的block分片信息获取的

文章题目：创新互联Hadoop教程：HadoopApplicationMaster
转载来源：http://www.zjjierui.cn/article/ccooddo.html

其他资讯

售后响应及时

7×24小时客服热线

数据备份

更安全、更高效、更稳定

价格公道精准

项目经理精准报价不弄虚作假

合作无风险

重合同讲信誉，无效全额退款

广元优众联杰建站公司是一家专注从事于高品质视觉体验及互联网设计开发，广元网站建设，广元网站设计，广元网页设计，广元网站制作，品牌网站建设，营销网站建设，集团网站建设，企业网站建设，外贸网站建设，响应式网站建设，小程序开发，微信开发，企业形象设计，企业宣传视频等服务，优众联杰建站位于广元市龙岗区大运软件小镇，优众联杰建站拥有经验丰富的高级网站建设工程师和一流的网页高端设计人员，具备各种规模与类型网站建设的雄厚实力，在网站建设领域树立了自己独特的设计风格。

友情链接交换友情链接

移动机房服务器托管 shganxi.cn 网站SEO优化成都集团网站建设移动网站建设成都五金件混凝土搅拌罐车成都做网站德阳机房托管成都发光字加工

Copyright © 2025 成都优众联杰科技有限公司广元建站公司 All Rights Reserved 蜀ICP备2024116266号-5

Copyright © 2025 成都优众联杰科技有限公司广元建站公司

蜀ICP备2024116266号-5