由:xxdr
博主,不好意思,第3个问题你已经回答了,speculative task属于优化,空间换时间;failed task 和killed task属于容错调度范畴。
View Article由:Dong
1. 你再好好体会一下killed和failed的去呗,kill是Hadoop将主动任务杀死,这通常是由于Hadoop认为task出现了问题(比如长时间产生输出)或者是恶意的task(task使用超量内存)。而fail是任务自己退出(你的程序退出),比如内存不够,写磁盘失败等,框架并没有将task杀死,是task自己退出的,很多情况下会出现kill和failtask...
View Article由:Andrew
学长,你的博客太强了。 想请教一下:我想手动调整同一个MR作业中各个任务的container大小,不知能否做到?是通过调整配置参数,重写MRAppMaster,还是? 例如:Job1 = 我想实现 task1 <= 250MB, task2 <= 100MB, task3 <= 200MB.
View Article由:Andrew
多谢多谢!好的,那么我修改下MRAppMaster试试看。 能不能问句题外话,学长对Hadoop-2了解得这么系统,这些知识是从哪里来的?没搜到其他地方有这么专业的介绍啊。
View Article由:Andrew
想问下学长,在不修改源代码的情况下,如何配置container大小呢?需要用到哪几个参数? 我设置了-Dmapreduce.map.memory.mb=512,但是log显示分配给container的内存总是1024.请问有可能出了什么问题?
View Article作者:cw
我想问的是我运行wordcount、grep等应用,为什么发现map 被kill的情况几乎没有,也就是说推测任务没用进行。但是reduce任务 通常都有几个被kill。我买了您的书,推测执行这块的源码也都看了,也没找到原因。另外,我想问下hadoop 2.0之后,LATE调度 好像已经不存在,是否有这方面的源码
View Article
More Pages to Explore .....