Quantcast
Channel: 《YARN/MRv2 MRAppMaster深入剖析—推测执行机制》的评论
Browsing all 11 articles
Browse latest View live

由:xxdr

关于慢任务的解决方案,我通过阅读博主的文章,有了初步的认识,感谢哈。。。

View Article



由:xxdr

博主,不好意思,第3个问题你已经回答了,speculative task属于优化,空间换时间;failed task 和killed task属于容错调度范畴。

View Article

由:Dong

1. 你再好好体会一下killed和failed的去呗,kill是Hadoop将主动任务杀死,这通常是由于Hadoop认为task出现了问题(比如长时间产生输出)或者是恶意的task(task使用超量内存)。而fail是任务自己退出(你的程序退出),比如内存不够,写磁盘失败等,框架并没有将task杀死,是task自己退出的,很多情况下会出现kill和failtask...

View Article

由:xxdr

Thank You!!

View Article

由:Andrew

学长,你的博客太强了。 想请教一下:我想手动调整同一个MR作业中各个任务的container大小,不知能否做到?是通过调整配置参数,重写MRAppMaster,还是? 例如:Job1 = 我想实现 task1 <= 250MB, task2 <= 100MB, task3 <= 200MB.

View Article


由:Dong

现在MR仅支持两种container大小,一种是map(所有map task都一样),一种是reduce(所有reduce...

View Article

由:Andrew

多谢多谢!好的,那么我修改下MRAppMaster试试看。 能不能问句题外话,学长对Hadoop-2了解得这么系统,这些知识是从哪里来的?没搜到其他地方有这么专业的介绍啊。

View Article

由:Dong

自学。

View Article


由:Andrew

想问下学长,在不修改源代码的情况下,如何配置container大小呢?需要用到哪几个参数? 我设置了-Dmapreduce.map.memory.mb=512,但是log显示分配给container的内存总是1024.请问有可能出了什么问题?

View Article


由:Dong

不应该啊,小伙子。

View Article

作者:cw

我想问的是我运行wordcount、grep等应用,为什么发现map 被kill的情况几乎没有,也就是说推测任务没用进行。但是reduce任务 通常都有几个被kill。我买了您的书,推测执行这块的源码也都看了,也没找到原因。另外,我想问下hadoop 2.0之后,LATE调度 好像已经不存在,是否有这方面的源码

View Article
Browsing all 11 articles
Browse latest View live




Latest Images

Vimeo 10.7.0 by Vimeo.com, Inc.

Vimeo 10.7.0 by Vimeo.com, Inc.

HANGAD

HANGAD

MAKAKAALAM

MAKAKAALAM

Doodle Jump 3.11.30 by Lima Sky LLC

Doodle Jump 3.11.30 by Lima Sky LLC

Doodle Jump 3.11.30 by Lima Sky LLC

Doodle Jump 3.11.30 by Lima Sky LLC

Vimeo 10.6.1 by Vimeo.com, Inc.

Vimeo 10.6.1 by Vimeo.com, Inc.