1.yarn有哪些调度
FIFO:单队列 先进先出 小任务易阻塞
CAPACITY:多队列 各队列资源固定 小任务可同时运行,可弹性使用资源
每个队列都可以设置最大值,不设置的话可用到整个父队列的资源最大值(正好有空闲时);
FAIR:多队列 各队列资源\动态抢占** 小任务可同时运行
队列创建时:除非队列被准确的定义,否则会以用户名为队列名创建队列
抢占就是允许调度器杀掉占用超过其应占份额资源队列的containers,这些containers资源便可被分配到应该享有这些份额资源的队列中。
默认调度器
Apache 开源:CAPACITY
CDH版本:FAIR
2.常用命令
yarn logs -applicationId application15391986545221073695 |more
2.1查看 Job 信息:
hadoop job -list
2.2杀掉 Job:
hadoop job –kill job_id
hadoop job –status job_id
更多关于大数据培训的问题,欢迎咨询千锋教育在线名师。千锋教育拥有多年IT培训服务经验,采用全程面授高品质、高体验培养模式,拥有国内一体化教学管理及学员服务,助力更多学员实现高薪梦想。