1.yarn有哪些調(diào)度
FIFO:單隊列 先進先出 小任務易阻塞
CAPACITY:多隊列 各隊列資源固定 小任務可同時運行,可彈性使用資源
每個隊列都可以設置最大值,不設置的話可用到整個父隊列的資源最大值(正好有空閑時);
FAIR:多隊列 各隊列資源\動態(tài)搶占** 小任務可同時運行
隊列創(chuàng)建時:除非隊列被準確的定義,否則會以用戶名為隊列名創(chuàng)建隊列
搶占就是允許調(diào)度器殺掉占用超過其應占份額資源隊列的containers,這些containers資源便可被分配到應該享有這些份額資源的隊列中。
默認調(diào)度器
Apache 開源:CAPACITY
CDH版本:FAIR
2.常用命令
yarn logs -applicationId application15391986545221073695 |more
2.1查看 Job 信息:
hadoop job -list
2.2殺掉 Job:
hadoop job –kill job_id
hadoop job –status job_id
更多關(guān)于大數(shù)據(jù)培訓的問題,歡迎咨詢千鋒教育在線名師。千鋒教育擁有多年IT培訓服務經(jīng)驗,采用全程面授高品質(zhì)、高體驗培養(yǎng)模式,擁有國內(nèi)一體化教學管理及學員服務,助力更多學員實現(xiàn)高薪夢想。