Storm環(huán)境下基于權(quán)重的任務調(diào)度算法
大小：1.35 MB 人氣： 2018-04-17 需要積分：1
大數(shù)據(jù)流式計算平臺Apache Storm默認采用輪詢的方式進行任務調(diào)度，未考慮到拓撲中各任務計算開銷的差異以及任務之間不同類型的通信模式，在負載均衡和通信開銷方面存在較大的優(yōu)化空間。針對這一問題，提出一種Storm環(huán)境下基于權(quán)重的任務調(diào)度算法（TSAW-Storm）。該算法首先根據(jù)各任務的CPU資源占用情況以及任務間的數(shù)據(jù)流大小，分別確定拓撲的點權(quán)和邊權(quán)；并利用最大化邊權(quán)增益的思想，逐步構(gòu)建起各工作節(jié)點中承載的任務集合，在保證集群負載均衡的同時，盡可能將邊權(quán)較大的節(jié)點間數(shù)據(jù)流轉(zhuǎn)化為節(jié)點內(nèi)數(shù)據(jù)流，從而降低網(wǎng)絡傳輸開銷。實驗結(jié)果表明，在包含有8個工作節(jié)點的WordCount基準測試中，TSAW-Storm的系統(tǒng)延遲和節(jié)點間數(shù)據(jù)流大小相比Storm默認調(diào)度算法分別降低了30.0%和32.9%，且各工作節(jié)點的CPU負載標準差僅為Storm默認調(diào)度算法的25.8%；此外，在與在線調(diào)度算法的對比實驗中，TSAW-Storm在系統(tǒng)延遲、節(jié)點間數(shù)據(jù)流大小和CPU負載標準差方面分別降低了7. 76%、11. 8%和5.93 %，且算法的執(zhí)行開銷明顯降低，有效提高了Storm系統(tǒng)的運行效率。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
Storm環(huán)境下基于權(quán)重的任務調(diào)度算法下載
相關(guān)電子資料下載
- 多核同構(gòu)SMP--調(diào)度算法分析 546
- RTOS常用的調(diào)度算法 238
- 簡單介紹GaussDB網(wǎng)絡調(diào)度涉及的調(diào)度算法 286
- LVS是什么？LVS的四種模式與十種調(diào)度算法介紹 1279
- Linux內(nèi)核的4大IO調(diào)度算法 371
- 基于優(yōu)先級搶占系統(tǒng)的QNX調(diào)度算法 422
- 調(diào)度算法評測與仿真系統(tǒng) 調(diào)度算法仿真系統(tǒng)介紹 1079
- Kubernetes是如何解決資源拓撲感知調(diào)度的呢 588
- kube-scheduler v1.21 的調(diào)度流程分析 593
- 時間片調(diào)度算法issue詳解 804