一、為什么使用Docker

隨著大數(shù)據(jù)平臺型產(chǎn)品方向的深入應(yīng)用實踐和Docker開源社區(qū)的逐漸成熟，業(yè)界有不少的大數(shù)據(jù)研發(fā)團隊開始使用Docker。

簡單來說，Docker會讓大數(shù)據(jù)平臺部署更加簡單快捷、讓研發(fā)和測試團隊集成交付更加敏捷高效、讓產(chǎn)線環(huán)境的運維更加有質(zhì)量保障。

1.1 Docker的使用場景一

在大數(shù)據(jù)平臺型產(chǎn)品的開發(fā)過程中，經(jīng)常要跟許多模塊打交道，包括Hadoop、Hive、Spark、Zookeeper……等多達(dá)幾十個開源組件，為了不影響團隊成員間的工作任務(wù)協(xié)同，開發(fā)人員其實非常需要自己有一套獨立的集群環(huán)境，以便反復(fù)測試自己負(fù)責(zé)的模塊。

可真實的企業(yè)開發(fā)環(huán)境往往只有一兩個大的虛擬集群，這可怎么辦？難道要給每個開發(fā)人員都配幾臺獨立的物理機器？

1.2 Docker的使用場景二

針對每一次新版本的發(fā)布，產(chǎn)品測試組都需要反復(fù)的重裝整個平臺以便發(fā)現(xiàn)問題，而正如本文前面所闡述的那樣，大數(shù)據(jù)平臺所依賴的組件繁多，不同組件模塊依賴的底層庫也不盡相同。

經(jīng)常會出現(xiàn)各種依賴沖突問題，而一旦安裝完成，就很難再讓Linux系統(tǒng)恢復(fù)到一個非常干凈的狀態(tài)。

通過Remove、UnInstall、rpm -e等手動方式卸載，往往需要花費很長的時間，那如何才能快速地恢復(fù)大數(shù)據(jù)平臺集群的系統(tǒng)環(huán)境?

1.3 Docker的使用場景三

當(dāng)測試人員在測試大數(shù)據(jù)平臺過程中發(fā)現(xiàn)了一個BUG，需要保存現(xiàn)場，這里面包括相關(guān)的大數(shù)據(jù)組件配置、進(jìn)程狀態(tài)、運行日志、還有一些中間數(shù)據(jù)。

可是，平臺集群服務(wù)器節(jié)點數(shù)量很多，針對每個進(jìn)程的配置目錄和日志文件，都相對較獨立。

一般都需要專業(yè)的開發(fā)工程師或者運維工程師進(jìn)入相關(guān)服務(wù)器節(jié)點，按照不同組件的個性化配置信息，手工方式收集所需的各個條目信息，然后打包匯集到日志中心服務(wù)器進(jìn)行統(tǒng)一分析。

而目前業(yè)界并沒有一款能夠自動分布式收集故障相關(guān)的日志系統(tǒng)，但測試工作還要繼續(xù)，怎么辦?

傳統(tǒng)解決方案的缺陷

想要解決這些問題，第一個想到的方案當(dāng)然是用虛擬機，但這種方式并不能完美的解決以上問

題，比如：

• 雖然虛擬機也可以完成系統(tǒng)環(huán)境的遷移，但這并不是它所擅長的，不夠靈活，很笨重。

• 虛擬機的快照可以保存當(dāng)前的狀態(tài)，但要恢復(fù)回去，就得把當(dāng)前正在運行的虛擬機關(guān)閉，所以

  并不適合頻繁保存當(dāng)前狀態(tài)的業(yè)務(wù)場景。

• 雖然可以給每個人都分配幾個虛擬機用，但它是一個完整的系統(tǒng)，本身需要較多的資源，底層

  物理機的資源很快就被用完了，所以我們需要尋找其它方式來彌補這些不足

**