分布式存儲技術有哪些

1、元數(shù)據(jù)管理

在大數(shù)據(jù)環(huán)境下，元數(shù)據(jù)的體量也非常大，元數(shù)據(jù)的存取性能是整個分布式文件系統(tǒng)性能的關鍵。常見的元數(shù)據(jù)管理可以分為集中式和分布式元數(shù)據(jù)管理架構。集中式元數(shù)據(jù)管理架構采用單一的元數(shù)據(jù)服務器，實現(xiàn)簡單．但是存在單點故障等問題。分布式元數(shù)據(jù)管理架構則將元數(shù)據(jù)分散在多個結點上．進而解決了元數(shù)據(jù)服務器的性能瓶頸等問題．并提高了元數(shù)據(jù)管理架構的可擴展性，但實現(xiàn)較為復雜，并引入了元數(shù)據(jù)一致性的問題。另外，還有一種無元數(shù)據(jù)服務器的分布式架構，通過在線算法組織數(shù)據(jù)，不需要專用的元數(shù)據(jù)服務器。但是該架構對數(shù)據(jù)一致性的保障很困難．實現(xiàn)較為復雜。文件目錄遍歷操作效率低下，并且缺乏文件系統(tǒng)全局監(jiān)控管理功能。

2、系統(tǒng)彈性擴展技術

在大數(shù)據(jù)環(huán)境下，數(shù)據(jù)規(guī)模和復雜度的增加往往非常迅速，對系統(tǒng)的擴展性能要求較高。實現(xiàn)存儲系統(tǒng)的高可擴展性首先要解決兩個方面的重要問題，包含元數(shù)據(jù)的分配和數(shù)據(jù)的透明遷移。元數(shù)據(jù)的分配主要通過靜態(tài)子樹劃分技術實現(xiàn)，后者則側重數(shù)據(jù)遷移算法的優(yōu)化。此外，大數(shù)據(jù)存儲體系規(guī)模龐大．結點失效率高，因此還需要完成一定的自適應管理功能。系統(tǒng)必須能夠根據(jù)數(shù)據(jù)量和計算的工作量估算所需要的結點個數(shù)，并動態(tài)地將數(shù)據(jù)在結點間遷移。以實現(xiàn)負載均衡；同時．結點失效時，數(shù)據(jù)必須可以通過副本等機制進行恢復，不能對上層應用產生影響。

3、存儲層級內的優(yōu)化技術

構建存儲系統(tǒng)時．需要基于成本和性能來考慮，因此存儲系統(tǒng)通常采用多層不同性價比的存儲器件組成存儲層次結構。大數(shù)據(jù)的規(guī)模大，因此構建高效合理的存儲層次結構，可以在保證系統(tǒng)性能的前提下，降低系統(tǒng)能耗和構建成本，利用數(shù)據(jù)訪問局部性原理．可以從兩個方面對存儲層次結構進行優(yōu)化。從提高性能的角度，可以通過分析應用特征，識別熱點數(shù)據(jù)并對其進行緩存或預取，通過高效的緩存預取算法和合理的緩存容量配比，以提高訪問性能。從降低成本的角度，采用信息生命周期管理方法，將訪問頻率低的冷數(shù)據(jù)遷移到低速廉價存儲設備上，可以在小幅犧牲系統(tǒng)整體性能的基礎上，大幅降低系統(tǒng)的構建成本和能耗。

4、針對應用和負載的存儲優(yōu)化技術

傳統(tǒng)數(shù)據(jù)存儲模型需要支持盡可能多的應用，因此需要具備較好的通用性。大數(shù)據(jù)具有大規(guī)模、高動態(tài)及快速處理等特性，通用的數(shù)據(jù)存儲模型通常并不是最能提高應用性能的模型．而大數(shù)據(jù)存儲系統(tǒng)對上層應用性能的關注遠遠超過對通用性的追求。針對應用和負載來優(yōu)化存儲，就是將數(shù)據(jù)存儲與應用耦合。簡化或擴展分布式文件系統(tǒng)的功能，根據(jù)特定應用、特定負載、特定的計算模型對文件系統(tǒng)進行定制和深度優(yōu)化，使應用達到最佳性能。這類優(yōu)化技術在谷歌、Facebook等互聯(lián)網公司的內部存儲系統(tǒng)上，管理超過千萬億字節(jié)級別的大數(shù)據(jù)，能夠達到非常高的性能。