2.2 電力大數(shù)據(jù)技術(shù)體系

2.2.4數(shù)據(jù)存儲(chǔ)管理技術(shù)

數(shù)據(jù)存儲(chǔ)管理是指將大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問。數(shù)據(jù)存儲(chǔ)管理技術(shù)包括分布式存儲(chǔ)技術(shù)、NoSQL技術(shù)和內(nèi)存存儲(chǔ)技術(shù)。

（1）分布式存儲(chǔ)技術(shù)
分布式存儲(chǔ)通過網(wǎng)絡(luò)使用每臺(tái)機(jī)器上的磁盤空間，并將這些分散的存儲(chǔ)資源構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備，從而實(shí)現(xiàn)數(shù)據(jù)的分散存儲(chǔ)。典型的如Hadoop平臺(tái)中的分布式文件存儲(chǔ)系統(tǒng)（HDFS）。
分布式存儲(chǔ)的技術(shù)優(yōu)勢(shì)主要體現(xiàn)在以下四個(gè)方面：
1）支持任意超大文件存儲(chǔ)，硬件節(jié)點(diǎn)可不斷擴(kuò)展，實(shí)現(xiàn)低成本存儲(chǔ)。
2）對(duì)上層應(yīng)用屏蔽分布式部署結(jié)構(gòu)，并提供統(tǒng)一的文件系統(tǒng)訪問接口。
3）允許硬件故障，數(shù)據(jù)在不同機(jī)器節(jié)點(diǎn)實(shí)現(xiàn)冗余備份，從而實(shí)現(xiàn)高容錯(cuò)性。
4）數(shù)據(jù)分散存儲(chǔ)，并提供冗余備份機(jī)制，從而提高系統(tǒng)的穩(wěn)定性和擴(kuò)展性。

（2） NoSQL技術(shù)
NoSQL是非關(guān)系型數(shù)據(jù)存儲(chǔ)的廣義定義。NoSQL數(shù)據(jù)存儲(chǔ)不需要固定的表結(jié)構(gòu)，通常也不存在連接操作，在大數(shù)據(jù)存取上具備關(guān)系型數(shù)據(jù)庫(kù)無法比擬的性能優(yōu)勢(shì)。
NoSQL的技術(shù)優(yōu)勢(shì)主要體現(xiàn)在以下六個(gè)方面：
1）數(shù)據(jù)本身無關(guān)聯(lián)特性，在架構(gòu)層面極易擴(kuò)展。
2）對(duì)海量數(shù)據(jù)擁有極高的讀寫性能。
3）數(shù)據(jù)模型比較靈活，數(shù)據(jù)格式可以實(shí)現(xiàn)自定義。
4）在不影響性能的情況下，可以實(shí)現(xiàn)架構(gòu)的高可用性。
5）可運(yùn)用于廉價(jià)PC服務(wù)器集群上，提高資源利用。
6）數(shù)據(jù)庫(kù)模式單一，靈活自由，適合海量數(shù)據(jù)分布式處理。

（3）內(nèi)存存儲(chǔ)技術(shù)
內(nèi)存數(shù)據(jù)庫(kù)，顧名思義就是將數(shù)據(jù)放在內(nèi)存中直接操作的數(shù)據(jù)庫(kù)。相對(duì)于磁盤，內(nèi)存的數(shù)據(jù)讀寫速度要高出幾個(gè)數(shù)量級(jí).將數(shù)據(jù)保存在內(nèi)存中相比從磁盤上訪問能夠極大地提髙應(yīng)用的性能。內(nèi)存數(shù)據(jù)庫(kù)拋棄了磁盤數(shù)據(jù)管理的傳統(tǒng)方式，全部數(shù)據(jù)都在內(nèi)存中，重新設(shè)計(jì)了體系結(jié)構(gòu)，并且在數(shù)據(jù)緩存、快速算法、并行操作方面也進(jìn)行了相應(yīng)的改進(jìn)，所以數(shù)據(jù)處理速度比傳統(tǒng)數(shù)據(jù)庫(kù)的數(shù)據(jù)處理速度要快很多，一般都在10倍以上。
內(nèi)存數(shù)據(jù)庫(kù)的優(yōu)勢(shì)主要存在以下兩方面：
1）數(shù)據(jù)加載和讀取速度極快，基本滿足實(shí)時(shí)性數(shù)據(jù)的存儲(chǔ)要求，實(shí)現(xiàn)對(duì)數(shù)據(jù)的實(shí)時(shí)響應(yīng)。
2）具有較高的數(shù)據(jù)和程序獨(dú)立性，數(shù)據(jù)庫(kù)的獨(dú)立性有物理獨(dú)立性和邏輯獨(dú)立性。

書名：電力大數(shù)據(jù)：能源互聯(lián)網(wǎng)時(shí)代的電力企業(yè)轉(zhuǎn)型與價(jià)值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機(jī)械工業(yè)出版社