1. 應(yīng)用背景
上海電氣國(guó)軒新能源科技有限公司(以下簡(jiǎn)稱“上海電氣國(guó)軒”)長(zhǎng)期致力于電化學(xué)儲(chǔ)能業(yè)務(wù)的技術(shù)研發(fā)、工程應(yīng)用和市場(chǎng)開(kāi)拓，實(shí)現(xiàn)從電芯到儲(chǔ)能系統(tǒng)的全產(chǎn)業(yè)鏈覆蓋，能夠?yàn)樾履茉?儲(chǔ)能、調(diào)峰調(diào)頻、電網(wǎng)側(cè)儲(chǔ)能、工商業(yè)儲(chǔ)能應(yīng)用等提供一站式系統(tǒng)解決方案。其儲(chǔ)能系統(tǒng)已進(jìn)入全國(guó) 18 個(gè)省、市、自治區(qū)，已完成電源側(cè)、電網(wǎng)側(cè)、用戶側(cè)全場(chǎng)景應(yīng)用布局。
圍繞"一芯3S"(電芯、BMS、EMS、PCS)核心產(chǎn)品鏈，上海電氣國(guó)軒構(gòu)建了儲(chǔ)能核心競(jìng)爭(zhēng)力，其中"上海電氣智慧儲(chǔ)能運(yùn)營(yíng)云平臺(tái)"為關(guān)鍵組成部分。
上海電氣智慧儲(chǔ)能運(yùn)營(yíng)云平臺(tái)旨在運(yùn)用物聯(lián)網(wǎng)、大數(shù)據(jù)、機(jī)器學(xué)習(xí)等前沿?cái)?shù)字化技術(shù)，提供對(duì)儲(chǔ)能單元的狀態(tài)感知、邊緣協(xié)同管理、儲(chǔ)能運(yùn)行可靠性評(píng)估及儲(chǔ)能系統(tǒng)運(yùn)維策略等方面能力，構(gòu)建滿足儲(chǔ)能智慧運(yùn)營(yíng)和智慧運(yùn)維相結(jié)合的場(chǎng)景化解決方案。
該平臺(tái)的建設(shè)存在兩大難點(diǎn)：面向大規(guī)模儲(chǔ)能場(chǎng)景的海量時(shí)序數(shù)據(jù)接入，以及多終端、多環(huán)境的云邊協(xié)同。上海電氣國(guó)軒通過(guò)選擇 IoTDB 作為智慧儲(chǔ)能運(yùn)營(yíng)云平臺(tái)中，負(fù)責(zé)時(shí)序數(shù)據(jù)存儲(chǔ)、查詢、分析、傳輸?shù)暮诵慕M件，實(shí)現(xiàn)了高通量寫入、高壓縮比、高實(shí)時(shí)查詢返回，并建立了高擴(kuò)展、高靈活度的數(shù)據(jù)模型與協(xié)同同步方案。
2. 應(yīng)用痛點(diǎn)
大規(guī)模儲(chǔ)能電站場(chǎng)景的時(shí)序數(shù)據(jù)管理，往往面臨數(shù)據(jù)寫入、存儲(chǔ)、查詢等性能挑戰(zhàn)，并需要減少系統(tǒng)架構(gòu)復(fù)雜度，降低系統(tǒng)維護(hù)成本，提高系統(tǒng)可靠性。具體來(lái)看：
數(shù)據(jù)量大，采集頻率高
以 200 MWh 規(guī)模的儲(chǔ)能電站為例，其一般包括幾十臺(tái)集裝箱，共約百萬(wàn)個(gè)測(cè)點(diǎn)，以秒級(jí)頻率進(jìn)行采集，年數(shù)據(jù)量達(dá)到 TB 級(jí)別。而以集裝箱為例，目前上海電氣國(guó)軒系統(tǒng)已接入 1 GWh 容量、約 400 臺(tái)設(shè)備，每臺(tái)設(shè)備測(cè)點(diǎn)在 6000～8000 個(gè)左右，每個(gè)測(cè)點(diǎn)平均 15～30 秒更新一次數(shù)據(jù)。海量的時(shí)序數(shù)據(jù)增加了存儲(chǔ)和計(jì)算資源的壓力，超高的采集頻率也對(duì)物聯(lián)網(wǎng)終端設(shè)備的性能和穩(wěn)定性提出了更高的要求。
數(shù)據(jù)的無(wú)序性
通常而言，采集數(shù)據(jù)多為連續(xù)數(shù)據(jù)流形式，從不同的外部數(shù)據(jù)源持續(xù)生成。但在工業(yè)互聯(lián)網(wǎng)常見(jiàn)的端、邊、云數(shù)據(jù)傳輸場(chǎng)景中，由于網(wǎng)絡(luò)和安全策略等原因，往往無(wú)法控制這些數(shù)據(jù)流到達(dá)的順序和產(chǎn)生的速率。數(shù)據(jù)流可以看作一個(gè)帶有時(shí)間戳的、無(wú)限增長(zhǎng)的結(jié)構(gòu)化日志模型，它的流向是不可變的，一般不支持更新操作。所以大規(guī)模儲(chǔ)能電站場(chǎng)景中，如何更好地接入、存儲(chǔ)這些無(wú)序數(shù)據(jù)并實(shí)現(xiàn)協(xié)同部署，是一大挑戰(zhàn)。
寫入和查詢性能要求
儲(chǔ)能測(cè)點(diǎn)基數(shù)大，并采用及時(shí)變位存儲(chǔ)，導(dǎo)致存儲(chǔ)數(shù)據(jù)量巨大。如果數(shù)據(jù)庫(kù)不能及時(shí)寫入，系統(tǒng)設(shè)計(jì)的復(fù)雜度會(huì)隨之提高。
同時(shí)，對(duì)于 TB 級(jí)別以上的數(shù)據(jù)量，傳統(tǒng)的大數(shù)據(jù)手段可以做到非實(shí)時(shí)查詢分析，但對(duì)時(shí)序數(shù)據(jù)最重要的實(shí)時(shí)查詢場(chǎng)景，傳統(tǒng)大數(shù)據(jù)手段可能無(wú)法滿足性能要求。
此外，采集系統(tǒng)上傳的原始數(shù)據(jù)一般無(wú)法滿足業(yè)務(wù)需要，這些離散的原始數(shù)據(jù)需要進(jìn)一步加工、處理、分析，而在此過(guò)程中依然需要保證寫入性能，因此對(duì)系統(tǒng)的并發(fā)能力提出了要求。
靈活的數(shù)據(jù)模型要求
對(duì)于查詢、處理過(guò)的更高重要性的數(shù)據(jù)，上海電氣國(guó)軒希望將其直接加入到數(shù)據(jù)模型中，從而不斷地完善擴(kuò)展現(xiàn)有模型，因此需要數(shù)據(jù)庫(kù)支持的數(shù)據(jù)模型具備高擴(kuò)展性與靈活性。
并且，智慧儲(chǔ)能運(yùn)營(yíng)云平臺(tái)的設(shè)計(jì)初衷并非只滿足儲(chǔ)能系統(tǒng)數(shù)字化的需要，同時(shí)也希望滿足風(fēng)、光、充等新能源系統(tǒng)集成和其他類型系統(tǒng)的需要，因此需要針對(duì)各個(gè)行業(yè)實(shí)現(xiàn)靈活建模，并能夠在開(kāi)發(fā)過(guò)程靈活擴(kuò)展。
3. 選擇 IoTDB 原因
上海電氣國(guó)軒之所以選擇 IoTDB 作為智慧儲(chǔ)能運(yùn)營(yíng)云平臺(tái)中的時(shí)序數(shù)據(jù)管理核心組件，主要因?yàn)?IoTDB 有以下幾點(diǎn)特性：
物聯(lián)網(wǎng)原生
IoTDB 立足物聯(lián)網(wǎng)/工業(yè)物聯(lián)網(wǎng)業(yè)務(wù)場(chǎng)景，針對(duì)工業(yè)場(chǎng)景時(shí)序數(shù)據(jù)管理中數(shù)據(jù)通量高、數(shù)據(jù)模式弱、兩節(jié)點(diǎn)高可用等典型需求，自主研發(fā)了 IoT/IIoT 全場(chǎng)景工具，能夠提供低理解成本、高應(yīng)用效能的完整解決方案。上海電氣國(guó)軒對(duì)于 IoTDB 為工業(yè)業(yè)務(wù)場(chǎng)景量身研發(fā)的數(shù)據(jù)模型、功能、工具等成果十分認(rèn)可。
穩(wěn)定的寫入支持
IoTDB 具備強(qiáng)大的海量時(shí)序數(shù)據(jù)寫入能力，列式寫入模式支持毫秒級(jí)接入，能夠滿足海量時(shí)序數(shù)據(jù)上報(bào)需求。在上海電氣國(guó)軒實(shí)際應(yīng)用中，以 200 MWH 容量電站的數(shù)據(jù)采集為例，總數(shù) 40 萬(wàn)測(cè)點(diǎn)中如同時(shí)有 20 萬(wàn)測(cè)點(diǎn)更新寫入 IoTDB，經(jīng)實(shí)踐單機(jī)版寫入毫無(wú)壓力并保持運(yùn)行穩(wěn)定。
優(yōu)異的數(shù)據(jù)壓縮比
在存儲(chǔ)壓縮性能方面，IoTDB 結(jié)合自研的時(shí)序數(shù)據(jù)標(biāo)準(zhǔn)文件格式 TsFile，其中列式存儲(chǔ)、編碼算法、分段摘要信息、文件級(jí)索引等架構(gòu)，能夠使數(shù)據(jù)壓縮比獲得明顯提升。
上海電氣國(guó)軒將過(guò)去其他數(shù)據(jù)庫(kù)約 3T 的數(shù)據(jù)遷移到 IoTDB 上，只占用約 100G 空間，大幅減少了資源占用與成本。目前上海電氣國(guó)軒萬(wàn)億量級(jí)的數(shù)據(jù)，只占用 800GB 存儲(chǔ)空間。對(duì)于 200 MWH 容量電站，單站部署機(jī)器要求的磁盤容量配置也相應(yīng)大大降低，只需 2～8T 便可滿足 5 年以上數(shù)據(jù)的存儲(chǔ)要求。
優(yōu)雅的存儲(chǔ)模型
傳統(tǒng)時(shí)序數(shù)據(jù)模型需要通過(guò) Table 進(jìn)行管理，雖然能夠?qū)崿F(xiàn)測(cè)點(diǎn)的添加，但從概念上不免受到 Table 結(jié)構(gòu)的約束，需要開(kāi)發(fā)人員學(xué)習(xí)特定創(chuàng)建或修改的語(yǔ)句等，學(xué)習(xí)和記憶的成本均較高。
IoTDB 采用樹(shù)形時(shí)序數(shù)據(jù)模型，能夠直觀地與工業(yè)場(chǎng)景中的工廠、設(shè)備、測(cè)點(diǎn)/傳感器等層級(jí)進(jìn)行對(duì)應(yīng)。對(duì)于需要新增或變更的設(shè)備，IoTDB 也能夠做到自動(dòng)化同步，有效降低時(shí)序數(shù)據(jù)管理與運(yùn)維成本的同時(shí)，也方便了模型的擴(kuò)展，能夠達(dá)到億級(jí)時(shí)序數(shù)據(jù)的管理規(guī)模。
上海電氣國(guó)軒基于 IoTDB 構(gòu)建的時(shí)序數(shù)據(jù)模型
4. 應(yīng)用架構(gòu)及效果
上海電氣國(guó)軒打造的上海電氣智慧儲(chǔ)能運(yùn)營(yíng)云平臺(tái)，依托 IoTDB 以及大數(shù)據(jù)分析、智慧云平臺(tái)等能源數(shù)字化技術(shù)，構(gòu)建了儲(chǔ)能系統(tǒng)的“端-邊-云”協(xié)同系統(tǒng)，實(shí)現(xiàn)儲(chǔ)能電站和設(shè)備的全面感知、實(shí)時(shí)監(jiān)控、數(shù)據(jù)追溯、智能診斷以及儲(chǔ)能系統(tǒng)的全生命周期管理，有效提升電站和設(shè)備的運(yùn)行壽命以及經(jīng)濟(jì)性收益。
該平臺(tái)可滿足端-邊-云業(yè)務(wù)場(chǎng)景下的所有業(yè)務(wù)需要，包含邊緣側(cè)數(shù)據(jù)接入、邊緣側(cè)數(shù)據(jù)處理、云側(cè)數(shù)據(jù)接入、云端多級(jí)數(shù)據(jù)處理、數(shù)據(jù)管理等處理全鏈路，實(shí)現(xiàn)數(shù)據(jù)采集、邊緣數(shù)據(jù)轉(zhuǎn)發(fā)、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)模型管理、可視化監(jiān)測(cè)、決策分析等功能模塊。
儲(chǔ)能工業(yè)場(chǎng)景產(chǎn)生的數(shù)據(jù)從智能設(shè)備層上報(bào)，通過(guò)數(shù)據(jù)接入層的多類協(xié)議進(jìn)行采集，傳輸進(jìn)入數(shù)據(jù)存儲(chǔ)層的各類數(shù)據(jù)庫(kù)中，以供數(shù)據(jù)服務(wù)層的多類處理、分析功能進(jìn)行調(diào)用、查詢，最終服務(wù)業(yè)務(wù)層的數(shù)據(jù)可視化、告警檢測(cè)、業(yè)務(wù)決策等方向。
在整個(gè)系統(tǒng)時(shí)序數(shù)據(jù)鏈路層，上海電氣國(guó)軒借助 IoTDB 優(yōu)勢(shì)，將 IoTDB 應(yīng)用至數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)傳輸、數(shù)據(jù)分析等各個(gè)方面，用以管理電池電芯、儲(chǔ)能電池簇、集裝箱儲(chǔ)能系統(tǒng)、5G 通信基站備用電源、UPS 備用電源等多類儲(chǔ)能設(shè)備監(jiān)測(cè)數(shù)據(jù)。
基于統(tǒng)一的、可插拔的文件格式 TsFile，上海電氣國(guó)軒實(shí)現(xiàn)跨網(wǎng)閘文件同步，場(chǎng)站端側(cè)向云側(cè)數(shù)據(jù)上傳，方便、靈活地協(xié)同傳輸需求。
借助 IoTDB 本身具備的高讀寫能力、高壓縮能力、時(shí)序場(chǎng)景實(shí)時(shí)查詢能力等，上海電氣國(guó)軒可有效利用時(shí)序數(shù)據(jù)，支持分析電池利用率、使用壽命等業(yè)務(wù)服務(wù)。
不僅如此，上海電氣國(guó)軒也對(duì)原有系統(tǒng)完成了重新設(shè)計(jì)和定義。依托 IoTDB，上海電氣國(guó)軒全面設(shè)計(jì)和規(guī)范化模型，使其靈活支持業(yè)務(wù)的變化;在 IoTDB 實(shí)現(xiàn)的高效寫入和壓縮性能基礎(chǔ)上，上海電氣國(guó)軒全面優(yōu)化系統(tǒng)部件，如場(chǎng)端去掉消息隊(duì)列、Redis 等，從而大幅提升上海電氣智慧儲(chǔ)能運(yùn)營(yíng)云平臺(tái)對(duì)時(shí)序數(shù)據(jù)管理的效率。
目前，上海電氣智慧儲(chǔ)能運(yùn)營(yíng)云平臺(tái)接入測(cè)點(diǎn)約有 500 萬(wàn)點(diǎn)以上，每個(gè)測(cè)點(diǎn)平均每 5～10 秒更新一次數(shù)據(jù)，總數(shù)據(jù)存儲(chǔ)量超過(guò)萬(wàn)億條，并且隨著業(yè)務(wù)的發(fā)展，測(cè)點(diǎn)數(shù)量還在不斷增長(zhǎng)中。
IoTDB 在功能、性能等方面的優(yōu)勢(shì)，成功幫助上海電氣國(guó)軒系統(tǒng)從重服務(wù)蛻變?yōu)檩p服務(wù)，有效降低開(kāi)發(fā)難度，減輕系統(tǒng)運(yùn)維壓力，架構(gòu)設(shè)計(jì)得到質(zhì)的提高，并減少了企業(yè)的存儲(chǔ)成本和計(jì)算成本。同時(shí)，IoTDB 優(yōu)雅的樹(shù)狀結(jié)構(gòu)模型也提升了服務(wù)接口之間的一致性。各方賦能下，上海電氣國(guó)軒系統(tǒng)性能得到質(zhì)的提升，目前沒(méi)有發(fā)生劣化現(xiàn)象。
5. 應(yīng)用場(chǎng)景舉例
場(chǎng)景一：歷史數(shù)據(jù)回溯
針對(duì)上海電氣國(guó)軒需要從海量歷史數(shù)據(jù)中回溯指定時(shí)刻數(shù)據(jù)，并完成可視化散點(diǎn)圖渲染的需求，IoTDB 可在 3 秒內(nèi)完成從讀取數(shù)據(jù)到頁(yè)面散點(diǎn) Chart 的渲染。
場(chǎng)景二：歷史數(shù)據(jù)可視化
針對(duì)上海電氣國(guó)軒需要獲取一月內(nèi)的原始?xì)v史數(shù)據(jù)，并基于不同的設(shè)備或數(shù)據(jù)項(xiàng)繪制歷史數(shù)據(jù)曲線的需求，IoTDB 可在 2 秒內(nèi)完成從讀取數(shù)據(jù)到曲線頁(yè)面的可視化呈現(xiàn)。
6. 未來(lái)展望
目前，上海電氣國(guó)軒基于 IoTDB 打造的上海電氣智慧儲(chǔ)能運(yùn)營(yíng)云平臺(tái)已平穩(wěn)、高效運(yùn)行 2 年。
未來(lái)，伴隨著儲(chǔ)能行業(yè)的快速發(fā)展，時(shí)序數(shù)據(jù)的數(shù)據(jù)量也將呈現(xiàn)指數(shù)增長(zhǎng)。上海電氣國(guó)軒將繼續(xù)與 IoTDB 團(tuán)隊(duì)緊密配合，挖掘時(shí)序數(shù)據(jù)對(duì)于儲(chǔ)能業(yè)務(wù)場(chǎng)景的應(yīng)用價(jià)值。
評(píng)論