99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

華為云GaussDB(for Influx):讓智能電網(wǎng)時(shí)序數(shù)據(jù)處理更高效

路過的憨憨 ? 來源:路過的憨憨 ? 作者:路過的憨憨 ? 2022-11-25 09:06 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

1. 電網(wǎng)場景中的時(shí)序數(shù)據(jù)

今天在手機(jī)上就可以直接交電費(fèi)、查看剩余電量、電量不足還可以發(fā)出告警提醒、以及分析過去的用電情況、預(yù)估未來用電情況等等。再也不用去繳費(fèi)點(diǎn)繳費(fèi),也不用人工去每個(gè)電表上抄每家的使用情況,這些都基于我們國家的智能電網(wǎng)建設(shè),而以上只是對消費(fèi)者帶來的一些便利。智能電網(wǎng)在電網(wǎng)線路監(jiān)控、電力調(diào)度、配電等方面發(fā)揮著越來越重要的作用。

智能電網(wǎng)是由許多部分組成,包括智能變電站,線路輸送,智能交互終端,智能電表,智能中央系統(tǒng)等等。每個(gè)部分都集成了大量的傳感器,這些分布在全網(wǎng)各節(jié)點(diǎn)的傳感器無時(shí)無刻不在收集各類數(shù)據(jù)。隨著中國智能電網(wǎng)建設(shè)的不斷完善,其測點(diǎn)的規(guī)模越來越大,達(dá)到數(shù)千萬級以上,并且單個(gè)測點(diǎn)將以分鐘級甚至秒級的頻率產(chǎn)生數(shù)據(jù)。將會(huì)產(chǎn)生海量的監(jiān)控?cái)?shù)據(jù),而且這些數(shù)據(jù)大部分屬于時(shí)序數(shù)據(jù)。

因此在針對智能電網(wǎng)構(gòu)建集中式數(shù)據(jù)中心時(shí),如何存儲(chǔ)、處理、分析海量的監(jiān)控?cái)?shù)據(jù)成為一個(gè)難點(diǎn),具體包括以下面三個(gè)方面 :

· 數(shù)據(jù)規(guī)模超大,分布密集,數(shù)據(jù)存儲(chǔ)難

以智能電網(wǎng)中WAMS 系統(tǒng)為例,每秒需要處理的時(shí)序數(shù)據(jù)記錄數(shù)可達(dá)到一千萬,因此需要支撐每秒千萬級別的寫入。常規(guī)的數(shù)據(jù)處理方式根本無法滿足需求。

· 數(shù)據(jù)處理實(shí)時(shí)性需求高

針對數(shù)千萬的電表終端,客戶在充值后要立即生效,客戶產(chǎn)生的電量要實(shí)時(shí)的計(jì)費(fèi),并反饋給客戶等場景,都需要實(shí)時(shí)的處理海量數(shù)據(jù)

針對數(shù)千公里的電網(wǎng)線路監(jiān)控,如果出現(xiàn)異常,要能及時(shí)告警等,

· 數(shù)據(jù)價(jià)值挖掘困難

電網(wǎng)檢測點(diǎn)多,檢測信息密集,在如此海量的數(shù)據(jù)中挖掘出有價(jià)值的信息也會(huì)遇到很大的挑戰(zhàn)。

1.1 智能電網(wǎng)設(shè)備中的時(shí)序數(shù)據(jù)

image.png

智能電網(wǎng)中的時(shí)序數(shù)據(jù)一般是指由設(shè)備/儀表產(chǎn)生,由傳感器進(jìn)行收集,與某一設(shè)備具體相關(guān),在時(shí)間上前后存在關(guān)聯(lián)性的一類數(shù)據(jù)。如上圖所示,對于電網(wǎng)中的電表設(shè)備,其電壓、電流值就是典型的時(shí)序數(shù)據(jù)。

一條時(shí)序數(shù)據(jù)記錄一般可定義為三元組:

· DeviceID : 產(chǎn)生該條數(shù)據(jù)的物理設(shè)備/傳感器

· TimeStamp為記錄產(chǎn)生的時(shí)間戳

· Value : 為設(shè)備測點(diǎn)具體的值。

在智能電網(wǎng)設(shè)備運(yùn)行中,需要存儲(chǔ)的數(shù)據(jù)包括狀態(tài)量和模擬量。狀態(tài)量反應(yīng)設(shè)備的運(yùn)行狀態(tài)和告警狀態(tài),一般通過事件順序(Sequence of Event,SOE)記錄可滿足對數(shù)據(jù)的檢索和分析需求。電流、電壓和功率等模擬量會(huì)隨著設(shè)備運(yùn)行時(shí)刻變化,具有明顯的時(shí)序特性,需要進(jìn)行時(shí)序存儲(chǔ)。通過在選定的時(shí)間內(nèi)查詢 SOE 記錄,可以將狀態(tài)量和模擬量進(jìn)行關(guān)聯(lián)分析。智能電網(wǎng)監(jiān)控系統(tǒng)中,已對斷路器、隔離開關(guān),變壓器、負(fù)荷和聯(lián)絡(luò)線等電網(wǎng)設(shè)備進(jìn)行建模,數(shù)據(jù)模型包括狀態(tài)量和模擬量,其中模擬量包括電壓、電流、有功、無功和頻率等,不同的設(shè)備類型需要采集和存儲(chǔ)的模擬量不同。以智能電表為例子,智能電表是組成智能電網(wǎng)的基礎(chǔ)設(shè)施,通常安裝在用戶樓宇,用于收集每戶產(chǎn)生的電力負(fù)荷數(shù)據(jù),智能電表至少每天將這些信息反饋給中央系統(tǒng)。智能電網(wǎng)時(shí)間序列數(shù)據(jù)主要由大量的時(shí)間戳/值對組成,且通常一次寫入,多次查詢,很少修改或刪除,但可追加,根據(jù)智能電網(wǎng)應(yīng)用場景,一般訪問一段時(shí)間內(nèi)或某一時(shí)間點(diǎn)的數(shù)據(jù)。

下面我們可以具體看一下不同的電網(wǎng)設(shè)備采集和存儲(chǔ)時(shí)序數(shù)據(jù)也大有不同。

1.2 各類智能電網(wǎng)設(shè)備時(shí)序數(shù)據(jù)測點(diǎn)舉例

· 線路輸送設(shè)備數(shù)據(jù)存儲(chǔ)需求

智能電網(wǎng)線路設(shè)備主要包括母聯(lián),母線,變壓器,容抗器,聯(lián)絡(luò)線,負(fù)荷和發(fā)電機(jī),這些設(shè)備采集和觀測的指標(biāo)也各有不同。

image.png

· 智能電表設(shè)備數(shù)據(jù)存儲(chǔ)需求

主要指安裝在用戶樓宇的智能電表收集的電力負(fù)荷數(shù)據(jù),本質(zhì)上是時(shí)間序列數(shù)據(jù)。以固定的短暫的時(shí)間間隔為單位持續(xù)記錄,并實(shí)時(shí)反饋給中央監(jiān)控系統(tǒng)。其對于客戶和電網(wǎng)公司非常重要,因其可被用于許多電網(wǎng)服務(wù),比如跟蹤電能消耗和預(yù)測電力負(fù)荷。除此之外,

電能表凍結(jié)電量值 - 電能表定時(shí)凍結(jié),瞬時(shí)凍結(jié),日凍結(jié),整點(diǎn)凍結(jié)也是很重要的指標(biāo),用于計(jì)費(fèi)用戶用電量和管理梯度用電使用情況。一般會(huì)對電能表定時(shí)凍結(jié),瞬時(shí)凍結(jié),日凍結(jié),整點(diǎn)凍結(jié)數(shù)據(jù)存儲(chǔ)和查詢,方便對年度、季度、月度的電量進(jìn)行計(jì)算查詢。

image.png

image.png

1.3 電網(wǎng)數(shù)據(jù)常用的查詢場景

智能電網(wǎng)數(shù)據(jù)采集及監(jiān)控系統(tǒng)(SCADA)作為智能電力物聯(lián)網(wǎng)的一部分,對于時(shí)序數(shù)據(jù)處理有著多種維度查需和數(shù)據(jù)聚合需求,不僅需要實(shí)時(shí)監(jiān)控,需要?dú)v史數(shù)據(jù)分析,例如歷史 PDR 反演和事故分析。

因此智能電網(wǎng)行業(yè)應(yīng)用場景對時(shí)序數(shù)據(jù)的訪問方式主要有三種 :

· **折線查詢 : **獲取指定設(shè)備一段時(shí)間內(nèi)的相關(guān)量測值,如查詢特定用戶智能電表在一段連續(xù)時(shí)間內(nèi)的有功電能量。即測量對象為正向有功尖能量 (fd.shark.electricity),測量屬性為 user= lvsejiayuan.A.unit2.603,dtype=ammeter,需查詢 2014.09.01 這一天的正向有功尖電能量。

o 對于折線查詢,對象為監(jiān)測的設(shè)備或關(guān)注的指標(biāo),特征集可標(biāo)識為 FSet = <(t1,v1), (t2,v2), ......, (tn,vn)>,其中 (t1, t2, t3, ......, tn) 為特定的時(shí)間序列,使用基于時(shí)間戳的偏移表示;(v1, v2, v3, ......, vn) 為與時(shí)間序列相對應(yīng)的量測值。

· **斷面查詢 : **獲取特定時(shí)間點(diǎn)特定區(qū)域內(nèi)所有設(shè)備的相關(guān)量測值,如查詢特定時(shí)間點(diǎn)某地區(qū)所有用戶智能電表的有功電能量。及測量對象為正向有功尖能量 (fd.shark.electricity),測量屬性 dtype=ammeter, 時(shí)間戳為 1409529600 (2014.09.01 08:00:00),需查詢某地區(qū)特定時(shí)刻所有智能電表的正向有功尖電能量。

o 對于斷面查詢,對象為關(guān)注的區(qū)域/邏輯對象 (如街道/生活區(qū)/電廠),特征集可標(biāo)識為 FSet = <(d1,v1), (d2,v2), ......, (dn,vn)>,其中 (d1, d2, d3, ......, dn) 為區(qū)域/邏輯對象所包含的設(shè)備/測點(diǎn),(v1, v2, v3, ......, vn) 為對應(yīng)的設(shè)備/測點(diǎn)在指定時(shí)間戳的值。

· **設(shè)備最新狀態(tài)查詢 : **這種場景類似于斷面查詢,只是針對最新最近的數(shù)據(jù)。通常用于檢測設(shè)備是否正常工作。

2. 電網(wǎng)時(shí)序數(shù)據(jù)存儲(chǔ)探索

最早的時(shí)候,智能電網(wǎng)相關(guān)應(yīng)用系統(tǒng)中,一般使用 Oracle,Db2 等關(guān)系型數(shù)據(jù)庫處理時(shí)序數(shù)據(jù)。

然而,傳統(tǒng)的實(shí)體關(guān)系模型在應(yīng)對時(shí)序數(shù)據(jù)時(shí)存在如下問題 :

· 數(shù)據(jù)存儲(chǔ)孤立分離。按照實(shí)體關(guān)系模型,一條時(shí)序數(shù)據(jù)記錄被保存為單獨(dú)的一行,因此連續(xù)時(shí)間段內(nèi)的數(shù)據(jù)被孤立分離地存儲(chǔ)在數(shù)據(jù)庫中。

· 數(shù)據(jù)的訪問速度與數(shù)據(jù)量的大小成反比。隨著數(shù)據(jù)量的增加,訪問速度越來越慢。同時(shí),大多數(shù)關(guān)系型數(shù)據(jù)庫為了提升查詢性能,針對大量數(shù)據(jù)建立索引,由此消耗大量的系統(tǒng)資源。

· 無法滿足時(shí)序數(shù)據(jù)的實(shí)時(shí)處理需求。對于海量時(shí)序數(shù)據(jù),關(guān)系型數(shù)據(jù)庫無法高速的加載并滿足處理需求。

后來,電力系統(tǒng)內(nèi)的普遍做法轉(zhuǎn)向使用商業(yè)時(shí)序數(shù)據(jù)庫軟件,如 OSIsoft Pi、eDNA 等作為時(shí)序數(shù)據(jù)的存儲(chǔ)和讀取工具。利用實(shí)時(shí)數(shù)據(jù)庫進(jìn)行時(shí)序數(shù)據(jù)處理。

然而實(shí)時(shí)數(shù)據(jù)庫在應(yīng)對智能電網(wǎng)大數(shù)據(jù)時(shí)存在如下問題:

· 無法支持大規(guī)模測點(diǎn)管理。對于國家級或省級智能電網(wǎng)而言,需要支持上億甚至上十億的測點(diǎn)規(guī)模。然而,無論 PI,eDNA,均無法為大規(guī)模測點(diǎn)管理提供支撐。

· 擴(kuò)展能力不足。實(shí)時(shí)數(shù)據(jù)庫一般只支持單機(jī)部署,無法集群部署,無法支撐大規(guī)模數(shù)據(jù)應(yīng)用。

· 高可用與數(shù)據(jù)安全性不足。實(shí)時(shí)數(shù)據(jù)庫一般不具備高可用特性,對于所存儲(chǔ)的數(shù)據(jù)的安全性,也完全依賴于硬件與數(shù)據(jù)庫軟件本身,不支持?jǐn)?shù)據(jù)冗余備份,無法應(yīng)對大數(shù)據(jù)分析場景。

隨著大數(shù)據(jù)技術(shù)的發(fā)展,近年來也有一些基于開源的 HBase,Cassandra 等 NoSQL 數(shù)據(jù)庫處理時(shí)序數(shù)據(jù)的研究和應(yīng)用。

這些分布式 NoSQL 數(shù)據(jù)庫雖然解決了擴(kuò)展能力,但是其通用的數(shù)據(jù)組織方式并不完全適合智能電網(wǎng)行業(yè)對時(shí)序數(shù)據(jù)存儲(chǔ)和查詢需求,用戶必須根據(jù)實(shí)際應(yīng)用場景,進(jìn)行特殊設(shè)計(jì)甚至大量數(shù)據(jù)冗余存儲(chǔ)才能較好的利用資源處理請求。

大部分僅提供的單個(gè)測點(diǎn)的數(shù)據(jù)存儲(chǔ)接口,無法將設(shè)備模型數(shù)據(jù)與離散測點(diǎn)結(jié)合,難以支撐歷史潮流分析、故障分析和 WAMS 等智能電網(wǎng)高級應(yīng)用。除此之外,它們的數(shù)據(jù)模型單一,對于讀取一定時(shí)間范圍內(nèi)的數(shù)據(jù)記錄效率較高,但對于定位某個(gè)時(shí)間點(diǎn)的多條記錄,過濾,組合等一系列操作將浪費(fèi)大量 I/O 資源。其次,二維數(shù)據(jù)模型中的每個(gè)存儲(chǔ)單元由主鍵和列限定符唯一表示,因而大部分磁盤都浪費(fèi)在存儲(chǔ)重復(fù)的主鍵,存在大量冗余信息,存儲(chǔ)效率低。同時(shí),由于智能電網(wǎng)場景對于時(shí)序數(shù)據(jù)處理有著多種維度查需和數(shù)據(jù)聚合需求,通用 KV 數(shù)據(jù)庫往往需要結(jié)合 ElasticSearch / Solr 等搜索引擎進(jìn)行加速或者需要開發(fā)巧妙設(shè)計(jì) KV 結(jié)構(gòu)才能達(dá)到很好的效果,但是這樣大幅度提升了開發(fā)員人的學(xué)習(xí)和運(yùn)維成本。

針對電網(wǎng)場景中時(shí)序數(shù)據(jù),專業(yè)的分布式時(shí)序數(shù)據(jù)庫是最好的選擇,因?yàn)樗麄兙邆湟韵轮匾奶匦?:

· **靈活多變的數(shù)據(jù)模型 : **用戶根據(jù)業(yè)務(wù)需求,通過標(biāo)簽組合的方式自由定義數(shù)據(jù)模型,同時(shí)也可以根據(jù)業(yè)務(wù)變化和演進(jìn)進(jìn)行變更。

· **高寫入吞吐量 : **分布式時(shí)序數(shù)據(jù)庫解決大規(guī)模集群的橫向擴(kuò)展問題,保證高性能平穩(wěn)寫入的需求。

o 在一些大規(guī)模的應(yīng)用性能監(jiān)控、物聯(lián)網(wǎng)場景,海量的設(shè)備持續(xù)產(chǎn)生時(shí)序數(shù)據(jù),例如省域級別的電網(wǎng)用電測量數(shù)據(jù),9000萬數(shù)量級的電表設(shè)備,原來每個(gè)月采集一次,后續(xù)業(yè)務(wù)升級后15分鐘采集一次,每秒需要處理的時(shí)序數(shù)據(jù)點(diǎn)數(shù)達(dá)到數(shù)百萬甚至千萬數(shù)據(jù)點(diǎn),需要龐大且可以橫向水平擴(kuò)展的集群來支撐全量的業(yè)務(wù)寫入。

· **高效的時(shí)序數(shù)據(jù)查詢與分析 : **時(shí)序數(shù)據(jù)庫支持多維時(shí)間線檢索、并具備流式處理、預(yù)計(jì)算等能力,滿足大規(guī)模 APM、物聯(lián)網(wǎng),工業(yè)物聯(lián)網(wǎng)等業(yè)務(wù)場景的典型查詢需求。

o 在典型的監(jiān)控場景,通常需要對長周期的數(shù)據(jù)進(jìn)行查詢分析,比如針對某些指標(biāo)最近1天、3天、7天、1個(gè)月的趨勢分析、報(bào)表等;而在物聯(lián)網(wǎng)場景,有一類比較典型的斷面查詢需求,例如查詢某個(gè)省指定時(shí)間所有電表的用電量量明細(xì)數(shù)據(jù),查詢某個(gè)品牌空調(diào)的某個(gè)時(shí)間的平均運(yùn)行溫度;這些查詢要掃描大量的集群數(shù)據(jù)才能拿到結(jié)果,同時(shí)查詢的結(jié)果集也可能非常大。

· **低成本的時(shí)序數(shù)據(jù)存儲(chǔ) : **時(shí)序數(shù)據(jù)庫充分利用好時(shí)序數(shù)據(jù)量大、冷熱訪問特征明顯,進(jìn)行計(jì)算、存儲(chǔ)資源的解耦,通過低成本存儲(chǔ)介質(zhì)、壓縮編碼、冷熱分離、高效 TTL等技術(shù)將數(shù)據(jù)存儲(chǔ)成本降低到極致。

o 在車聯(lián)網(wǎng)場景,20000輛車每小時(shí)就產(chǎn)生近百 GB 的車輛指標(biāo)數(shù)據(jù)。如果要保存一年的運(yùn)行數(shù)據(jù)就需要PB級的數(shù)據(jù)存儲(chǔ)規(guī)模。由于數(shù)據(jù)規(guī)模巨大,對存儲(chǔ)的低成本要求很高,另外時(shí)序數(shù)據(jù)的冷熱特征明顯。

· **豐富的生態(tài)協(xié)同 : **時(shí)序數(shù)據(jù)庫與數(shù)據(jù)可視化平臺、大數(shù)據(jù)處理、流式分析系統(tǒng)等對接,與周邊生態(tài)形成協(xié)同來創(chuàng)造業(yè)務(wù)價(jià)值。

o 在物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等場景,時(shí)序數(shù)據(jù)通常有進(jìn)一步做運(yùn)營分析處理的需求,在很多情況下時(shí)序數(shù)據(jù)只是業(yè)務(wù)數(shù)據(jù)的一部分,需要與其他類型的數(shù)據(jù)組合來完成查詢分析。

3. 智能電網(wǎng)數(shù)據(jù)模型

下面我們具體看一下智能電網(wǎng)中的數(shù)據(jù)模型,從而進(jìn)一步體現(xiàn)為什么時(shí)序數(shù)據(jù)庫是智能電網(wǎng)場景中數(shù)據(jù)處理的最佳選擇。

3.1 統(tǒng)一標(biāo)準(zhǔn) SG-CIM

針對現(xiàn)在電力行業(yè)各企業(yè)業(yè)務(wù)數(shù)據(jù)模型多樣化,非統(tǒng)一,交互困難等問題,國家電網(wǎng)公司通過分析整合,提出了一個(gè)新型的企業(yè)公共數(shù)據(jù)模型(SG-CIM), 形成了統(tǒng)一的信息視圖,實(shí)現(xiàn)多企業(yè)多業(yè)務(wù)應(yīng)用系統(tǒng)間的數(shù)據(jù)交互共享。SG-CIM 和時(shí)序數(shù)據(jù)庫模型非常匹配。

在智能電網(wǎng)管理平臺中,SG-CIM 數(shù)據(jù)模型中的每個(gè)葉子節(jié)點(diǎn)稱為測量對象,葉子節(jié)點(diǎn)標(biāo)簽稱為測量屬性,它由一個(gè)或多個(gè)鍵值對組成,用于進(jìn)一步刻畫補(bǔ)充測量對象的屬性信息,根至葉子節(jié)點(diǎn)的全路徑稱為用戶屬性,作為一個(gè)特殊屬性處理。

測量對象+時(shí)間戳+測量屬性+測量值的組合稱為一條時(shí)間序列數(shù)據(jù)記錄,也稱電力負(fù)荷數(shù)據(jù)測點(diǎn)。 以某樓宇中某居民用戶安裝的智能電表為例,描述 SG-CIM 數(shù)據(jù)模型在海量數(shù)據(jù)管理平臺中的應(yīng)用,如下圖所示。

根據(jù) SG-CIM 數(shù)據(jù)模型,一條時(shí)間序列數(shù)據(jù)記錄由如下幾部分組成 :

· **測量對象 (obj) : **一個(gè)被定量測量對象的名稱,比如電能量,吞吐量等。

· **時(shí)間戳 (timestamp) : **以 UNIX 時(shí)間表示(秒或毫秒),用于標(biāo)識這條時(shí)間序列被記錄/存儲(chǔ)的時(shí)間。

· **測量屬性 (tag) : **鍵值對,用于區(qū)分或組組織測量對象相同,但來自不同源或相關(guān)實(shí)體的相似數(shù)據(jù)點(diǎn),增加靈活性。

· **測量值 (value) : **該測量對象在當(dāng)前時(shí)刻的實(shí)際測量值,整型或浮點(diǎn)型。

測量對象 (obj) 以 SG-CIM 數(shù)據(jù)模型中的每個(gè)葉子節(jié)點(diǎn)來刻畫,例如正向有功尖能量 (fd.shark.electricity)。

測量屬性 (tag) 以 SG-CIM 數(shù)據(jù)模型中葉子節(jié)點(diǎn)的屬性:用戶 (user) 和設(shè)備類型 (dtype) 等屬性來描述,例如 user= lvsejiayuan.A.unit2.603,dtype=ammeter,user 是一個(gè)特殊的屬性,用根至葉子節(jié)點(diǎn)的全路徑刻畫。

3.2 根據(jù) SG-CIM 模型進(jìn)行時(shí)序數(shù)據(jù)模型設(shè)計(jì) - 多值模型和單值模型

· 單值模型 : 即對測點(diǎn)建模,以單個(gè)測點(diǎn)對測點(diǎn)定義時(shí)序采樣。

o 按設(shè)備將每個(gè)設(shè)備的測量值屬性分別定義到時(shí)序數(shù)據(jù)庫中。

o 這種存儲(chǔ)方式數(shù)據(jù)定義、變化值提交和歷史值查詢都相對簡單。

o 缺點(diǎn)同樣明顯,存儲(chǔ)在時(shí)序數(shù)據(jù)庫中數(shù)據(jù)沒有關(guān)聯(lián)性,如需同時(shí)查詢線路的有功和電流,則需要分兩次查詢,查詢性能較低,同時(shí)也不利于做關(guān)聯(lián)性分析。

o OpenTSDB 和 Prometheus 時(shí)序數(shù)據(jù)庫采用的是單值模型。

· 多值模型 : 即對設(shè)備/數(shù)據(jù)源進(jìn)行建模,例如基于智能電網(wǎng)設(shè)備建模。

o 在時(shí)序數(shù)據(jù)庫中,將同一個(gè)設(shè)備采集的不同測點(diǎn)屬性存儲(chǔ)在一張表的不同域。

o 這要只需要一次查詢,即可得到一個(gè)設(shè)備的所有量測,查詢效率和數(shù)據(jù)同步行都相對較高。

o 線路設(shè)別在時(shí)序數(shù)據(jù)庫中的記錄可定義為八元組:。

o GaussDB(for Influx), InfluxDB,TimeScaleDB 等時(shí)序數(shù)據(jù)庫采用的是多值模型。

4. GaussDB(for Influx) 如何支撐龐大的智能電網(wǎng)數(shù)據(jù)

4.1 GaussDB(for Influx)

云原生分布式時(shí)序數(shù)據(jù)庫 GaussDB(for Influx) 采用存儲(chǔ)計(jì)算分離架構(gòu)。

· 集群能力方面 : 具備非常平滑快速的彈性擴(kuò)縮容能力。集群可以輕松擴(kuò)展至每秒千萬點(diǎn)寫入吞吐量,PB界別的存儲(chǔ)支持。

· 服務(wù)和數(shù)據(jù)高可用方面 : 數(shù)據(jù)三副本存儲(chǔ)確保數(shù)據(jù)可用性;集群跨 AZ 可用區(qū)容災(zāi)部署,集群最大支持 N - 1 節(jié)點(diǎn)故障,同時(shí)數(shù)據(jù)自動(dòng)負(fù)載均衡避免熱點(diǎn)。

· 時(shí)序數(shù)據(jù)存儲(chǔ)方面 : 深度優(yōu)化存儲(chǔ)引擎,確保穩(wěn)定的高吞吐量寫入;同時(shí)時(shí)序數(shù)據(jù)的自適應(yīng)壓縮能力,讓時(shí)序數(shù)據(jù)壓縮比達(dá)到20 : 1;自動(dòng)的數(shù)據(jù)冷熱分層存儲(chǔ),進(jìn)一步降低數(shù)據(jù)存儲(chǔ)成本。

· 時(shí)序數(shù)據(jù)計(jì)算方面 : 集成了豐富的數(shù)據(jù)聚合,降采樣,插值,預(yù)算,異常檢測等算子。同時(shí)支持邊云同步能力,實(shí)現(xiàn)數(shù)據(jù)邊云一體化。

· 在生態(tài)和開源兼容方面 : 支持多種開源時(shí)序數(shù)據(jù)庫協(xié)議,例如 Prometheus,Graphite 和 OpenTSDB,同時(shí)完全兼容 InfluxDB 生態(tài)。

4.2 基于 GaussDB(for Influx) 的電網(wǎng)數(shù)據(jù)模型設(shè)計(jì)

GuassDB(for Influx) 在生態(tài)和協(xié)議方面完美兼容 InfluxDB。InfluxDB 靈活多變的 Schema-Free 行協(xié)議可以完美匹配 SG-CIM 模型。

數(shù)據(jù)寫入時(shí)候,不需要提前創(chuàng)建 Schema 定義,同時(shí)支持 Tags 和 Fields 字段自由擴(kuò)展,未來有需要新增維度的時(shí)候,可以動(dòng)態(tài)進(jìn)行增加。

可以參考下面簡單的例子 :

我們以智能電網(wǎng)中線路設(shè)備數(shù)據(jù)為例子,根據(jù)行協(xié)議如何將 SG-CIM 模型轉(zhuǎn)化成 GaussDB(for Influx) 數(shù)據(jù)模型 :

· Measurement : stbl_line,相當(dāng)于關(guān)系型數(shù)據(jù)庫中的表概念。

· Fields : SG-CIM 模型中的多個(gè)測量對象 (Obj),即線路設(shè)備采集和上報(bào)的指標(biāo)項(xiàng),后期可以動(dòng)態(tài)擴(kuò)展。

o i_value, i_status : 電流相關(guān)指標(biāo)

o p_value, p_status : 電壓相關(guān)指標(biāo)

o q_value, q_status : 功率相關(guān)指標(biāo)

o 其中各個(gè)指標(biāo)項(xiàng)采集的值是測量值 (value)

· Tags : SG-CIM 模型中的測量屬性 (Tag),表示線路設(shè)備靜態(tài)屬性標(biāo)簽,可以根據(jù)系統(tǒng)需要自定義和擴(kuò)展

o deviceId : 設(shè)備標(biāo)識 ID

o deviceType : 設(shè)備類型標(biāo)識

o line : 線路標(biāo)識 ID

· Timestamp : SG-CIM 模型中時(shí)間戳項(xiàng)。

stbl_line , line = XXX線路 , deviceType =XXX,deviceId=**E08995** **i_value**=**X**,**i_status**=**X**,**p_value**=**X**,**p_status**=**X**,**q_value**=**X**,**q_status**=**X** **1663121437010000000**

**5. 總結(jié) **

GaussDB(for Influx) 是一款基于計(jì)算存儲(chǔ)分離架構(gòu),完全兼容 InfluxDB 生態(tài)的云原生時(shí)序數(shù)據(jù)庫。依托于華為云計(jì)算平臺高性能,高可靠,高安全,可彈性伸縮的基礎(chǔ)上,GaussDB(for Influx) 提供時(shí)序數(shù)據(jù)高效存儲(chǔ)、分析、展示功能,同時(shí)具有高寫入性能、靈活擴(kuò)容、高壓縮率和高查詢性能等特點(diǎn)。GaussDB(for Influx) 可以廣泛應(yīng)用于各種時(shí)序數(shù)據(jù)處理場景,例如工業(yè)物聯(lián)網(wǎng),車聯(lián)網(wǎng),物聯(lián)網(wǎng),運(yùn)維監(jiān)控,銀行金融等。

審核編輯:湯梓紅

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 智能電網(wǎng)
    +關(guān)注

    關(guān)注

    36

    文章

    2993

    瀏覽量

    117445
  • 華為云
    +關(guān)注

    關(guān)注

    3

    文章

    2771

    瀏覽量

    18306
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    TDengine 發(fā)布時(shí)序數(shù)據(jù)分析 AI 智能體 TDgpt,核心代碼開源

    2025 年 3 月 26 日,濤思數(shù)據(jù)通過線上直播形式正式發(fā)布了其新一代時(shí)序數(shù)據(jù)分析 AI 智能體——TDgpt,并同步開源其核心代碼。這一創(chuàng)新功能作為 TDengine 3.3.6.0 的重要
    的頭像 發(fā)表于 03-27 10:30 ?297次閱讀
    TDengine 發(fā)布<b class='flag-5'>時(shí)序數(shù)據(jù)</b>分析 AI <b class='flag-5'>智能</b>體 TDgpt,核心代碼開源

    網(wǎng)關(guān)邊緣計(jì)算:數(shù)據(jù)處理更貼近 一線

    拓四方TDE網(wǎng)關(guān)的邊緣計(jì)算作為 “邊緣智能” 的核心技術(shù),正悄然改變著數(shù)據(jù)處理的規(guī)則 —— 它將計(jì)算能力下沉到網(wǎng)絡(luò)邊緣,數(shù)據(jù)在 “家門口” 就能完成分析與決策。
    的頭像 發(fā)表于 03-06 17:32 ?448次閱讀

    數(shù)據(jù)大屏開發(fā)用 AI 效率翻倍!華為 Astro 大屏應(yīng)用盤古助手,這波操作太震撼了!

    帶來數(shù)據(jù)可視化的全新篇章!無論是數(shù)據(jù)處理、代碼優(yōu)化,還是創(chuàng)意靈感,華為 Astro 大屏應(yīng)用盤古助手都能成為你的得力伙伴,你的開發(fā)之路輕
    的頭像 發(fā)表于 02-26 11:44 ?1536次閱讀
    <b class='flag-5'>數(shù)據(jù)</b>大屏開發(fā)用 AI 效率翻倍!<b class='flag-5'>華為</b><b class='flag-5'>云</b> Astro 大屏應(yīng)用盤古助手,這波操作太震撼了!

    人工智能、計(jì)算、區(qū)塊鏈三者區(qū)別對比

    AI人工智能基于算法和數(shù)據(jù),擅長處理復(fù)雜數(shù)據(jù);計(jì)算依賴虛擬化和網(wǎng)絡(luò),提供高效計(jì)算;區(qū)塊鏈利用密
    的頭像 發(fā)表于 02-20 14:45 ?657次閱讀

    CloudPond攜手華為,本地部署暢享服務(wù)

    、高效的IT解決方案。 在此基礎(chǔ)上,CloudPond還全面上線了DeepSeek R1V3以其強(qiáng)大的數(shù)據(jù)處理和分析能力,為企業(yè)提供了前所未有的智能支持,而蒸餾系列模型則通過優(yōu)化算法和模型結(jié)構(gòu),實(shí)現(xiàn)了
    的頭像 發(fā)表于 02-19 14:47 ?615次閱讀

    華為 GaussDB 助力國家統(tǒng)計(jì)局, 開啟統(tǒng)計(jì)現(xiàn)代化改革新篇章

    2023 年 8 月至 2024 年 5 月,華為 GaussDB 助力國家統(tǒng)計(jì)局順利完成第五次全國經(jīng)濟(jì)普查(簡稱“五經(jīng)普”)單位清查和普查登記數(shù)據(jù)采集
    的頭像 發(fā)表于 02-12 16:49 ?1600次閱讀

    華為GaussDB助力統(tǒng)計(jì)現(xiàn)代化改革

    2023年8月至2024年5月,華為GaussDB助力國家統(tǒng)計(jì)局順利完成第五次全國經(jīng)濟(jì)普查(簡稱“五經(jīng)普”)單位清查和普查登記數(shù)據(jù)采集處理
    的頭像 發(fā)表于 02-12 10:59 ?452次閱讀

    時(shí)序數(shù)據(jù)庫TDengine 2024年保持高增長,實(shí)現(xiàn)收入翻倍

    近日,時(shí)序數(shù)據(jù)庫 (Time Series Database) TDengine 正式公布了 2024 年重大成就和發(fā)展成績盤點(diǎn)。在這一年中,TDengine 以持續(xù)創(chuàng)新的技術(shù)能力、迅猛增長的市場
    的頭像 發(fā)表于 01-02 13:50 ?561次閱讀
    <b class='flag-5'>時(shí)序數(shù)據(jù)</b>庫TDengine 2024年保持高增長,實(shí)現(xiàn)收入翻倍

    康謀分享 | 如何應(yīng)對ADAS/AD海量數(shù)據(jù)處理挑戰(zhàn)?

    如何有效處理ADAS/AD海量數(shù)據(jù)并從中獲得見解?IVEX數(shù)據(jù)處理流程可自動(dòng)從原始傳感器數(shù)據(jù)等輸入中識別出值得關(guān)注的事件和場景,推動(dòng)數(shù)據(jù)
    的頭像 發(fā)表于 12-25 10:05 ?3981次閱讀
    康謀分享 | 如何應(yīng)對ADAS/AD海量<b class='flag-5'>數(shù)據(jù)處理</b>挑戰(zhàn)?

    cmp在數(shù)據(jù)處理中的應(yīng)用 如何優(yōu)化cmp性能

    CMP在數(shù)據(jù)處理中的應(yīng)用 CMP(并行處理)技術(shù)在數(shù)據(jù)處理領(lǐng)域扮演著越來越重要的角色。隨著數(shù)據(jù)量的爆炸性增長,傳統(tǒng)的串行處理方法已經(jīng)無法滿足
    的頭像 發(fā)表于 12-17 09:27 ?1161次閱讀

    使用 RISC-V 進(jìn)行高效數(shù)據(jù)處理的方法

    使用RISC-V進(jìn)行高效數(shù)據(jù)處理的方法涉及多個(gè)方面,包括處理器內(nèi)核與DSA(領(lǐng)域特定加速器)之間的通信優(yōu)化、內(nèi)存管理優(yōu)化、多線程性能提升等。以下是一些具體的方法: 一、處理器內(nèi)核與DS
    的頭像 發(fā)表于 12-11 17:52 ?1086次閱讀

    上位機(jī)實(shí)時(shí)數(shù)據(jù)處理技術(shù) 上位機(jī)在智能制造中的應(yīng)用

    。這種技術(shù)對于工業(yè)自動(dòng)化、智能制造等領(lǐng)域至關(guān)重要。 在上位機(jī)實(shí)時(shí)數(shù)據(jù)處理中,關(guān)鍵技術(shù)包括數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)可視化、
    的頭像 發(fā)表于 12-04 10:29 ?1450次閱讀

    FPGA在數(shù)據(jù)處理中的應(yīng)用實(shí)例

    FPGA(現(xiàn)場可編程門陣列)在數(shù)據(jù)處理領(lǐng)域有著廣泛的應(yīng)用,其高度的靈活性和并行處理能力使其成為許多高性能數(shù)據(jù)處理系統(tǒng)的核心組件。以下是一些FPGA在數(shù)據(jù)處理中的應(yīng)用實(shí)例: 一、通信協(xié)議
    的頭像 發(fā)表于 10-25 09:21 ?1377次閱讀

    智能升級,樓宇自控系統(tǒng)辦公更高效

    智能升級,樓宇自控系統(tǒng)辦公更高效 在快節(jié)奏的現(xiàn)代都市生活中,辦公效率成為了企業(yè)競爭力的關(guān)鍵因素之一。隨著科技的飛速發(fā)展,樓宇自控系統(tǒng)作為智能建筑的核心技術(shù),正逐步滲透到我們的辦公環(huán)境
    的頭像 發(fā)表于 09-19 14:12 ?525次閱讀

    探秘IO分布式模塊設(shè)計(jì):數(shù)據(jù)處理更高效

    隨著互聯(lián)網(wǎng)的飛速發(fā)展,大數(shù)據(jù)計(jì)算、人工智能等技術(shù)逐漸成為時(shí)代的主流。在這個(gè)數(shù)據(jù)爆炸的時(shí)代,如何高效
    的頭像 發(fā)表于 07-26 13:54 ?1073次閱讀
    探秘IO分布式模塊設(shè)計(jì):<b class='flag-5'>讓</b>大<b class='flag-5'>數(shù)據(jù)處理</b><b class='flag-5'>更高效</b>