時序數(shù)據(jù)庫怎么產(chǎn)生的？

隨著移動端發(fā)展走向飽和，現(xiàn)在整個 IT 行業(yè)都期待著“萬物互聯(lián)”的物聯(lián)網(wǎng)時代。在物聯(lián)網(wǎng)場景中，往往有許多各類不同的終端設(shè)備，布署在不同的位置，去采集各種數(shù)據(jù)，比如某一區(qū)域有 10萬個 loT 設(shè)備，每個 loT 設(shè)備每 5 秒發(fā)送一次數(shù)據(jù)。那么每年會產(chǎn)生 6307億 個數(shù)據(jù)點。而這些數(shù)據(jù)都是順序產(chǎn)生的，并且 loT 設(shè)備產(chǎn)生數(shù)據(jù)的格式全部是一致的，并且沒有刪除和修改的需求。針對這樣按時海量寫入無更新場景，時序數(shù)據(jù)庫應(yīng)運而生。

業(yè)界典型時序數(shù)據(jù)庫解析

近2年來時序數(shù)據(jù)庫正處于高速發(fā)展的階段。國內(nèi)外云市場各大主流廠商已經(jīng)從整個時序生態(tài)的不同角度切入，形成各自特色的解決方案完成布局，開始搶占流量。

而以Facebook Gorilla為代表的時序數(shù)據(jù)庫則是脫胎于滿足自身業(yè)務(wù)發(fā)展的需要。學(xué)術(shù)上，在時序領(lǐng)域里面更是涌現(xiàn)了一大批黑科技，把時序數(shù)據(jù)的技術(shù)深度推向更高的臺階。

阿里的TSDB團(tuán)隊自2016年首版時序數(shù)據(jù)庫落地后，逐步服務(wù)于DBPaaS，Sunfire等等集團(tuán)業(yè)務(wù)，在2017年中旬公測后，于2018年3月底正式商業(yè)化。

在此過程中，TSDB在技術(shù)方面不斷吸納時序領(lǐng)域各家之長，開啟了自研的時序數(shù)據(jù)庫發(fā)展之路。

工業(yè)互聯(lián)網(wǎng)時代，時序數(shù)據(jù)庫為何如此重要？

工業(yè)互聯(lián)網(wǎng)的發(fā)展呈現(xiàn)出關(guān)鍵技術(shù)加速突破、基礎(chǔ)支撐日益完善、融合應(yīng)用逐漸豐富、產(chǎn)業(yè)生態(tài)日趨成熟的良好態(tài)勢。

工業(yè)數(shù)據(jù)每一個采集點，每秒可產(chǎn)生多條數(shù)據(jù)，且每一條數(shù)據(jù)要有時間屬性，而且時間驅(qū)動的時序數(shù)據(jù)處理系統(tǒng)沒有業(yè)務(wù)的波峰、波谷，對系統(tǒng)的可靠性和處理速度要求高。

所以工業(yè)數(shù)據(jù)的一個非常明顯的特點就是和時間有關(guān)，這種“數(shù)據(jù)膨脹”帶來的存儲壓力，已經(jīng)成為工業(yè)互聯(lián)網(wǎng)和數(shù)字化發(fā)展的痛點之一。

時序數(shù)據(jù)的定義及作用

時序數(shù)據(jù)是指時間序列數(shù)據(jù)。是按時間順序記錄的數(shù)據(jù)列，在同一數(shù)據(jù)列中的各個數(shù)據(jù)必須是同口徑的，要求具有可比性。時序數(shù)據(jù)可以是時期數(shù)，也可以時點數(shù)。

時序數(shù)據(jù)管理主要通過對時序數(shù)據(jù)的采集、處理和分析幫助企業(yè)實時監(jiān)控企業(yè)的生產(chǎn)與經(jīng)營過程。

時序數(shù)據(jù)在應(yīng)用上特點也很明顯，比如數(shù)據(jù)往往只保留一定時長，需要做降頻采樣、插值、實時計算、聚合等操作，關(guān)心的是一段時間的趨勢，而不是某一特定時間的值等。

工業(yè)企業(yè)為了監(jiān)測設(shè)備、生產(chǎn)線以及整個系統(tǒng)的運行狀態(tài)，在各個關(guān)鍵點都配有傳感器、采集各種數(shù)據(jù)。這些數(shù)據(jù)是周期或準(zhǔn)周期產(chǎn)生的，有的采集頻率高，有的采集頻率低，這些采集的數(shù)據(jù)一般會發(fā)送至服務(wù)器，進(jìn)行匯總并實時處理，對系統(tǒng)的運行做出實時監(jiān)測或預(yù)警。