&

News

價值共享，記錄互聯(lián)網(wǎng)發(fā)展腳步

TSDB的數(shù)據(jù)如何利用Hadoop/spark集群做數(shù)據(jù)分析？

西安凡高網(wǎng)絡 2018-03-13 0次

物聯(lián)網(wǎng)場景已經(jīng)成為各行業(yè)巨頭和各互聯(lián)網(wǎng)公司的兵家必爭之地，百度云天工TSDB對物聯(lián)網(wǎng)場景下時序數(shù)據(jù)表現(xiàn)除了優(yōu)秀的存儲和查詢能力，已經(jīng)成為物聯(lián)網(wǎng)應用的標配，支撐著智能制造、工業(yè)能源、智能車聯(lián)網(wǎng)、智能家居、智慧城市等多個行業(yè)應用。TSDB正在助力企業(yè)擁抱物聯(lián)網(wǎng)時代的到來。

眾所周知，百度云TSDB在讀取、寫入和查詢數(shù)據(jù)上的性能一直表現(xiàn)優(yōu)異。

支持每秒百萬級數(shù)據(jù)點的寫入，可線性擴展

查詢1億個數(shù)據(jù)點聚合值的響應時間小于1秒

提供優(yōu)于傳統(tǒng)數(shù)據(jù)庫的壓縮能力，大大節(jié)約存儲空間

彈性、按需的海量數(shù)據(jù)存儲能力，成本更低。

我們都清楚，僅有提供海量的數(shù)據(jù)存儲、極速的查詢能力還不足以支撐不停發(fā)展的物聯(lián)網(wǎng)行業(yè)應用。存儲的海量數(shù)據(jù)如何產(chǎn)生價值為業(yè)主所用，是TSDB要解決的新問題。

物聯(lián)網(wǎng)場景下，設備都是7*24小時工作以一定的頻率上報數(shù)據(jù)的，數(shù)據(jù)量十分巨大。比如一輛無人車，以10Hz的頻率上傳數(shù)據(jù)，每次上傳20個維度的數(shù)據(jù)點，每輛車每天就要存儲1700萬數(shù)據(jù)點；一個傳感類監(jiān)測設備比如溫度傳感器，通常每10秒鐘上傳一次數(shù)據(jù)，一個樓宇建筑中如果部署200個監(jiān)測點，那一天下來需要170萬個數(shù)據(jù)點。隨著業(yè)務的發(fā)展，數(shù)據(jù)只會越來越多。這么多數(shù)據(jù)都是挖掘行業(yè)應用的金礦。

我們都不甘心數(shù)據(jù)只做存儲躺在服務器里，那怎么把TSDB中的數(shù)據(jù)發(fā)揮價值呢。不用擔心，TSDB目前已經(jīng)可以作為Hadoop和spark集群的數(shù)據(jù)源，進行數(shù)據(jù)分析計算啦。

先來看最常使用的大數(shù)據(jù)分析工具Hadoop。Hadoop作為大數(shù)據(jù)分析的領軍代表，提供可靠存儲HDFS以及MapReduce編程范式以便大規(guī)模并行處理數(shù)據(jù)。TSDB作為存儲海量數(shù)據(jù)的數(shù)據(jù)源，自然更需要Hadoop的幫助來做數(shù)據(jù)分析啦。我們都知道，Hadoop提供了基于廉價硬件實現(xiàn)大規(guī)模并行處理的能力，不過，簡單的查詢都要寫MapReduce代碼，對于商業(yè)用戶實在不怎么友好。所以TSDB采用了更友好的方式，直接提供基于TSDB的Hive SQL。Hive是一個關系數(shù)據(jù)倉庫，用戶可以方便的利用類似SQL語言查詢數(shù)據(jù)，而Hive會自動把SQL語言轉(zhuǎn)換成MapReduce代碼交給Hadoop處理。

【版權(quán)聲明】:本站內(nèi)容來自于與互聯(lián)網(wǎng)(注明原創(chuàng)稿件除外),供訪客免費學習需要。如文章或圖像侵犯到您的權(quán)益，請及時告知，我們第一時間刪除處理！謝謝！

返回列表