掃一掃
服務近2000家企業，依托一系列實踐中打磨過的技術和產品，根據企業的具體業務問題和需求，針對性的提供各行業大數據解決方案。
大數據常用架構Lambda,iota分析
來源：未知 時間：2019-58-24 瀏覽次數：376次
1、流式架構傳統大數據架構
優點：簡單，易懂，對于BI系統來說，基本思想沒有發生變化，變化的僅僅是技術選型，用大數據架構替換掉BI的組件。
缺點：對于大數據來說，沒有BI下如此完備的Cube架構，雖然目前有kylin，但是kylin的局限性非常明顯，遠遠沒有BI下的Cube的靈活度和穩定度，因此對業務支撐的靈活度不夠，所以對于存在大量報表，或者復雜的鉆取的場景，需要太多的手工定制化，同時該架構依舊以批處理為主，缺乏實時的支撐。
適用場景：數據分析需求依舊以BI場景為主，但是因為數據量、性能等問題無法滿足日常使用。
2、流式架構
優點：沒有臃腫的ETL過程，數據的實效性非常高。
缺點：對于流式架構來說，不存在批處理，因此對于數據的重播和歷史統計無法很好的支撐。對于離線分析僅僅支撐窗口之內的分析。
適用場景：預警，監控，對數據有有效期要求的情況。
3、Lambda架構
優點：既有實時又有離線，對于數據分析場景涵蓋的非常到位。
缺點：離線層和實時流雖然面臨的場景不相同，但是其內部處理的邏輯卻是相同，因此有大量冗余和重復的模塊存在。
適用場景：同時存在實時和離線需求的情況。
4、Kappa架構
優點：Kappa架構的優點在于將實時和離線代碼統一起來，方便維護而且統一了數據口徑的問題
Kappa架構解決了Lambda架構里面的冗余部分，以數據可重播的超凡脫俗的思想進行了設計，整個架構非常簡潔。
缺點：雖然Kappa架構看起來簡潔，但是施難度相對較高，尤其是對于數據重播部分。
適用場景：和Lambda類似，改架構是針對Lambda的優化。
5、IOTA架構
優點：
去ETL化：ETL和相關開發一直是大數據處理的痛點。TA架構通過Common Data Model的設計，專注在某一個具體領域的數據計算，從而可以從SDK端開始計算，中央端只做采集、建立索引和查詢，提高整體數據分析的效率
Ad-hoc即時查詢：鑒于整體的計算流程機制，在手機端、智能IOT事件發生之時，就可以直接傳送到云端進入real time data區，可以被前端的Query Engine來查詢。此時用戶可以使用各種各樣的查詢，直接查到前幾秒發生的事件，而不用在等待ETL或者Streaming的數據研發和處理。
邊緣計算（Edge-Computing）：將過去統一到中央進行整體計算，分散到數據產生、存儲和查詢端，數據產生既符合Common Data Model。同時，也給與Realtime model feedback，讓客戶端傳送數據的同時馬上進行反饋，而不需要所有事件都要到中央端處理之后再進行下發。
- 上一篇: 圍繞hadoop開源流的大數據實現框架
- 下一篇: 企業級數據業務中臺詳解及使用技術