亚洲精品美女久久久久久久-四川少妇搡bbw搡bbbb-精品免费国产一区二区三区四区,差差差很疼30分钟的视频,蜜桃成人无码区免费视频网站,免费人成视频x8x8

圍繞hadoop開源流的大數據實現框架

來源：未知　時間：2019-51-24　瀏覽次數：154次

目前圍繞Hadoop體系的大數據架構包括：

傳統大數據架構

數據分析的業務沒有發生任何變化，但是因為數據量、性能等問題導致系統無法正常使用，需要進行升級改造，那么此類架構便是為了解決這個問題。依然保留了ETL的動作，將數據經過ETL動作進入數據存儲。數據分析需求依舊以BI場景為主，但是因為數據量、性能等問題無法滿足日常使用。

流式架構

在傳統大數據架構的基礎上，流式架構數據全程以流的形式處理，在數據接入端將ETL替換為數據通道。經過流處理加工后的數據，以消息的形式直接推送給了消費者。存儲部分在外圍系統以窗口的形式進行存儲。適用于預警、監控、對數據有有效期要求的情況。

Lambda架構

Lambda架構算大數據系統里面舉足輕重的架構，數據通道分為兩條分支：實時流和離線。實時流依照流式架構，保障了其實時性，而離線則以批處理方式為主，保障了最終一致性。適用于同時存在實時和離線需求的情況。

Kappa架構

Kappa架構在Lambda的基礎上進行了優化，將實時和流部分進行了合并，將數據通道以消息隊列進行替代。因此對于Kappa架構來說，依舊以流處理為主，但是數據卻在數據湖層面進行了存儲，當需要進行離線分析或者再次計算的時候，則將數據湖的數據再次經過消息隊列重播一次則可。

Unifield架構

Unifield架構將機器學習和數據處理揉為一體，在流處理層新增了機器學習層。數據在經過數據通道進入數據湖后，新增了模型訓練部分，并且將其在流式層進行使用。同時流式層不單使用模型，也包含著對模型的持續訓練。適用于有著大量數據需要分析，同時對機器學習方便又有著非常大的需求或者有規劃的情況。