一.IT系統架構模式的演變

1. 煙囪式架構

基于單個項目建設，其特點為“煙囪式”，即垂直的體系結構，每一個IT系統都有自己的存儲和IT設備，以及獨立的管理工具和數據庫，不同的系統不能共享資源，不能交付和訪問，形成了資源孤島和信息孤島。這就使得企業IT系統有諸多弊病，即：IT資源的服務率非常低；IT基礎設施復雜，難以適應業務變化的需求；服務器數量和管理的總體成本太高；無通用能力沉淀；重復建設相互協作能力及交互能力復雜

2.共性化平臺

基于不同子平臺共性，通過抽象和抽取共性，公用的功能，公用的服務建立應用層服務平臺平臺建相互獨立。其任然存在無法解決的問題，即：平臺建各自為政(平臺煙囪)；溝通成本大(組織煙囪)；數據孤島(數據煙囪)；前臺變化無序和后臺穩定有序之間的沖突等。

3.企業級中臺架構

輸出公共，通用化后臺能力，快速支撐前臺規模化創新，前臺只負責直接和用戶交互，后臺負責服務，算法，數據，基礎設施等。其核心是打造企業級共享平臺，手段是后臺提供基礎能力封裝，目標是前臺敏捷迭代，提升其試錯能力。主要類型有業務中臺，數據中臺，技術中臺，安全中臺，物聯網中臺，算法中臺。

二.數據中臺的應用閉環

三.數據中臺詳解

數據中臺的主要定位是打造企業級數據共享平臺，形成體系化的數據資產，建立平臺化統一化的數據服務體系，主要應用與潔廁分析，營銷推薦，實時交互等數據中臺應具備下列能力，全域數據匯聚能力，數據資產體系能力，數據資產管理能力，工具/組件平臺化，流程可視化。其架構如下圖所示

四.數據中臺各階段技術選型

1.數據采集匯聚

日志實時采集：filebeat ，flume等
數據庫實時同步：maxwell ，canal ,OGG
離線數據交換：sqoop，datax，自研產品

2.數據存儲

HDFS，kafka，hbase/phoenix
Elasticsearch ， clickhouse等

3.計算引擎

離線計算：spark，hive
實時計算：spark ， Streaming ，flink

上一篇: 大數據常用架構Lambda,iota分析
下一篇: 高安全軟件接口通信方案

亚洲精品美女久久久久久久-四川少妇搡bbw搡bbbb-精品免费国产一区二区三区四区,差差差很疼30分钟的视频,蜜桃成人无码区免费视频网站,免费人成视频x8x8

企業級數據業務中臺詳解及使用技術 來源：未知 時間：2021-15-14 瀏覽次數：390次