服務近2000家企業(yè)，依托一系列實踐中打磨過的技術和產(chǎn)品，根據(jù)企業(yè)的具體業(yè)務問題和需求，針對性的提供各行業(yè)大數(shù)據(jù)解決方案。

企業(yè)級數(shù)據(jù)業(yè)務中臺詳解及使用技術
來源：未知　時間：2021-15-14　瀏覽次數(shù)：390次

一.IT系統(tǒng)架構模式的演變

1. 煙囪式架構

基于單個項目建設，其特點為“煙囪式”，即垂直的體系結構，每一個IT系統(tǒng)都有自己的存儲和IT設備，以及獨立的管理工具和數(shù)據(jù)庫，不同的系統(tǒng)不能共享資源，不能交付和訪問，形成了資源孤島和信息孤島。這就使得企業(yè)IT系統(tǒng)有諸多弊病，即：IT資源的服務率非常低；IT基礎設施復雜，難以適應業(yè)務變化的需求；服務器數(shù)量和管理的總體成本太高；無通用能力沉淀；重復建設相互協(xié)作能力及交互能力復雜

2.共性化平臺

基于不同子平臺共性，通過抽象和抽取共性，公用的功能，公用的服務建立應用層服務平臺平臺建相互獨立。其任然存在無法解決的問題，即：平臺建各自為政(平臺煙囪)；溝通成本大(組織煙囪)；數(shù)據(jù)孤島(數(shù)據(jù)煙囪)；前臺變化無序和后臺穩(wěn)定有序之間的沖突等。

3.企業(yè)級中臺架構

輸出公共，通用化后臺能力，快速支撐前臺規(guī)模化創(chuàng)新，前臺只負責直接和用戶交互，后臺負責服務，算法，數(shù)據(jù)，基礎設施等。其核心是打造企業(yè)級共享平臺，手段是后臺提供基礎能力封裝，目標是前臺敏捷迭代，提升其試錯能力。主要類型有業(yè)務中臺，數(shù)據(jù)中臺，技術中臺，安全中臺，物聯(lián)網(wǎng)中臺，算法中臺。

二.數(shù)據(jù)中臺的應用閉環(huán)

三.數(shù)據(jù)中臺詳解

數(shù)據(jù)中臺的主要定位是打造企業(yè)級數(shù)據(jù)共享平臺，形成體系化的數(shù)據(jù)資產(chǎn)，建立平臺化統(tǒng)一化的數(shù)據(jù)服務體系，主要應用與潔廁分析，營銷推薦，實時交互等數(shù)據(jù)中臺應具備下列能力，全域數(shù)據(jù)匯聚能力，數(shù)據(jù)資產(chǎn)體系能力，數(shù)據(jù)資產(chǎn)管理能力，工具/組件平臺化，流程可視化。其架構如下圖所示

四.數(shù)據(jù)中臺各階段技術選型

1.數(shù)據(jù)采集匯聚

日志實時采集：filebeat ，flume等
數(shù)據(jù)庫實時同步：maxwell ，canal ,OGG
離線數(shù)據(jù)交換：sqoop，datax，自研產(chǎn)品

2.數(shù)據(jù)存儲

HDFS，kafka，hbase/phoenix
Elasticsearch ， clickhouse等

3.計算引擎

離線計算：spark，hive
實時計算：spark ， Streaming ，flink

上一篇: 大數(shù)據(jù)常用架構Lambda,iota分析
下一篇: 高安全軟件接口通信方案

企業(yè)級數(shù)據(jù)業(yè)務中臺詳解及使用技術 來源：未知 時間：2021-15-14 瀏覽次數(shù)：390次