掃一掃
服務(wù)近2000家企業(yè)，依托一系列實(shí)踐中打磨過(guò)的技術(shù)和產(chǎn)品，根據(jù)企業(yè)的具體業(yè)務(wù)問(wèn)題和需求，針對(duì)性的提供各行業(yè)大數(shù)據(jù)解決方案。
大數(shù)據(jù)常用架構(gòu)Lambda,iota分析
來(lái)源：未知 時(shí)間：2019-58-24 瀏覽次數(shù)：376次
1、流式架構(gòu)傳統(tǒng)大數(shù)據(jù)架構(gòu)
優(yōu)點(diǎn)：簡(jiǎn)單，易懂，對(duì)于BI系統(tǒng)來(lái)說(shuō)，基本思想沒(méi)有發(fā)生變化，變化的僅僅是技術(shù)選型，用大數(shù)據(jù)架構(gòu)替換掉BI的組件。
缺點(diǎn)：對(duì)于大數(shù)據(jù)來(lái)說(shuō)，沒(méi)有BI下如此完備的Cube架構(gòu)，雖然目前有kylin，但是kylin的局限性非常明顯，遠(yuǎn)遠(yuǎn)沒(méi)有BI下的Cube的靈活度和穩(wěn)定度，因此對(duì)業(yè)務(wù)支撐的靈活度不夠，所以對(duì)于存在大量報(bào)表，或者復(fù)雜的鉆取的場(chǎng)景，需要太多的手工定制化，同時(shí)該架構(gòu)依舊以批處理為主，缺乏實(shí)時(shí)的支撐。
適用場(chǎng)景：數(shù)據(jù)分析需求依舊以BI場(chǎng)景為主，但是因?yàn)閿?shù)據(jù)量、性能等問(wèn)題無(wú)法滿足日常使用。
2、流式架構(gòu)
優(yōu)點(diǎn)：沒(méi)有臃腫的ETL過(guò)程，數(shù)據(jù)的實(shí)效性非常高。
缺點(diǎn)：對(duì)于流式架構(gòu)來(lái)說(shuō)，不存在批處理，因此對(duì)于數(shù)據(jù)的重播和歷史統(tǒng)計(jì)無(wú)法很好的支撐。對(duì)于離線分析僅僅支撐窗口之內(nèi)的分析。
適用場(chǎng)景：預(yù)警，監(jiān)控，對(duì)數(shù)據(jù)有有效期要求的情況。
3、Lambda架構(gòu)
優(yōu)點(diǎn)：既有實(shí)時(shí)又有離線，對(duì)于數(shù)據(jù)分析場(chǎng)景涵蓋的非常到位。
缺點(diǎn)：離線層和實(shí)時(shí)流雖然面臨的場(chǎng)景不相同，但是其內(nèi)部處理的邏輯卻是相同，因此有大量冗余和重復(fù)的模塊存在。
適用場(chǎng)景：同時(shí)存在實(shí)時(shí)和離線需求的情況。
4、Kappa架構(gòu)
優(yōu)點(diǎn)：Kappa架構(gòu)的優(yōu)點(diǎn)在于將實(shí)時(shí)和離線代碼統(tǒng)一起來(lái)，方便維護(hù)而且統(tǒng)一了數(shù)據(jù)口徑的問(wèn)題
Kappa架構(gòu)解決了Lambda架構(gòu)里面的冗余部分，以數(shù)據(jù)可重播的超凡脫俗的思想進(jìn)行了設(shè)計(jì)，整個(gè)架構(gòu)非常簡(jiǎn)潔。
缺點(diǎn)：雖然Kappa架構(gòu)看起來(lái)簡(jiǎn)潔，但是施難度相對(duì)較高，尤其是對(duì)于數(shù)據(jù)重播部分。
適用場(chǎng)景：和Lambda類似，改架構(gòu)是針對(duì)Lambda的優(yōu)化。
5、IOTA架構(gòu)
優(yōu)點(diǎn)：
去ETL化：ETL和相關(guān)開發(fā)一直是大數(shù)據(jù)處理的痛點(diǎn)。TA架構(gòu)通過(guò)Common Data Model的設(shè)計(jì)，專注在某一個(gè)具體領(lǐng)域的數(shù)據(jù)計(jì)算，從而可以從SDK端開始計(jì)算，中央端只做采集、建立索引和查詢，提高整體數(shù)據(jù)分析的效率
Ad-hoc即時(shí)查詢：鑒于整體的計(jì)算流程機(jī)制，在手機(jī)端、智能IOT事件發(fā)生之時(shí)，就可以直接傳送到云端進(jìn)入real time data區(qū)，可以被前端的Query Engine來(lái)查詢。此時(shí)用戶可以使用各種各樣的查詢，直接查到前幾秒發(fā)生的事件，而不用在等待ETL或者Streaming的數(shù)據(jù)研發(fā)和處理。
邊緣計(jì)算（Edge-Computing）：將過(guò)去統(tǒng)一到中央進(jìn)行整體計(jì)算，分散到數(shù)據(jù)產(chǎn)生、存儲(chǔ)和查詢端，數(shù)據(jù)產(chǎn)生既符合Common Data Model。同時(shí)，也給與Realtime model feedback，讓客戶端傳送數(shù)據(jù)的同時(shí)馬上進(jìn)行反饋，而不需要所有事件都要到中央端處理之后再進(jìn)行下發(fā)。