掃一掃圍繞hadoop開源流的大數(shù)據(jù)實(shí)現(xiàn)框架
來(lái)源：未知 時(shí)間：2019-51-24 瀏覽次數(shù)：154次
目前圍繞Hadoop體系的大數(shù)據(jù)架構(gòu)包括：
傳統(tǒng)大數(shù)據(jù)架構(gòu)
數(shù)據(jù)分析的業(yè)務(wù)沒有發(fā)生任何變化，但是因?yàn)閿?shù)據(jù)量、性能等問題導(dǎo)致系統(tǒng)無(wú)法正常使用，需要進(jìn)行升級(jí)改造，那么此類架構(gòu)便是為了解決這個(gè)問題。依然保留了ETL的動(dòng)作，將數(shù)據(jù)經(jīng)過ETL動(dòng)作進(jìn)入數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)分析需求依舊以BI場(chǎng)景為主，但是因?yàn)閿?shù)據(jù)量、性能等問題無(wú)法滿足日常使用。
流式架構(gòu)
在傳統(tǒng)大數(shù)據(jù)架構(gòu)的基礎(chǔ)上，流式架構(gòu)數(shù)據(jù)全程以流的形式處理，在數(shù)據(jù)接入端將ETL替換為數(shù)據(jù)通道。經(jīng)過流處理加工后的數(shù)據(jù)，以消息的形式直接推送給了消費(fèi)者。存儲(chǔ)部分在外圍系統(tǒng)以窗口的形式進(jìn)行存儲(chǔ)。適用于預(yù)警、監(jiān)控、對(duì)數(shù)據(jù)有有效期要求的情況。
Lambda架構(gòu)
Lambda架構(gòu)算大數(shù)據(jù)系統(tǒng)里面舉足輕重的架構(gòu)，數(shù)據(jù)通道分為兩條分支：實(shí)時(shí)流和離線。實(shí)時(shí)流依照流式架構(gòu)，保障了其實(shí)時(shí)性，而離線則以批處理方式為主，保障了最終一致性。適用于同時(shí)存在實(shí)時(shí)和離線需求的情況。
Kappa架構(gòu)
Kappa架構(gòu)在Lambda的基礎(chǔ)上進(jìn)行了優(yōu)化，將實(shí)時(shí)和流部分進(jìn)行了合并，將數(shù)據(jù)通道以消息隊(duì)列進(jìn)行替代。因此對(duì)于Kappa架構(gòu)來(lái)說(shuō)，依舊以流處理為主，但是數(shù)據(jù)卻在數(shù)據(jù)湖層面進(jìn)行了存儲(chǔ)，當(dāng)需要進(jìn)行離線分析或者再次計(jì)算的時(shí)候，則將數(shù)據(jù)湖的數(shù)據(jù)再次經(jīng)過消息隊(duì)列重播一次則可。
Unifield架構(gòu)
Unifield架構(gòu)將機(jī)器學(xué)習(xí)和數(shù)據(jù)處理揉為一體，在流處理層新增了機(jī)器學(xué)習(xí)層。數(shù)據(jù)在經(jīng)過數(shù)據(jù)通道進(jìn)入數(shù)據(jù)湖后，新增了模型訓(xùn)練部分，并且將其在流式層進(jìn)行使用。同時(shí)流式層不單使用模型，也包含著對(duì)模型的持續(xù)訓(xùn)練。適用于有著大量數(shù)據(jù)需要分析，同時(shí)對(duì)機(jī)器學(xué)習(xí)方便又有著非常大的需求或者有規(guī)劃的情況。