国产成人欧美日韩综合-久久久久无码国产精品不卡-h双腿涨灌捆绑play慎入-啊灬用力灬啊灬啊灬啊灬a片男男-性疼痛tube小坳交hd-国产精品免费大片-日本亚洲成高清一区二区三区-草莓视频在线观看污污-浴室激情hd-欧美午夜理伦三级在线观看激情伦理-91蝌蚪在线,国产黄色大片在线观看一区二区,午夜精品久久久内射近拍高清,特级做a爱片久久久久久

18600329666

咨詢技術專家

掃一掃
與技術專家在線溝通

Menu
大量視頻,圖片，文件分布式存儲技術方案

來源：未知　時間：2022-55-26　瀏覽次數：362次

  1. 分布式系統概述
分布式文件系統主要是用于存儲文檔、圖像、視頻類的非結構化數據，其建立在網絡會話層和網絡傳輸層之上，以建立資源池的方式實現全局化管理平臺所涉及的非結構化數據資源(文件資源)，并實現資源調度過程的透明化。
系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器（NameNode）定位存儲信息以提高文件讀取效率，系統整體性能和系統擴展性
  1. 技術路線
使用HDFS作為分布式文件系統中間件，HDFS有著高容錯性（fault-tolerant）的特點，可以提供高吞吐量（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序，HDFS放寬了（relax）POSIX的要求（requirements）這樣可以實現流的形式訪問（streaming access）文件系統中的數據。在HDFS分布式文件系統的基礎上建立ZooKeeper分布式服務注冊中心對兩個互為主備的NameNode進行不間斷心跳狀態檢測，如果某一臺NameNode節點出現故障則自動切換另外一臺主機對外提供元數據檢索，存儲服務，即實現分布式存儲的高可用特性。部署ZKFailoverController客戶端組件實現對Zookeeper注冊中心的可視化管理，實現提前預計，定時故障分析和處理。
  1. 分布式文件系統架
系統由兩個主備NameNode節點和多個DataNode（數據存儲塊）組成，通過注冊中心實現NameNode高可用切換，其中NameNode實現數據索引和元數據的存儲，架構如下圖所示
分布式文件系統
  1. 系統目標
硬件故障災備
整個分布式文件系統將由數百或數千個存儲著文件數據片段的服務器組成。隨著數據量的不斷增大，其分節點的數量將會非常龐大，每個節點硬件都有出故障的可能，系統通過部署ZooKeeper（ZK服務注冊中心） 和 ZKFailoverController（ZKFC）組件實現故障自動轉移，以達到即便硬件出現故障數據依然完整的目的
故障災備
實現海量數據存儲
系統實施基于XHBGDAT運維管理系統，實現NameNode實時監測動態切換，DataNode數據存儲節點通過可視化界面進行動態添加和動態剔除，并在此基礎上實現數據副本文件的動態復制和整體遷移，以增加數據存儲規模和海量數據的有效管理
流式數據訪問
hdfs分布式文件系統的訪問和處理采用流式批處理方式，更大程度的提高系統視頻，圖片等文件數據讀取的吞吐量。