掃一掃-
大數據常用架構Lambda,iota分析
2019-12-24 17
1、流式架構傳統大數據架構 優點：簡單，易懂，對于BI系統來說，基本思想沒有發生變化，變化的僅僅是技術選型，用大數據架構替換掉BI的組件。 缺點：對于大數據來說，沒有BI下如... -
圍繞hadoop開源流的大數據實現框架
2019-12-24 17
目前圍繞Hadoop體系的大數據架構包括： 傳統大數據架構 數據分析的業務沒有發生任何變化，但是因為數據量、性能等問題導致系統無法正常使用，需要進行升級改造，那么此類架構便... -
centos python安裝或升級到python3.x
2019-09-16 16
一.說明 centos系統默認安裝了python2.7版本，若使用python3.x版本須按如下步驟進行升級，使用下列命令查看當前系統默認的python版本 python -V 二、python3.x編譯安裝 1.安裝編譯工具 yum -y gro... -
vue從基礎到高級使用
2019-09-16 16
一.下載安裝node.js 1. 下載地址 http://nodejs.cn，下載后直接安裝，命令行輸入node -v 驗證是否安裝成功 2.更換國內npm鏡像（npm為node.js的包管理工具，類似maven），國外鏡像地址太慢 npm ins... -
Centos系統安裝配置MongoDB4x
2019-07-10 14
MongoDB 是一個基于分布式文件存儲的數據庫。由 C++ 語言編寫。旨在為 WEB 應用提供可擴展的高性能數據存儲解決方案。MongoDB 是一個介于關系數據庫和非關系數據庫之間的產品，是非關... -
spark hive整合安裝
2019-05-18 19
1.hadoop安裝參考相關文檔 2.spark安裝 1）下載解壓（須編譯，編譯步驟詳見4） 2）配置環境變量 3）cd 到spark安裝目錄 cp conf/spark-env .sh.template conf /spark-env .sh vi conf/spark-env .sh export JAVA_HOM... -
mysql在線保持腳本
2019-05-18 19
一、mysql不定時宕機問題接口 1.寫一腳本檢測mysql狀態，若宕機則重啟 #!/bin/bash pgrep -x mysqld /dev/null if [ $? -ne 0 ] then echo At time: `date` :MySQL is stop . /var/log/mysql_messages source /etc/profile service... -
hive數據同步工具Sqoop的使用
2019-05-04 23
hive數據同步工具Sqoop的使用，sqoop是一款hive大數據倉庫數據同步工具，可以將mysql，oracle等關系型數據的數據同步至hive大數據倉庫中，也可以將hive表中的數據同步到關系型數據庫中，... -
hive的使用場景及其原理
2018-12-25 11
HIVE的使用場景及其原理，在大數據處理中HIVE占有很重要的地位，呢么hive到底適合在什么場景使用個，以及如何使用呢？ Hive是建立在Hadoop (HDFS/MR)上的用于管理和查詢結果化/非結構化的... -
農業大數據應用經典案例
2018-12-23 21
農業大數據應用經典案例，大數據在各行各業都有應用，在農業方面大數據不僅能夠指導農業生產過程，使得生產過程更規范更科學更節省勞動力，而且能夠大大提升農業產出，還能夠...