Spark大數據分析實訓教程

發布者：    布時間：2020-09-10 16:41:34    點擊量：

Spark Streming醫療實時審核系統開發

• 項目1 大數據概述
• 任務 1.1 認識大數據
• 任務 1.2 認識hadoop
• 項目2 開發技術概述
• 任務 2.1 認識PyMysql庫
• 任務 2.2 認識Json庫
• 任務 2.3 認識Flask框架
• 任務 2.4 認識ECharts圖表插件
• 項目3 開發環境與工具介紹
• 任務 3.1 認識python與JDK
• 任務 3.2 認識PyCharm集成開發環境
• 任務 3.3 認識MySql數據庫
• 任務 3.4 認識hadoop
• 任務 3.5 認識zookeeper
• 任務 3.6 認識kafka
• 任務 3.7 認識spark streming
• 項目4 系統概要設計
• 任務 4.1 系統需求分析和功能設計
• 任務 4.2 系統詳細設計
• 任務 4.3 數據庫設計
• 項目5 構建開發機開發環境
• 任務 5.1 安裝與配置JDK
• 任務 5.2 安裝與配置Tomcat
• 任務 5.3 Python Web項目的創建
• 任務 5.4 安裝MySql數據庫
• 項目6 構建Spark平臺環境
• 任務 6.1 安裝與配置JDK
• 任務 6.2 安裝Mysql數據庫
• 任務 6.3 安裝Hadoop集群
• 任務 6.4 安裝與配置kafka
• 任務 6.5 安裝與配置scala
• 任務 6.6 按裝與配置spark
• 項目6 數據封裝發送模塊
• 任務 6.1  Json數據封裝
• 任務 7.3  數據發送到kafka
• 任務7 數據審核模塊
• 任務 7.2 spark streming數據審核
• 任務 7.3 審核數據持久化
• 任務 7.4 hdfs數據備份
• 任務 7.5 監控spark streming與kafka
• 任務8 可視化模塊
• 任務 8.1 構建flask框架下的項目
• 任務 8.2 使用web前端技術實現可視化頁面
• 任務 8.2 采用pymysql連接數據庫
• 任務 8.3 審核通過人數
• 任務 8.4 審核不通過人數
• 任務 8.5 審核不通過原因與數量
• 任務9 系統部署發布
• 任務 9.1 安裝部署nginx
• 任務 9.2 安裝Python3.6
• 任務 9 .3安裝setuptools
• 任務 9.4 安裝pip
• 任務 9.5 安裝flask
• 任務 9.6 安裝uwsgi
• 任務 9.7 linux中的項目部署

• 項目1 Spark用戶人群畫像系統概述      
• 任務 1.1 認識大數據
• 任務 1.2 認識hadoop生態    
• 任務 1.3 認識大數據實訓平臺
• 項目2 開發技術概述
• 任務 2.1 認識linux常用命令
• 任務 2.2 認識Hive數據倉庫
• 任務 2.3認識zookeeper
• 任務 2.5 認識phoenix
• 任務 2.6 認識spring框架
• 任務 2.7 認識springMVC框架
• 任務 2.8 認識scala
• 任務 2.9 認識SparkSQL
• 任務 2.10 認識echarts圖表插件
• 項目3 開發環境與工具介紹
• 任務 3.1 認識Java與JDK
• 任務 3.2 認識tomcat服務器
• 任務3.3 認識maven項目管理工具
• 任務 3.4 認識IntelliJ IDEA集成開發環境
• 任務 3.5 認識MySql數據庫
• 項目4 系統概要設計
• 任務 4.1 系統需求分析和功能設計
• 任務 4.2 系統詳細設計
• 任務 4.3 數據庫設計
• 項目5 構建開發機開發環境
• 任務 5.1 安裝與配置JDK
• 任務 5.2 安裝與配置tomcat
• 任務 5.3 安裝與配置Intellij IDEA
• 任務 5.4 Maven Web項目的創建
• 項目6 構建hadoop平臺環境
• 任務 6.1 安裝與配置JDK
• 任務 6.1 安裝mysql數據庫
• 任務 6.2 安裝hadoop集群
• 任務 6.3 安裝與配置hive
• 任務 6.5 安裝與配置zookeeper
• 任務 6.6安裝與配置 hbase
• 任務 6.7 安裝與配置 scala
• 任務 6.8 安裝與配置Spark
• 任務 6.9 安裝與配置Phoenix
• 任務 6.10 環境整合
• 項目7 數據清洗模塊
• 任務 7.1 使用MapReduce進行用戶信息清洗
• 任務 7.2 使用MapReduce進行訂單信息清洗
• 任務 7.3 使用MapReduce進行訂單商品信息清洗
• 任務 7.4 使用MapReduce進行用戶上網軌跡信息pc端清洗
• 任務 7.5 使用MapReduce進行用戶上網軌跡信息app端清洗
• 項目8 數據倉庫構建模塊
• 任務 8.1 本項目數據倉庫設計
• 任務 8.2 數據倉庫bdm層
• 任務 8.3 數據倉庫fdm層
• 任務 8.4 數據倉庫gdm層
• 任務 8.5 數據倉庫adm層
• 任務 8.6 構建hbase映射表
• 任務 8.7 構建phoenix映射表
• 項目9 可視化模塊
• 任務 9.1 使用web前端技術實現可視化頁面
• 任務 9.2 使用JdbcTemplate查詢phoenix
• 任務 9.3 使用echarts實現數據可視化
• 項目12 系統部署發布
• 任務12.1 安裝部署Tomcat服務器

上一篇：Hadoop大數據應用實訓教程

下一篇：綜合布線實訓||實訓1 參觀考察智能建筑