Hadoop大數據分析與挖掘實戰

前言
基礎篇
第1章數據挖掘基礎2
1.1某知名連鎖餐飲企業的困惑2
1.2從餐飲服務到數據挖掘3
1.3數據挖掘的基本任務4
1.4數據挖掘建模過程4
1.4.1定義挖掘目標4
1.4.2數據取樣5
1.4.3數據探索6
1.4.4數據預處理12
1.4.5挖掘建模14
1.4.6模型評價14
1.5餐飲服務中的大數據應用15
1.6小結15
第2章Hadoop基礎16
2.1概述16
2.1.1Hadoop簡介16
2.1.2Hadoop生態系統17
2.2安裝與配置19
2.3Hadoop原理26
2.3.1HadoopHDFS原理26
2.3.2HadoopMapReduce原理27
2.3.3HadoopYARN原理28
2.4動手實踐30
2.5小結33
第3章Hadoop生態系統：Hive34
3.1概述34
3.1.1Hive簡介34
3.1.2Hive安裝與配置35
3.2Hive原理38
3.2.1Hive架構38
3.2.2Hive的數據模型40
3.3動手實踐41
3.4小結45
第4章Hadoop生態系統：HBase46
4.1概述46
4.1.1HBase簡介46
4.1.2HBase安裝與配置47
4.2HBase原理50
4.2.1HBase架構50
4.2.2HBase與RDBMS51
4.2.3HBase訪問接口52
4.2.4HBase數據模型53
4.3動手實踐54
4.4小結61
第5章大數據挖掘建模平台62
5.1常用的大數據平台62
5.2TipDM—HB大數據挖掘建模平台63
5.2.1TipDM—HB大數據挖掘建模平台的功能63
5.2.2TipDM—HB大數據挖掘建模平台操作流程及實例65
5.2.3TipDM—HB大數據挖掘建模平台的特點67
5.3小結68
第6章挖掘建模69
6.1分類與預測69
6.1.1實現過程69
6.1.2常用的分類與預測算法70
6.1.3決策樹71
6.1.4Mahout中RandomForests算法的實現原理75
6.1.5動手實踐79
6.2聚類分析83
6.2.1常用聚類分析算法83
6.2.2K—Means聚類算法84
6.2.3Mahout中K—Means算法的實現原理88
6.2.4動手實踐90
6.3關聯規則93
6.3.1常用的關聯規則算法93
6.3.2FP—Growth關聯規則算法94
6.3.3Mahout中ParallelFrequentPatternMining算法的實現原理98
6.3.4動手實踐100
6.4協同過濾102
6.4.1常用的協同過濾算法102
6.4.2基於項目的協同過濾算法簡介102
6.4.3Mahout中ItembasedCollaborativeFiltering算法的實現原理103
6.4.4動手實踐106
6.5小結109
實戰篇
第7章法律咨詢數據分析與服務推薦112
7.1背景與挖掘目標112
7.2分析方法與過程114
7.2.1數據抽取120
7.2.2數據探索分析120
7.2.3數據預處理125
7.2.4模型構建130
7.3上機實驗139
7.4拓展思考140
7.5小結145
第8章電商產品評論數據情感分析146
8.1背景與挖掘目標146
8.2分析方法與過程146
8.2.1評論數據采集147
8.2.2評論預處理150
8.2.3文本評論分詞155
8.2.4構建模型155
8.3上機實驗167
8.4拓展思考168
8.5小結169
第9章航空公司客戶價值分析170
9.1背景與挖掘目標170
9.2分析方法與過程171
9.2.1數據抽取174
9.2.2數據探索分析174
9.2.3數據預處理175
9.2.4模型構建177
9.3上機實驗182
9.4拓展思考183
9.5小結183
第10章基站定位數據商圈分析184
10.1背景與挖掘目標184
10.2分析方法與過程186
10.2.1數據抽取186
10.2.2數據探索分析187
10.2.3數據預處理188
10.2.4構建模型191
10.3上機實驗194
10.4拓展思考195
10.5小結195
第11章互聯網電影智能推薦196
11.1背景與挖掘目標196
11.2分析方法與過程197
11.2.1數據抽取199
11.2.2構建模型199
11.3上機實驗201
11.4拓展思考202
11.5小結203
第12章家電故障備件儲備預測分析204
12.1背景與挖掘目標204
12.2分析方法與過程206
12.2.1數據探索分析207
12.2.2數據預處理209
12.2.3構建模型212
12.3上機實驗216
12.4拓展思考217
12.5小結217
第13章市供水混凝投藥量控制分析218
13.1背景與挖掘目標218
13.2分析方法與過程220
13.2.1數據抽取221
13.2.2數據探索分析221
13.2.3數據預處理223
13.2.4構建模型227
13.3上機實驗237
13.4拓展思考238
13.5小結239
第14章基於圖像處理的車輛壓雙黃線檢測240
14.1背景與挖掘目標240
14.2分析方法與過程241
14.2.1數據抽取242
14.2.2數據探索分析242
14.2.3數據預處理242
14.2.4構建模型249
14.3上機實驗250
14.4拓展思考250
14.5小結251
高級篇
第15章基於Mahout的大數據挖掘開發254
15.1概述254
15.2環境配置255
15.3基於Mahout算法接口的二次開發258
15.3.1Mahout算法實例258
15.3.2Mahout算法接口的二次開發示例259
15.4小結271
第16章基於TipDM—HB的數據挖掘二次開發272
16.1概述272
16.1.1TipDM—HB大數據挖掘建模平台服務接口272
16.1.2ApacheCXF簡介276
16.2TipDM—HB大數據挖掘建模平台服務開發實例277
16.2.1環境配置277
16.2.2開發實例280
16.3小結288
參考資料289