spss Modeler數據挖掘方法應用

第1章 數據挖掘和Clementine概述 1
1.1 數據挖掘的產生背景 1
1.1.1 海量數據的分析需求催生數據挖掘 1
1.1.2 應用對理論的挑戰催生數據挖掘 3
1.2 什麼是數據挖掘 6
1.2.1 數據挖掘的概念 6
1.2.2 數據挖掘能做什麼 8
1.2.3 數據挖掘得到的知識形式 9
1.2.4 數據挖掘的算法分類 11
1.3 Clementine軟件概述 14
1.3.1 Clementine的窗口 14
1.3.2 數據流的基本管理和執行 17
1.3.3 數據流的其他管理 19
1.3.4 從一個示例看Clementine的使用 21

第2章 Clementine數據的讀入 30
2.1 變量的類型 30
2.1.1 從數據挖掘角度看變量類型 30
2.1.2 從數據存儲角度看變量類型 31
2.2 讀入數據 31
2.2.1 讀自由格式的文本文件 32
2.2.2 讀Excel電子表格數據 36
2.2.3 讀SPSS格式文件 37
2.2.4 讀數據庫文件 38
2.3 生成實驗方案數據 40
2.4 合並數據 42
2.4.1 數據的縱向合並 42
2.4.2 數據的橫向合並 44

第3章 Clementine變量的管理 47
3.1 變量說明 47
3.1.1 取值范圍和缺失值的說明 48
3.1.2 變量取值有效性檢查和修正 49
3.1.3 變量角色的說明 50
3.2 變量值的重新計算 51
3.2.1 CLEM表達式 52
3.2.2 變量值重新計算示例 55
3.3 變量類別值的調整 57
3.4 生成新變量 58
3.5 變量值的離散化處理 62
3.5.1 常用的分箱方法 62
3.5.2 變量值的離散化處理示例 66
3.6 生成樣本集分割變量 69
3.6.1 樣本集分割的意義和常見方法 69
3.6.2 生成樣本集分割變量的示例 71

第4章 Clementine樣本的管理 73
4.1 樣本的排序 73
4.2 樣本的條件篩選 74
4.3 樣本的隨機抽樣 75
4.4 樣本的濃縮處理 76
4.5 樣本的分類匯總 77
4.6 樣本的平衡處理 78
4.7 樣本的其他管理 79
4.7.1 數據轉置 79
4.7.2 數據的重新組織 81

第5章 Clementine數據的基本分析 83
5.1 數據質量的探索 84
5.1.1 數據的基本描述與質量探索 84
5.1.2 離群點和極端值的修正 87
5.1.3 缺失值的替補 88
5.1.4 數據質量管理的其他功能 89
5.2 基本描述分析 90
5.2.1 計算基本描述統計量 91
5.2.2 繪制散點圖 93
5.3 變量分布的探索 94
5.4 兩分類變量相關性的研究 97
5.4.1 兩分類變量相關性的圖形分析 97
5.4.2 兩分類變量相關性的數值分析 100
5.5 兩總體的均值比較 105
5.5.1 兩總體均值比較的圖形分析 105
5.5.2 獨立樣本的均值檢驗 107
5.5.3 配對樣本的均值檢驗 111
5.6 變量重要性的分析 113
5.6.1 變量重要性分析的一般方法 113
5.6.2 變量重要性分析的應用示例 116

第6章 分類預測：Clementine的決策樹 119
6.1 決策樹算法概述 119
6.1.1 什麼是決策樹 119
6.1.2 決策樹的幾何理解 121
6.1.3 決策樹的核心問題 121
6.2 Clementine的C5.0算法及應用 124
6.2.1 信息熵和信息增益 124
6.2.2 C5.0的決策樹生長算法 126
6.2.3 C5.0的剪枝算法 130
6.2.4 C5.0的推理規則集 132
6.2.5 C5.0的基本應用示例 136
6.2.6 C5.0的損失矩陣和Boosting技術 140
6.2.7 C5.0的模型評價 145
6.2.8 C5.0的其他話題：推理規則、交叉驗證和未剪枝的決策樹 147
6.3 Clementine的分類回歸樹及應用 148
6.3.1 分類回歸樹的生長過程 149
6.3.2 分類回歸樹的剪枝過程 151
6.3.3 損失矩陣對分類樹的影響 154
6.3.4 分類回歸樹的基本應用示例 155
6.3.5 分類回歸樹的交互建模 159
6.3.6 分類回歸樹的模型評價 160
6.4 Clementine的CHAID算法及應用 168
6.4.1 CHAID分組變量的預處理和選擇策略 168
6.4.2 Exhaustive CHAID算法 170
6.4.3 CHAID的剪枝 171
6.4.4 CHAID的應用示例 171
6.5 Clementine的QUEST算法及應用 173
6.5.1 QUEST算法確定最佳分組變量和分割點的方法 174
6.5.2 QUEST算法的應用示例 176
6.6 決策樹算法評估的圖形比較 177
6.6.1 不同模型的誤差對比 177
6.6.2 不同模型收益的對比 178

第7章 分類預測：Clementine的人工神經網絡 181
7.1 人工神經網絡算法概述 181
7.1.1 人工神經網絡的概念和種類 181
7.1.2 人工神經網絡中的節點和意義 183
7.1.3 人工神經網絡建立的一般步驟 185
7.2 Clementine的B-P反向傳播網絡 187
7.2.1 感知機模型 188
7.2.2 B-P反向傳播網絡的特點 190
7.2.3 B-P反向傳播算法 193
7.2.4 B-P反向傳播網絡的其他問題 196
7.3 Clementine的B-P反向傳播網絡的應用 199
7.3.1 基本操作說明 200
7.3.2 計算結果說明 202
7.3.3 提高模型預測精度 204
7.4 Clementine的徑向基函數網絡及應用 204
7.4.1 徑向基函數網絡中的隱節點和輸出節點 204
7.4.2 徑向基函數網絡的學習過程 205
7.4.3 徑向基函數網絡的應用示例 207

第8章 分類預測：Clementine的統計方法 209
8.1 Clementine的Logistic回歸分析及應用 209
8.1.1 二項Logistic回歸方程 210
8.1.2 二項Logistic回歸方程系數的含義 212
8.1.3 二項Logistic回歸方程的檢驗 214
8.1.4 二項Logistic回歸分析的應用示例 218
8.1.5 多項Logistic回歸分析的應用示例 224
8.2 Clementine的判別分析及應用 226
8.2.1 距離判別法 226
8.2.2 Fisher判別法 228
8.2.3 貝葉斯判別法 231
8.2.4 判別分析的應用示例 233

第9章 探索內部結構：Clementine的關聯分析 242
9.1 簡單關聯規則及其有效性 242
9.1.1 簡單關聯規則的基本概念 243
9.1.2 簡單關聯規則的有效性和實用性 245
9.2 Clementine的Apriori算法及應用 249
9.2.1 產生頻繁項集 249
9.2.2 依據頻繁項集產生簡單關聯規則 251
9.2.3 Apriori算法的應用示例 251
9.3 Clementine的GRI算法及應用 256
9.3.1 GRI算法基本思路 256
9.3.2 GRI算法的具體策略 257
9.3.3 GRI算法的應用示例 259
9.4 Clementine的序列關聯及應用 260
9.4.1 序列關聯中的基本概念 261
9.4.2 Sequence算法 262
9.4.3 序列關聯的時間約束 266
9.4.4 序列關聯分析的應用示例 266

第10章 探索內部結構：Clementine的聚類分析 270
10.1 聚類分析的一般問題 270
10.1.1 聚類分析的提出 270
10.1.2 聚類分析的算法 271
10.2 Clementine的K-Means聚類及應用 271
10.2.1 K-Means對「親疏程度」的測度 271
10.2.2 K-Means聚類過程 272
10.2.3 K-Means聚類的應用示例 275
10.3 Clementine的兩步聚類及應用 279
10.3.1 兩步聚類對「親疏程度」的測度 279
10.3.2 兩步聚類過程 281
10.3.3 聚類數目的確定 282
10.3.4 兩步聚類的應用示例 284
10.4 Clementine的Kohonen網絡聚類及應用 286
10.4.1 Kohonen網絡的聚類機理 286
10.4.2 Kohonen網絡的聚類過程 288
10.4.3 Kohonen網絡聚類的示例 290
10.5 基於聚類分析的離群點探索及應用 295
10.5.1 多維空間基於聚類的診斷方法 296
10.5.2 多維空間基於聚類的診斷方法應用示例 299

參考文獻 302