深度神經網絡是近年來受到廣泛關注的研究方向,它已成為人工智能2.0的主要組成部分。本書系統地論述了深度神經網絡基本理論、算法及應用。全書共16章,分為兩個部分;第一部分(第1章~10章)系統論述了理論及算法,包括深度前饋神經網絡、深度卷積神經網絡、深度堆棧神經網絡、深度遞歸神經網絡、深度生成網絡、深度融合網絡等;第二部分(第11~15章)論述了常用的深度學習平台,以及在高光譜圖像、自然圖像、SAR與極化SAR影像等領域的應用;第16章為總結與展望,給出了深度學習發展的歷史圖、前沿方向及最新進展。每章都附有相關閱讀材料及仿真代碼,以便有興趣的讀者進一步鑽研探索。
本書可為高等院校計算機科學、電子科學與技術、信息科學、控制科學與工程、人工智能等領域的研究人員提供參考,以及作為相關專業本科生及研究生教學參考書,同時可供深度學習及其應用感興趣的研究人員和工程技術人員參考。
焦李成,男,漢族,1959年10月生,1992年起任西安電子科技大學教授。現任智能感知與計算國際聯合研究中心主任、智能感知與圖像理解教育部重點實驗室主任、智能感知與計算國際合作聯合實驗室主任、「智能信息處理科學與技術」高等學校學科創新引智基地(「111計划」)主任、教育部科技委國際合作部學部委員、中國人工智能學會副理事長、IET西安分會主席、IEEE西安分會獎勵委員會主席、IEEE計算智能協會西安分會主席、IEEE
GRSS西安分會主席,IEEE
TGRS副主編、教育部創新團隊首席專家。國務院學位委員會學科評議組成員、教育部本科教學水平評估專家。1991年被批准為享受國務院政府津貼的專家,1996年首批入選國家「百千萬」人才工程(第壹、二層次)。當選為全國模范教師、陝西省師德標兵和曾任第八屆全國人大代表。焦李成教授的主要研究方向為智能感知與計算、圖像理解與目標識別、深度學習與類腦計算,培養的十余名博士獲全國優秀博士學位論文獎、提名獎及陝西省優秀博士論文獎。研究成果獲包括國家自然科學獎二等獎及省部級一等獎以上科技獎勵十余項,出版學術專著十余部,五次獲國家優秀科技圖書獎勵及全國首屆三個一百優秀圖書獎。所發表的論著被他人引用超過25000余篇次,H指數為65。
目錄
第1章 深度學習基礎
1.1 數學基礎
1.1.1 矩陣論
1.1.2 概率論
1.1.3 優化分析
1.1.4 框架分析
1.2 稀疏表示
1.2.1 稀疏表示初步
1.2.2 稀疏模型
1.2.3 稀疏認知學習、計算與識別的范式
1.3 機器學習與神經網絡
1.3.1 機器學習
1.3.2 神經網絡
參考文獻
第2章 深度前饋神經網絡
2.1 神經元的生物機理
2.1.1 生物機理
2.1.2 單隱層前饋神經網絡
2.2 多隱層前饋神經網絡
2.3 反向傳播算法
2.4 深度前饋神經網絡的學習范式
參考文獻
第3章 深度卷積神經網絡
3.1 卷積神經網絡的生物機理及數學刻畫
3.1.1 生物機理
3.1.2 卷積流的數學刻畫
3.2 深度卷積神經網絡
3.2.1 典型網絡模型與框架
3.2.2 學習算法及訓練策略
3.2.3 模型的優缺點分析
3.3 深度反卷積神經網絡
3.3.1 卷積稀疏編碼
3.3.2 深度反卷積神經網絡
3.3.3 網絡模型的性能分析與應用舉例
3.4 全卷積神經網絡
3.4.1 網絡模型的數學刻畫
3.4.2 網絡模型的性能分析及應用舉例
參考文獻
第4章 深度堆棧自編碼網絡
4.1 自編碼網絡
4.1.1 逐層學習策略
4.1.2 自編碼網絡
4.1.3 自編碼網絡的常見范式
4.2 深度堆棧網絡
4.3 深度置信網絡/深度玻爾茲曼機網絡
4.3.1 玻爾茲曼機/受限玻爾茲曼機
4.3.2 深度玻爾茲曼機/深度置信網絡
參考文獻
第5章 稀疏深度神經網絡
5.1 稀疏性的生物機理
5.1.1 生物視覺機理
5.1.2 稀疏性響應與數學物理描述
5.2 稀疏深度網絡模型及基本性質
5.2.1 數據的稀疏性
5.2.2 稀疏正則
5.2.3 稀疏連接
5.2.4 稀疏分類器設計
5.2.5 深度學習中關於稀疏的技巧與策略
5.3 網絡模型的性能分析
5.3.1 稀疏性對深度學習的影響
5.3.2 對比實驗及結果分析
參考文獻
第6章 深度融合網絡
6.1 深度SVM網絡
6.1.1 從神經網絡到SVM
6.1.2 網絡模型的結構
6.1.3 訓練技巧
6.2 深度PCA網絡
6.3 深度ADMM網絡
6.4 深度極限學習機
6.4.1 極限學習機
6.4.2 深度極限學習機
6.5 深度多尺度幾何網絡
6.5.1 深度脊波網絡
6.5.2 深度輪廓波網絡
6.6 深度森林
6.6.1 多分辨特性融合
6.6.2 級聯特征深度處理
參考文獻
第7章 深度生成網絡
7.1 生成式對抗網絡的基本原理
7.1.1 網絡模型的動機
7.1.2 網絡模型的數學物理描述
7.2 深度卷積對抗生成網絡
7.2.1 網絡模型的基本結構
7.2.2 網絡模型的性能分析
7.2.3 網絡模型的典型應用
7.3 深度生成網絡模型的新范式
7.3.1 生成式對抗網絡的新范式
7.3.2 網絡框架的性能分析與改進
7.4 應用驅動下的兩種新生成式對抗網絡
7.4.1 堆棧生成式對抗網絡
7.4.2 對偶學習范式下的生成式對抗網絡
7.5 變分自編碼器
參考文獻
第8章 深度復卷積神經網絡與深度二值神經網絡
8.1 深度復卷積神經網絡
8.1.1 網絡模型構造的動機
8.1.2 網絡模型的數學物理描述
8.2 深度二值神經網絡
8.2.1 網絡基本結構
8.2.2 網絡的數學物理描述
8.2.3 討論
參考文獻
第9章 深度循環和遞歸神經網絡
9.1 深度循環神經網絡
9.1.1 循環神經網絡的生物機理
9.1.2 簡單的循環神經網絡
9.1.3 深度循環神經網絡的數學物理描述
9.2 深度遞歸神經網絡
9.2.1 簡單的遞歸神經網絡
9.2.2 深度遞歸神經網絡的優勢
9.3 長短時記憶神經網絡
9.3.1 改進動機分析
9.3.2 長短時記憶神經網絡的數學分析
9.4 典型應用
9.4.1 深度循環神經網絡的應用舉例
9.4.2 深度遞歸神經網絡的應用舉例
參考文獻
第10章 深度強化學習
10.1 深度強化學習基礎
10.1.1 深度強化學習的基本思路
10.1.2 發展歷程
10.1.3 應用的新方向
10.2 深度Q網絡
10.2.1 網絡基本模型與框架
10.2.2 深度Q網絡的數學分析
10.3 應用舉例—AlphaGo
10.3.1 AlphaGo原理分析
10.3.2 深度強化學習性能分析
參考文獻
第11章 深度學習軟件仿真平台及開發環境
11.1 Caffe平台
11.1.1 Caffe平台開發環境
11.1.2 AlexNet神經網絡學習
11.1.3 AlexNet神經網絡應用於圖像分類
11.2 TensorFlow平台
11.2.1 TensorFlow平台開發環境
11.2.2 深度卷積生成式對抗網DCGAN
11.2.3 DAN應用於樣本擴充
11.3 MXNet平台
11.3.1 MXNet平台開發環境
11.3.2 VGG-NET深度神經網絡學習
11.3.3 圖像分類應用任務
11.4 Torch 7平台
11.4.1 Torch 7平台開發環境
11.4.2 二值神經網絡
11.4.3 二值神經網絡應用於圖像分類
11.5 Theano平台
11.5.1 Theano平台開發環境
11.5.2 遞歸神經網絡
11.5.3 LSTM應用於情感分類任務
參考文獻
第12章 基於深度神經網絡的SAR/PolSAR影像地物分類
12.1 數據集及研究目的
12.1.1 數據集特性分析
12.1.2 基本數據集
12.1.3 研究目的
12.2 基於深度神經網絡的SAR影像地物分類
12.2.1 基於自適應自編碼和超像素的SAR圖像分類
12.2.2 基於卷積中層特征學習的SAR圖像分類
12.3 基於第一代深度神經網絡的PolSAR影像地物分類
12.3.1 基於稀疏極化DBN的極化SAR地物分類
12.3.2 基於深度PCA網絡的極化SAR影像地物分類
12.4 基於第二代深度神經網絡的PolSAR影像地物分類
12.4.1 基於深度復卷積網絡的極化PolSAR影像地物分類
12.4.2基於生成式對抗網的極化PolSAR影像地物分類
12.4.3基於深度殘差網絡的極化PolSAR影像地物分類
參考文獻
第13章 基於深度神經網絡的SAR影像變化檢測
13.1 數據集特點及研究目的
13.1.1 研究目的
13.1.2 數據基本特性
13.1.3 典型數據集
13.2 基於深度學習和SIFT特征的SAR圖像變化檢測
13.2.1 基本方法與實現策略
13.2.2 對比實驗結果分析
13.3基於SAE的SAR圖像變化檢測
13.3.1 基本方法與實現策略
13.3.2 對比實驗結果分析
13.4基於CNN的SAR圖像變化檢測
13.4.1基本方法與實現策略
13.4.2對比實驗結果分析
參考文獻
第14章 基於深度神經網絡的高光譜圖像分類與壓縮
14.1 數據集及研究目的
14.1.1 高光譜遙感技術
14.1.2 高光譜遙感的研究目的
14.1.3 常用的高光譜數據集
14.2 基於深度神經網絡的高光譜影像的分類
14.2.1 基於堆棧自編碼的高光譜影像的分類
14.2.2 基於卷積神經網絡的高光譜影像的分類
14.3基於深度神經網絡的高光譜影像的壓縮
14.3.1 基於深度自編碼網絡的高光譜圖像壓縮方法
14.3.2 實驗設計及分類結果
參考文獻
第15章 基於深度神經網絡的目標檢測與識別
15.1 數據特性及研究目的
15.1.1 研究目的
15.1.2 常用數據集
15.2 基於快速CNN的目標檢測與識別
15.2.1 R-CNN
15.2.2 Fast R-CNN
15.2.3 Faster R-CNN
15.2.4 對比實驗結果與分析
15.3 基於回歸學習的目標檢測與識別
15.3.1 YOLO
15.3.2 SSD
15.3.3 對比實驗結果分析
15.4 基於學習搜索的目標檢測與識別
15.4.1 基於深度學習的主動目標定位
15.4.2 AttentionNet
15.4.3 對比實驗結果分析
參考文獻
第16章 總結與展望
16.1 深度學習發展歷史圖
16.1.1 從機器學習、稀疏表示學習到深度學習
16.1.2 深度學習、計算與認知的范式演進
16.1.3 深度學習形成脈絡
16.2 深度學習的典型應用
16.2.1 目標檢測與識別
16.2.2 超分辨
16.2.3 自然語言處理
16.3 深度神經網絡的可塑性
16.3.1 旋轉不變性
16.3.2 平移不變性
16.3.3 多尺度、多分辨和多通路特性
16.3.4 稀疏性
16.4 基於腦啟發式的深度學習前沿方向
16.4.1 生物神經領域關於認知、識別、注意等的最新研究進展
16.4.2 深度神經網絡的進一步研究方向
16.4.3 深度學習的可拓展性
參考文獻
附錄A 基於深度學習的常見任務處理介紹
附錄B 代碼介紹
1.1 數學基礎
1.1.1 矩陣論
1.1.2 概率論
1.1.3 優化分析
1.1.4 框架分析
1.2 稀疏表示
1.2.1 稀疏表示初步
1.2.2 稀疏模型
1.2.3 稀疏認知學習、計算與識別的范式
1.3 機器學習與神經網絡
1.3.1 機器學習
1.3.2 神經網絡
參考文獻
第2章 深度前饋神經網絡
2.1 神經元的生物機理
2.1.1 生物機理
2.1.2 單隱層前饋神經網絡
2.2 多隱層前饋神經網絡
2.3 反向傳播算法
2.4 深度前饋神經網絡的學習范式
參考文獻
第3章 深度卷積神經網絡
3.1 卷積神經網絡的生物機理及數學刻畫
3.1.1 生物機理
3.1.2 卷積流的數學刻畫
3.2 深度卷積神經網絡
3.2.1 典型網絡模型與框架
3.2.2 學習算法及訓練策略
3.2.3 模型的優缺點分析
3.3 深度反卷積神經網絡
3.3.1 卷積稀疏編碼
3.3.2 深度反卷積神經網絡
3.3.3 網絡模型的性能分析與應用舉例
3.4 全卷積神經網絡
3.4.1 網絡模型的數學刻畫
3.4.2 網絡模型的性能分析及應用舉例
參考文獻
第4章 深度堆棧自編碼網絡
4.1 自編碼網絡
4.1.1 逐層學習策略
4.1.2 自編碼網絡
4.1.3 自編碼網絡的常見范式
4.2 深度堆棧網絡
4.3 深度置信網絡/深度玻爾茲曼機網絡
4.3.1 玻爾茲曼機/受限玻爾茲曼機
4.3.2 深度玻爾茲曼機/深度置信網絡
參考文獻
第5章 稀疏深度神經網絡
5.1 稀疏性的生物機理
5.1.1 生物視覺機理
5.1.2 稀疏性響應與數學物理描述
5.2 稀疏深度網絡模型及基本性質
5.2.1 數據的稀疏性
5.2.2 稀疏正則
5.2.3 稀疏連接
5.2.4 稀疏分類器設計
5.2.5 深度學習中關於稀疏的技巧與策略
5.3 網絡模型的性能分析
5.3.1 稀疏性對深度學習的影響
5.3.2 對比實驗及結果分析
參考文獻
第6章 深度融合網絡
6.1 深度SVM網絡
6.1.1 從神經網絡到SVM
6.1.2 網絡模型的結構
6.1.3 訓練技巧
6.2 深度PCA網絡
6.3 深度ADMM網絡
6.4 深度極限學習機
6.4.1 極限學習機
6.4.2 深度極限學習機
6.5 深度多尺度幾何網絡
6.5.1 深度脊波網絡
6.5.2 深度輪廓波網絡
6.6 深度森林
6.6.1 多分辨特性融合
6.6.2 級聯特征深度處理
參考文獻
第7章 深度生成網絡
7.1 生成式對抗網絡的基本原理
7.1.1 網絡模型的動機
7.1.2 網絡模型的數學物理描述
7.2 深度卷積對抗生成網絡
7.2.1 網絡模型的基本結構
7.2.2 網絡模型的性能分析
7.2.3 網絡模型的典型應用
7.3 深度生成網絡模型的新范式
7.3.1 生成式對抗網絡的新范式
7.3.2 網絡框架的性能分析與改進
7.4 應用驅動下的兩種新生成式對抗網絡
7.4.1 堆棧生成式對抗網絡
7.4.2 對偶學習范式下的生成式對抗網絡
7.5 變分自編碼器
參考文獻
第8章 深度復卷積神經網絡與深度二值神經網絡
8.1 深度復卷積神經網絡
8.1.1 網絡模型構造的動機
8.1.2 網絡模型的數學物理描述
8.2 深度二值神經網絡
8.2.1 網絡基本結構
8.2.2 網絡的數學物理描述
8.2.3 討論
參考文獻
第9章 深度循環和遞歸神經網絡
9.1 深度循環神經網絡
9.1.1 循環神經網絡的生物機理
9.1.2 簡單的循環神經網絡
9.1.3 深度循環神經網絡的數學物理描述
9.2 深度遞歸神經網絡
9.2.1 簡單的遞歸神經網絡
9.2.2 深度遞歸神經網絡的優勢
9.3 長短時記憶神經網絡
9.3.1 改進動機分析
9.3.2 長短時記憶神經網絡的數學分析
9.4 典型應用
9.4.1 深度循環神經網絡的應用舉例
9.4.2 深度遞歸神經網絡的應用舉例
參考文獻
第10章 深度強化學習
10.1 深度強化學習基礎
10.1.1 深度強化學習的基本思路
10.1.2 發展歷程
10.1.3 應用的新方向
10.2 深度Q網絡
10.2.1 網絡基本模型與框架
10.2.2 深度Q網絡的數學分析
10.3 應用舉例—AlphaGo
10.3.1 AlphaGo原理分析
10.3.2 深度強化學習性能分析
參考文獻
第11章 深度學習軟件仿真平台及開發環境
11.1 Caffe平台
11.1.1 Caffe平台開發環境
11.1.2 AlexNet神經網絡學習
11.1.3 AlexNet神經網絡應用於圖像分類
11.2 TensorFlow平台
11.2.1 TensorFlow平台開發環境
11.2.2 深度卷積生成式對抗網DCGAN
11.2.3 DAN應用於樣本擴充
11.3 MXNet平台
11.3.1 MXNet平台開發環境
11.3.2 VGG-NET深度神經網絡學習
11.3.3 圖像分類應用任務
11.4 Torch 7平台
11.4.1 Torch 7平台開發環境
11.4.2 二值神經網絡
11.4.3 二值神經網絡應用於圖像分類
11.5 Theano平台
11.5.1 Theano平台開發環境
11.5.2 遞歸神經網絡
11.5.3 LSTM應用於情感分類任務
參考文獻
第12章 基於深度神經網絡的SAR/PolSAR影像地物分類
12.1 數據集及研究目的
12.1.1 數據集特性分析
12.1.2 基本數據集
12.1.3 研究目的
12.2 基於深度神經網絡的SAR影像地物分類
12.2.1 基於自適應自編碼和超像素的SAR圖像分類
12.2.2 基於卷積中層特征學習的SAR圖像分類
12.3 基於第一代深度神經網絡的PolSAR影像地物分類
12.3.1 基於稀疏極化DBN的極化SAR地物分類
12.3.2 基於深度PCA網絡的極化SAR影像地物分類
12.4 基於第二代深度神經網絡的PolSAR影像地物分類
12.4.1 基於深度復卷積網絡的極化PolSAR影像地物分類
12.4.2基於生成式對抗網的極化PolSAR影像地物分類
12.4.3基於深度殘差網絡的極化PolSAR影像地物分類
參考文獻
第13章 基於深度神經網絡的SAR影像變化檢測
13.1 數據集特點及研究目的
13.1.1 研究目的
13.1.2 數據基本特性
13.1.3 典型數據集
13.2 基於深度學習和SIFT特征的SAR圖像變化檢測
13.2.1 基本方法與實現策略
13.2.2 對比實驗結果分析
13.3基於SAE的SAR圖像變化檢測
13.3.1 基本方法與實現策略
13.3.2 對比實驗結果分析
13.4基於CNN的SAR圖像變化檢測
13.4.1基本方法與實現策略
13.4.2對比實驗結果分析
參考文獻
第14章 基於深度神經網絡的高光譜圖像分類與壓縮
14.1 數據集及研究目的
14.1.1 高光譜遙感技術
14.1.2 高光譜遙感的研究目的
14.1.3 常用的高光譜數據集
14.2 基於深度神經網絡的高光譜影像的分類
14.2.1 基於堆棧自編碼的高光譜影像的分類
14.2.2 基於卷積神經網絡的高光譜影像的分類
14.3基於深度神經網絡的高光譜影像的壓縮
14.3.1 基於深度自編碼網絡的高光譜圖像壓縮方法
14.3.2 實驗設計及分類結果
參考文獻
第15章 基於深度神經網絡的目標檢測與識別
15.1 數據特性及研究目的
15.1.1 研究目的
15.1.2 常用數據集
15.2 基於快速CNN的目標檢測與識別
15.2.1 R-CNN
15.2.2 Fast R-CNN
15.2.3 Faster R-CNN
15.2.4 對比實驗結果與分析
15.3 基於回歸學習的目標檢測與識別
15.3.1 YOLO
15.3.2 SSD
15.3.3 對比實驗結果分析
15.4 基於學習搜索的目標檢測與識別
15.4.1 基於深度學習的主動目標定位
15.4.2 AttentionNet
15.4.3 對比實驗結果分析
參考文獻
第16章 總結與展望
16.1 深度學習發展歷史圖
16.1.1 從機器學習、稀疏表示學習到深度學習
16.1.2 深度學習、計算與認知的范式演進
16.1.3 深度學習形成脈絡
16.2 深度學習的典型應用
16.2.1 目標檢測與識別
16.2.2 超分辨
16.2.3 自然語言處理
16.3 深度神經網絡的可塑性
16.3.1 旋轉不變性
16.3.2 平移不變性
16.3.3 多尺度、多分辨和多通路特性
16.3.4 稀疏性
16.4 基於腦啟發式的深度學習前沿方向
16.4.1 生物神經領域關於認知、識別、注意等的最新研究進展
16.4.2 深度神經網絡的進一步研究方向
16.4.3 深度學習的可拓展性
參考文獻
附錄A 基於深度學習的常見任務處理介紹
附錄B 代碼介紹
網路書店
類別
折扣
價格
-
新書87折$668