人工智慧高手書：深度學習之識別及最佳化

ch 01 深度學習基礎
1.1 數學基礎
1.2 稀疏表示
1.3 機器學習與神經網路

ch 02 深度前饋神經網路
2.1 神經元的生物機制
2.2 多隱藏層前饋神經網路
2.3 反向傳播演算法
2.4 深度前饋神經網路的學習範式

ch 03 深度旋積神經網路
3.1 旋積神經網路的生物機制及數學刻畫
3.2 深度旋積神經網路
3.3 深度反旋積神經網路
3.4 全旋積神經網路

ch 04 深度堆疊自動編碼網路
4.1 自動編碼網路
4.2 深度堆疊網路
4.3 深度置信網路 / 深度玻茲曼機網路

ch 05 稀疏深度神經網路
5.1 稀疏性的生物機制
5.2 稀疏深度網路模型及基本性質
5.3 網路模型的效能分析

ch 06 深度融合網路
6.1 深度SVM網路
6.2 深度PCA網路
6.3 深度ADMM網路
6.4 深度極限學習機
6.5 深度多尺度幾何網路
6.6 深度森林

ch 07 深度生成網路
7.1 生成式對抗網路的基本原理
7.2 深度旋積對抗產生網路
7.3 深度生成網路模型的新範式
7.4 應用驅動下的兩種新生成式對抗網路
7.5 變分自動編碼器

ch 08 深度複旋積神經網路與深度二值神經網路
8.1 深度複旋積神經網路
8.2 深度二值神經網路

ch 09 深度循環和遞迴神經網路
9.1 深度循環神經網路
9.2 深度遞迴神經網路
9.3 長短時記憶神經網路
9.4 典型應用

ch 10 深度強化學習
10.1 深度強化學習簡介
10.2 深度Q 網路
10.3 應用舉例—AlphaGo

ch 11 深度學習軟體模擬平台及開發環境
11.1 Caffe平台
11.2 TensorFlow平台
11.3 MXNet平台
11.4 Torch 7平台
11.5 Theano平台

ch 12 以深度神經網路為基礎的SAR/PolSAR 影像地物分類
12.1 資料集及研究目的
12.2 以深度神經網路為基礎的SAR 影像地物分類
12.3 以第一代深度神經網路為基礎的PolSAR 影像地物分類
12.4 以第二代深度神經網路為基礎的PolSAR 影像地物分類

ch 13 以深度神經網路為基礎的SAR 影像的變化檢測
13.1 資料集特點及研究目的
13.2 以深度學習和SIFT 特徵為基礎的SAR 影像變化檢測
13.3 以SAE 為基礎的SAR 影像變化檢測
13.4 以CNN 為基礎的SAR 影像變化檢測

ch 14 以深度神經網路為基礎的高光譜影像分類與壓縮
14.1 資料集及研究目的
14.2 以深度神經網路為基礎的高光譜影像的分類
14.3 以深度神經網路為基礎的高光譜影像的壓縮

ch 15 以深度神經網路為基礎的目標檢測與識別
15.1 資料特性及研究目的
15.2 以快速CNN 為基礎的目標檢測與識別
15.3 以回歸學習為基礎的目標檢測與識別
15.4 以學習搜索為基礎的目標檢測與識別

ch 16 歸納與展望
16.1 深度學習發展歷史圖
16.2 深度學習的應用介紹
16.3 深度神經網路的可塑性
16.4 以腦啟發式為基礎的深度學習前端方向

app A 以深度學習為基礎的常見工作處理介紹
app B 程式介紹

序言

　　從1308年加泰羅尼亞詩人、神學家雷蒙•盧爾(Ramon Llull)發表了有關用機械方法從一系列現象中創造新知識的論文開始，到1943年美國心理學家W.S. McCulloch和數學家W.Pitts提出MP模型及1950年A.Turing提出著名的圖靈測試，再到1956年達特茅斯會議上人工智慧的誕生，神經網路幾經沉浮，走過了艱難曲折的歷程；2006年從單隱層神經網路到深度神經網路模型，迎來了神經網路發展的又一高潮，深度學習及其應用受到了前所未有的重視與關注，世界迎來又一輪人工智慧變革的高潮，深度學習是人工智慧及機器學習的重要方向，在未來，它將不斷出現激動人心的理論進展和方法實作，深刻影響我們生活的各方面。

　　隨著研究的不斷深入，深度學習已經超越了目前機器學習模型的神經科學觀點，學習多層次組合的這一設計原則更加吸引人。從第一代的深度前饋神經網路開始，隨之而來的就有以下三個問題：一是可用訓練資料量遠小於模型中的參數量，容易出現過(欠)擬合現象；二是隨著層級的增加，模型的最佳化目標函數呈現高度非凸性，由於待最佳化參數所在的可行域中存在著大量的鞍點和局部極小值點，所以參數初始化策略影響著網路模型的穩定性和收斂性；三是以誤差為基礎的反在傳播演算法越接近輸出層變化越大，越接近輸入層變化越小，這對透過梯度下降方式來實現逐層參數更新會導致梯度彌散現象。為了解決第一個問題便提出了深度旋積神經網路和深度循環神經網路，其核心均是透過約減參數量間接提升資料量的方式降低過擬合現象的發生；針對第二個問題和第三個問題便引用了以自動編碼為基礎的逐層初始化策略，以期取得的初始化參數能夠避免過早地陷入局部最佳，同時弱化或克服梯度彌散現象，例如以受限波爾茲曼機為基礎的深度置信網路。進一步，以傳統為基礎的機器學習演算法來實現參數初始化方向上湧現了如深度PCA網路、深度ICA網路、深度SVM網路、深度森林(隨機森林多層串聯)、深度極限學習機和深度ADMM網路等模型。同時與之類似的，透過更改非線性函數以換取模型「扭曲」能力的提升，產生了如深度小波網路、深度脊波網路和深度輪廓波網路等模型。根據其特性，我們稱這些網路為深度融合網路。2014年以來，大量的研究文獻表明層級「深度」的不斷增加，或導致效能顯著提升(如深度殘差網路、深度分形網路)，抑或導致效能嚴重下降(本質上是參數量遠大於訓練資料量)。為了解決該問題，一方面透過多通道、平行化的網路設計來削弱「深度」對效能的依賴性，同時塔式結構、對稱性等也被融入網路的設計過程中；另一方面，深度生成模型也悄然興起，其核心是透過產生訓練資料集的機率密度函數來實現資料的擴充，其代表便是生成式對抗網路和變分自動編碼。值得注意的是，與傳統的深度學習設計「單網路」不同，生成式對抗網路採用了「兩個子網路」來實現非合作狀態下的博弈，在最小最大值定理的保障下，理論上可以確保網路的收斂性。除了模型結構和最佳化策略改進外，應用問題背景也不再是經典的輸入輸出「單資料對」刻畫，而是從狀態到行動「整體性」刻畫。眾所皆知，感知、認知和決策是衡量智慧化的標準，充分發揮深度學習的感知能力和強化學習的決策能力，形成的深度強化學習已在許多應用問題上取得突破，如無人駕駛、電腦圍棋程式和智慧型機器人等。在後深度學習時代，其核心在於產生資料、環境互動和領域移轉，對應著深度生成網路、深度強化學習和深度移轉學習將繼續成為人工智慧領域的研究熱點。另外，根據資料的屬性和操作的有效性，衍生的網路封包含深度複數域神經網路(如深度複旋積神經網路)、深度二值神經網路和深度脈衝神經網路等。

　　本書的完成離不開團隊多位老師和所究所學生的支援與幫助，感謝團隊中侯彪、劉靜、公茂果、王爽、張向榮、吳建設、緱水平、尚榮華、劉波、劉若辰等教授以及馬晶、馬文萍、白靜、朱虎明、田小林、張小華、曹向海等副教授對本工作的關心支援與辛勤付出。感謝王蓉芳博士、馮捷博士、張丹老師，以及唐旭、劉芳、謝雯、任博、魏野、王善峰、馮志璽等博士生在學術交流過程中無私的付出與生活上的關心。同時，特別感謝趙佳琦、劉旭、趙暐、朱浩、孫其功、任仲樂、李娟飛、張雅科、宋瑋、張文華等博士生，以及馬麗媛、楊爭豔、張婷、李晰、孟繁榮、汶茂甯、侯瑤琪、孫瑩瑩、張佳琪、楊慧、王美玲等所究所學生在寫作過程中無私付出的辛勤工作與努力。感謝宋瑋、張文華等博士生幫忙校勘時發現了許多筆誤。

　　本書是我們團隊在該領域工作的小結，也匯聚了西安電子科技大學智慧感知與影像了解教育部重點實驗室、智慧感知與計算國際聯合實驗室及智慧感知與計算國際聯合研究中心的集體智慧。在本書出版之際，特別感謝邱關源先生及保錚院士三十多年來的悉心培養與教導，特別感謝徐宗本院士、張鈸院士、李衍達院士、郭愛克院士、鄭南寧院士、譚鐵牛院士、馬遠良院士、包為民院士、郝躍院士、陳國良院士、韓崇昭教授，IEEE Fellows管曉宏教授、張青富教授、張軍教授、姚新教授、劉德榮教授、金耀初教授、周志華教授、李學龍教授、吳楓教授、田捷教授、屈嶸教授、李軍教授和張豔甯教授，以及馬西奎教授、潘泉教授、高新波教授、石光明教授、李小平教授、陳莉教授、王磊教授等多年來的關懷、幫助與指導，感謝教育部創新團隊和國家"111"創新引智基地的支援；同時，我們的工作也獲得西安電子科技大學主管及國家"973"計畫(2013CB329402)、國家自然科學基金、重大專項計畫(91438201，91438103)等科學研究工作的支援，特此感謝。同時特別感謝清華大學出版社的大力支持和幫助，感謝王芳老師和薛陽老師付出的辛勤工作與努力。感謝書中所有被參考文獻的作者。本書的取材和安排完全是作者的偏好，由於水準有限，書中不妥之處懇請讀者們批評指正。

　　繁體中文版發行說明：為維持原著之正確及完整性，本書內之例圖保留簡體中文，以方便讀者閱讀，請讀者參閱書中文字進行比對。內文提到與顏色相關的彩圖，讀者可可至佳魁官網下載。