如何在保證本地訓練資料不公開的前提下,實現多個資料擁有者協同訓練一個共用的機器學習模型?傳統的機器學習方法需要將所有的資料集中到一個地方(例如,資料中心),然後進行機器學習模型的訓練。但這種基於集中資料的做法無疑會嚴重侵害使用者隱私和資料安全。如今,世界上越來越多的人開始強烈要求科技公司必須根據使用者隱私法律法規妥善地處理使用者的資料,歐盟的《通用資料保護條例》是一個很好的例子。
在《聯邦學習》中,我們將描述聯邦學習(亦稱聯邦機器學習)如何將分散式機器學習、密碼學、基於金融規則的激勵機制和博弈論結合起來,以解決分散資料的使用問題。我們會介紹不同種類的面向隱私保護的機器學習解決方案以及技術背景,並描述一些典型的實際問題解決案例。我們還會進一步論述聯邦學習將成為下一代機器學習的基礎,可以滿足技術和社會需求並促進面向安全的人工智慧的開發和應用。
《聯邦學習》可供電腦科學、人工智慧和機器學習專業的學生,以及大資料和人工智慧應用程式的開發人員閱讀,也可供高等院校的教員、研究機構的研究人員、法律法規制定者和政府監管部門參考。
作者介紹
楊強
楊強教授是微眾銀行的首席人工智慧官(CAIO)和香港科技大學(HKUST)電腦科學與工程系講席教授。他是香港科技大學電腦科學與工程系的前任系主任,並曾擔任大數據研究院的創始主任(2015-2018年)。他的研究興趣包括人工智慧、機器學習和資料採擷,特別是遷移學習、自動規劃、聯邦學習和基於案例的推理。他是多個國際協會的會士(Fellow),包括ACM、AAAI、IEEE、IAPR和AAAS。他於1982年獲得北京大學天體物理學學士學位,分別於1987年和1989年獲得馬里蘭大學派克分校電腦科學系碩士學位和博士學位。他曾在在滑鐵盧大學(1989-1995年)和西蒙弗雷澤大學(1995-2001年)擔任教授。他是ACMTIST和IEEETBD的創始主編。他是國際人工智慧聯合會議(IJCAI)的理事長(2017-2019年)和人工智慧發展協會(AAAI)的執行委員會成員(2016-2020年)。楊強教授曾獲多個獎項,包括2004/2005ACMKDDCUP冠軍、ACMSIGKDD卓越服務獎(2017)、AAAI創新人工智慧應用獎(2018,2020)和吳文俊人工智慧傑出貢獻獎(2019)。他是華為諾亞方舟實驗室的創始主任(2012-2014年)和第四範式(AI平臺公司)的共同創始人。他是IntelligentPlanning(Springer)、CraftingYourResearchFuture(Morgan&Claypool)、TransferLearning(CambridgeUniversityPress)與Constraint-basedDesignRecoveryforSoftwareEngineering(Springer)等著作的作者。
劉洋
劉洋是微眾銀行AI項目組的高級研究員。她的研究興趣包括機器學習、聯邦學習、遷移學習、多智慧體系統、統計力學,以及這些技術的產業應用。她於2012年獲得普林斯頓大學博士學位,2007年獲得清華大學學士學位。她擁有多項國際發明專利,研究成果曾發表於Nature、IJCAI和ACMTIST等科研刊物和會議上。她曾獲AAAI人工智慧創新應用獎、IJCAI創新應用獎等多個獎項,並擔任IJCAI高級程式委員會委員,NeurIPS等多個人工智慧會議研討會聯合主席,以及IEEEIntelligentSystems期刊客座編委等。
程勇
程勇是微眾銀行AI項目組的高級研究員。他曾任華為技術有限公司(深圳)高級工程師和德國貝爾實驗室高級研究員,也曾在華為-香港科技大學創新實驗室擔任研究員。他的研究興趣和專長主要包括聯邦學習、深度學習、電腦視覺和OCR、數學優化理論和演算法、分散式和網路計算以及混合整數規劃。他發表期刊和會議論文20餘篇。他於2006年、2010年、2013年分別在浙江大學、香港科技大學、德國達姆施塔特工業大學獲工學學士學位(一等榮譽)、碩士學位和博士學位。他于2014年獲達姆施塔特工業大學最佳博士論文獎,於2006年獲浙江大學最佳學士論文獎。他在ICASSP’15會議上做了關於“混合整數規劃”的教程。他是IJCAI’19和NIPS’19等國際會議的程式委員會委員。
康焱
康焱是微眾銀行AI項目組的高級研究員。他的工作重點是面向隱私保護的機器學習和聯邦遷移學習技術的研究和實現。他在馬里蘭大學巴爾的摩分校獲電腦碩士和博士學位。他的博士論文研究的是以機器學習和語義網路進行異構資料集成,並獲得了博士論文獎學金。在就讀研究生期間,他參與了與美國國家標準與技術研究院(NIST)和美國國家科學基金會(NSF)合作的多個項目,設計和開發語義網路集成系統。他在商務軟體專案方面也有著豐富的經驗。他曾在美國StardogUnion公司和美國塞納公司工作了四年多的時間,從事系統設計和實現方面的工作。
陳天健
陳天健是微眾銀行AI項目組的副總經理。他現在負責構建基於聯邦學習技術的銀行智慧生態系統。在加入微眾銀行之前,他是百度金融的首席架構師,同時也是百度的首席架構師。他擁有超過12年的大規模分散式系統設計經驗,並在Web搜尋引擎、對等網路存儲、基因組學、推薦系統、數位銀行和機器學習等多個應用領域中實現了技術創新。他現居於中國深圳,與其他工作夥伴一起建設和推廣聯邦AI生態系統和相關的開源項目FATE。
于涵
於涵現任職新加坡南洋理工大學(NTU)電腦科學與工程學院助理教授、微眾銀行特聘顧問。在2015—2018年期間,他在南洋理工大學擔任李光耀博士後研究員(LKYPDF)。在加入南洋理工大學之前,他曾在新加坡惠普公司擔任嵌入式軟體工程師。他於2014年獲南洋理工大學電腦科學博士學位。他的研究重點是線上凸優化、人工智慧倫理、聯邦學習及其在眾包等複雜協作系統中的應用。他在國際學術會議和期刊上發表研究論文120餘篇,獲得了多項科研獎項。
楊強教授是微眾銀行的首席人工智慧官(CAIO)和香港科技大學(HKUST)電腦科學與工程系講席教授。他是香港科技大學電腦科學與工程系的前任系主任,並曾擔任大數據研究院的創始主任(2015-2018年)。他的研究興趣包括人工智慧、機器學習和資料採擷,特別是遷移學習、自動規劃、聯邦學習和基於案例的推理。他是多個國際協會的會士(Fellow),包括ACM、AAAI、IEEE、IAPR和AAAS。他於1982年獲得北京大學天體物理學學士學位,分別於1987年和1989年獲得馬里蘭大學派克分校電腦科學系碩士學位和博士學位。他曾在在滑鐵盧大學(1989-1995年)和西蒙弗雷澤大學(1995-2001年)擔任教授。他是ACMTIST和IEEETBD的創始主編。他是國際人工智慧聯合會議(IJCAI)的理事長(2017-2019年)和人工智慧發展協會(AAAI)的執行委員會成員(2016-2020年)。楊強教授曾獲多個獎項,包括2004/2005ACMKDDCUP冠軍、ACMSIGKDD卓越服務獎(2017)、AAAI創新人工智慧應用獎(2018,2020)和吳文俊人工智慧傑出貢獻獎(2019)。他是華為諾亞方舟實驗室的創始主任(2012-2014年)和第四範式(AI平臺公司)的共同創始人。他是IntelligentPlanning(Springer)、CraftingYourResearchFuture(Morgan&Claypool)、TransferLearning(CambridgeUniversityPress)與Constraint-basedDesignRecoveryforSoftwareEngineering(Springer)等著作的作者。
劉洋
劉洋是微眾銀行AI項目組的高級研究員。她的研究興趣包括機器學習、聯邦學習、遷移學習、多智慧體系統、統計力學,以及這些技術的產業應用。她於2012年獲得普林斯頓大學博士學位,2007年獲得清華大學學士學位。她擁有多項國際發明專利,研究成果曾發表於Nature、IJCAI和ACMTIST等科研刊物和會議上。她曾獲AAAI人工智慧創新應用獎、IJCAI創新應用獎等多個獎項,並擔任IJCAI高級程式委員會委員,NeurIPS等多個人工智慧會議研討會聯合主席,以及IEEEIntelligentSystems期刊客座編委等。
程勇
程勇是微眾銀行AI項目組的高級研究員。他曾任華為技術有限公司(深圳)高級工程師和德國貝爾實驗室高級研究員,也曾在華為-香港科技大學創新實驗室擔任研究員。他的研究興趣和專長主要包括聯邦學習、深度學習、電腦視覺和OCR、數學優化理論和演算法、分散式和網路計算以及混合整數規劃。他發表期刊和會議論文20餘篇。他於2006年、2010年、2013年分別在浙江大學、香港科技大學、德國達姆施塔特工業大學獲工學學士學位(一等榮譽)、碩士學位和博士學位。他于2014年獲達姆施塔特工業大學最佳博士論文獎,於2006年獲浙江大學最佳學士論文獎。他在ICASSP’15會議上做了關於“混合整數規劃”的教程。他是IJCAI’19和NIPS’19等國際會議的程式委員會委員。
康焱
康焱是微眾銀行AI項目組的高級研究員。他的工作重點是面向隱私保護的機器學習和聯邦遷移學習技術的研究和實現。他在馬里蘭大學巴爾的摩分校獲電腦碩士和博士學位。他的博士論文研究的是以機器學習和語義網路進行異構資料集成,並獲得了博士論文獎學金。在就讀研究生期間,他參與了與美國國家標準與技術研究院(NIST)和美國國家科學基金會(NSF)合作的多個項目,設計和開發語義網路集成系統。他在商務軟體專案方面也有著豐富的經驗。他曾在美國StardogUnion公司和美國塞納公司工作了四年多的時間,從事系統設計和實現方面的工作。
陳天健
陳天健是微眾銀行AI項目組的副總經理。他現在負責構建基於聯邦學習技術的銀行智慧生態系統。在加入微眾銀行之前,他是百度金融的首席架構師,同時也是百度的首席架構師。他擁有超過12年的大規模分散式系統設計經驗,並在Web搜尋引擎、對等網路存儲、基因組學、推薦系統、數位銀行和機器學習等多個應用領域中實現了技術創新。他現居於中國深圳,與其他工作夥伴一起建設和推廣聯邦AI生態系統和相關的開源項目FATE。
于涵
於涵現任職新加坡南洋理工大學(NTU)電腦科學與工程學院助理教授、微眾銀行特聘顧問。在2015—2018年期間,他在南洋理工大學擔任李光耀博士後研究員(LKYPDF)。在加入南洋理工大學之前,他曾在新加坡惠普公司擔任嵌入式軟體工程師。他於2014年獲南洋理工大學電腦科學博士學位。他的研究重點是線上凸優化、人工智慧倫理、聯邦學習及其在眾包等複雜協作系統中的應用。他在國際學術會議和期刊上發表研究論文120餘篇,獲得了多項科研獎項。
目錄
序言Ⅲ
前言Ⅳ
作者簡介Ⅷ
第1 章 引言/1
1.1 人工智慧面臨的挑戰/2
1.2 聯邦學習概述/4
1.2.1 聯邦學習的定義/5
1.2.2 聯邦學習的分類/8
1.3 聯邦學習的發展/11
1.3.1 聯邦學習的研究/11
1.3.2 開源平臺/13
1.3.3 聯邦學習標準化進展/14
1.3.4 聯邦人工智慧生態系統/15
第2 章 隱私、安全及機器學習/17
2.1 面向隱私保護的機器學習/18
2.2 面向隱私保護的機器學習與安全機器學習/18
2.3 威脅與安全模型/19
2.3.1 隱私威脅模型/19
2.3.2 攻擊者和安全模型/21
2.4 隱私保護技術/22
2.4.1 安全多方計算/22
2.4.2 同態加密/27
2.4.3 差分隱私/30
第3 章 分散式機器學習/35
3.1 分散式機器學習介紹/36
3.1.1 分散式機器學習的定義/36
3.1.2 分散式機器學習平臺/37
3.2 面向擴展性的DML /39
3.2.1 大規模機器學習/39
3.2.2 面向擴展性的DML 方法/40
3.3 面向隱私保護的DML /43
3.3.1 隱私保護決策樹/43
3.3.2 隱私保護方法/45
3.3.3 面向隱私保護的DML 方案/45
3.4 面向隱私保護的梯度下降方法/48
3.4.1 樸素聯邦學習/49
3.4.2 隱私保護方法/49
3.5 挑戰與展望/51
第4 章 橫向聯邦學習/53
4.1 橫向聯邦學習的定義/54
4.2 橫向聯邦學習架構/55
4.2.1 客戶-伺服器架構/55
4.2.2 對等網路架構/58
4.2.3 全域模型評估/59
4.3 聯邦平均演算法介紹/60
4.3.1 聯邦優化/60
4.3.2 聯邦平均演算法/63
4.3.3 安全的聯邦平均演算法/65
4.4 聯邦平均演算法的改進/68
4.4.1 通信效率提升/68
4.4.2 參與方選擇/69
4.5 相關工作/69
4.6 挑戰與展望/71
第5 章 縱向聯邦學習/73
5.1 縱向聯邦學習的定義/74
5.2 縱向聯邦學習的架構/75
5.3 縱向聯邦學習演算法/77
5.3.1 安全聯邦線性回歸/77
5.3.2 安全聯邦提升樹/80
5.4 挑戰與展望/85
第6 章 聯邦遷移學習/87
6.1 異構聯邦學習/88
6.2 聯邦遷移學習的分類與定義/88
6.3 聯邦遷移學習框架/90
6.3.1 加法同態加密/93
6.3.2 聯邦遷移學習的訓練過程/94
6.3.3 聯邦遷移學習的預測過程/95
6.3.4 安全性分析/95
6.3.5 基於秘密共用的聯邦遷移學習/96
6.4 挑戰與展望/97
第7 章 聯邦學習激勵機制/99
7.1 貢獻的收益/100
7.1.1 收益分享博弈/100
7.1.2 反向拍賣/102
7.2 注重公平的收益分享框架/103
7.2.1 建模貢獻/103
7.2.2 建模代價/104
7.2.3 建模期望損失/105
7.2.4 建模時間期望損失/105
7.2.5 策略協調/106
7.2.6 計算收益評估比重/108
7.3 挑戰與展望/109
第8 章 聯邦學習與電腦視覺、自然語言處理及推薦系統/111
8.1 聯邦學習與電腦視覺/112
8.1.1 聯邦電腦視覺/112
8.1.2 業內研究進展/114
8.1.3 挑戰與展望/115
8.2 聯邦學習與自然語言處理/116
8.2.1 聯邦自然語言處理/116
8.2.2 業界研究進展/118
8.2.3 挑戰與展望/118
8.3 聯邦學習與推薦系統/119
8.3.1 推薦模型/120
8.3.2 聯邦推薦系統/121
8.3.3 業界研究進展/123
8.3.4 挑戰與展望/123
第9 章 聯邦強化學習/125
9.1 強化學習介紹/126
9.1.1 策略/127
9.1.2 獎勵/127
9.1.3 價值函數/127
9.1.4 環境模型/127
9.1.5 強化學習應用舉例/127
9.2 強化學習演算法/128
9.3 分散式強化學習/130
9.3.1 非同步分散式強化學習/130
9.3.2 同步分散式強化學習/131
9.4 聯邦強化學習/131
9.4.1 聯邦強化學習背景/131
9.4.2 橫向聯邦強化學習/132
9.4.3 縱向聯邦強化學習/134
9.5 挑戰與展望/136
第10 章 應用前景/139
10.1 金融/140
10.2 醫療/141
10.3 教育/142
10.4 城市計算和智慧城市/144
10.5 邊緣計算和物聯網/146
10.6 區塊鏈/147
10.7 第五代移動網路/148
第11 章 總結與展望/149
附錄A 資料保護法律和法規/151
A.1 歐盟的資料保護法規/152
A.1.1 GDPR 中的術語/153
A.1.2 GDPR 重點條款/154
A.1.3 GDPR 的影響/156
A.2 美國的資料保護法規/157
A.3 中國的資料保護法規/158
參考文獻/161
前言Ⅳ
作者簡介Ⅷ
第1 章 引言/1
1.1 人工智慧面臨的挑戰/2
1.2 聯邦學習概述/4
1.2.1 聯邦學習的定義/5
1.2.2 聯邦學習的分類/8
1.3 聯邦學習的發展/11
1.3.1 聯邦學習的研究/11
1.3.2 開源平臺/13
1.3.3 聯邦學習標準化進展/14
1.3.4 聯邦人工智慧生態系統/15
第2 章 隱私、安全及機器學習/17
2.1 面向隱私保護的機器學習/18
2.2 面向隱私保護的機器學習與安全機器學習/18
2.3 威脅與安全模型/19
2.3.1 隱私威脅模型/19
2.3.2 攻擊者和安全模型/21
2.4 隱私保護技術/22
2.4.1 安全多方計算/22
2.4.2 同態加密/27
2.4.3 差分隱私/30
第3 章 分散式機器學習/35
3.1 分散式機器學習介紹/36
3.1.1 分散式機器學習的定義/36
3.1.2 分散式機器學習平臺/37
3.2 面向擴展性的DML /39
3.2.1 大規模機器學習/39
3.2.2 面向擴展性的DML 方法/40
3.3 面向隱私保護的DML /43
3.3.1 隱私保護決策樹/43
3.3.2 隱私保護方法/45
3.3.3 面向隱私保護的DML 方案/45
3.4 面向隱私保護的梯度下降方法/48
3.4.1 樸素聯邦學習/49
3.4.2 隱私保護方法/49
3.5 挑戰與展望/51
第4 章 橫向聯邦學習/53
4.1 橫向聯邦學習的定義/54
4.2 橫向聯邦學習架構/55
4.2.1 客戶-伺服器架構/55
4.2.2 對等網路架構/58
4.2.3 全域模型評估/59
4.3 聯邦平均演算法介紹/60
4.3.1 聯邦優化/60
4.3.2 聯邦平均演算法/63
4.3.3 安全的聯邦平均演算法/65
4.4 聯邦平均演算法的改進/68
4.4.1 通信效率提升/68
4.4.2 參與方選擇/69
4.5 相關工作/69
4.6 挑戰與展望/71
第5 章 縱向聯邦學習/73
5.1 縱向聯邦學習的定義/74
5.2 縱向聯邦學習的架構/75
5.3 縱向聯邦學習演算法/77
5.3.1 安全聯邦線性回歸/77
5.3.2 安全聯邦提升樹/80
5.4 挑戰與展望/85
第6 章 聯邦遷移學習/87
6.1 異構聯邦學習/88
6.2 聯邦遷移學習的分類與定義/88
6.3 聯邦遷移學習框架/90
6.3.1 加法同態加密/93
6.3.2 聯邦遷移學習的訓練過程/94
6.3.3 聯邦遷移學習的預測過程/95
6.3.4 安全性分析/95
6.3.5 基於秘密共用的聯邦遷移學習/96
6.4 挑戰與展望/97
第7 章 聯邦學習激勵機制/99
7.1 貢獻的收益/100
7.1.1 收益分享博弈/100
7.1.2 反向拍賣/102
7.2 注重公平的收益分享框架/103
7.2.1 建模貢獻/103
7.2.2 建模代價/104
7.2.3 建模期望損失/105
7.2.4 建模時間期望損失/105
7.2.5 策略協調/106
7.2.6 計算收益評估比重/108
7.3 挑戰與展望/109
第8 章 聯邦學習與電腦視覺、自然語言處理及推薦系統/111
8.1 聯邦學習與電腦視覺/112
8.1.1 聯邦電腦視覺/112
8.1.2 業內研究進展/114
8.1.3 挑戰與展望/115
8.2 聯邦學習與自然語言處理/116
8.2.1 聯邦自然語言處理/116
8.2.2 業界研究進展/118
8.2.3 挑戰與展望/118
8.3 聯邦學習與推薦系統/119
8.3.1 推薦模型/120
8.3.2 聯邦推薦系統/121
8.3.3 業界研究進展/123
8.3.4 挑戰與展望/123
第9 章 聯邦強化學習/125
9.1 強化學習介紹/126
9.1.1 策略/127
9.1.2 獎勵/127
9.1.3 價值函數/127
9.1.4 環境模型/127
9.1.5 強化學習應用舉例/127
9.2 強化學習演算法/128
9.3 分散式強化學習/130
9.3.1 非同步分散式強化學習/130
9.3.2 同步分散式強化學習/131
9.4 聯邦強化學習/131
9.4.1 聯邦強化學習背景/131
9.4.2 橫向聯邦強化學習/132
9.4.3 縱向聯邦強化學習/134
9.5 挑戰與展望/136
第10 章 應用前景/139
10.1 金融/140
10.2 醫療/141
10.3 教育/142
10.4 城市計算和智慧城市/144
10.5 邊緣計算和物聯網/146
10.6 區塊鏈/147
10.7 第五代移動網路/148
第11 章 總結與展望/149
附錄A 資料保護法律和法規/151
A.1 歐盟的資料保護法規/152
A.1.1 GDPR 中的術語/153
A.1.2 GDPR 重點條款/154
A.1.3 GDPR 的影響/156
A.2 美國的資料保護法規/157
A.3 中國的資料保護法規/158
參考文獻/161
網路書店
類別
折扣
價格
-
新書87折$465