其他生產者配置 40
Java程式設計語言:Kafka生產者示例 42
常見的消息發佈模式 44
……
總 結 48
第4章 深入研究Kafka消費者 49
Kafka消費者內部機制 50
理解Kafka消費者的職責 50
Kafka消費者API 52
消費者配置 52
訂閱和輪詢 54
提交和輪詢 56
其他配置 59
利用Java實現Kafka消費者 60
利用Scala實現Kafka消費者 62
Rebalance listeners 64
常用的消息消費模式 64
……
總 結 68
第5章 集成Kafka 構建Spark Streaming應用 69
Spark介紹 70
Spark架構 70
Spark的核心 72
Spark生態系統 73
Spark Streaming 75
Receiver-based集成 75
Receiver-based approach的缺點 77
Receiver-based集成的Java示例 77
Receiver-based集成的Scala示例 79
Direct approach 80
Direct approach的Java示例 82
Direct approach的Scala示例 83
日誌處理用例—欺詐IP檢測 84
Maven 85
生產者 89
Reader屬性 89
生產者代碼 90
欺詐IP查找 92
暴露Hive表 93
Streaming代碼 94
總 結 97
第6章 集成Kafka構建Storm應用 98
Apache Storm介紹 98
Storm集群架構 99
Storm應用程式的概念 100
Apache Heron介紹 101
Heron架構 102
Heron topology架構 103
集成Apache Kafka與Apache Storm - Java 104
示 例 105
集成Apache Kafka與Apache Storm - Scala 110
用例—使用Storm、Kafka和Hive處理日誌 114
生產者 118
生產者代碼 119
欺詐IP查找 122
Storm應用程式 123
運行項目 132
總 結 133
第7章 使用Kafka與 Confluent Platform 134
Confluent Platform介紹 135
深入Confluent Platform架構 136
理解Kafka Connect 和 Kafka Stream 139
Kafka Streams 139
使用Schema Registry與Avro交互 140
將Kafka資料移動到HDFS 142
Camus 142
運行Camus 143
Gobblin 144
Gobblin架構 144
Kafka Connect 146
Flume 147
總 結 150
第8章 使用Kafka構建ETL管道 151
在ETL管道中使用Kafka 151
介紹Kafka Connect 153
深入研究Kafka Connect 154
介紹使用Kafka Connect示例 155
Kafka Connect常見的用例 159
總 結 160
第9章 使用Kafka Streams 構建流應用程式 161
介紹Kafka Streams 161
在流處理中使用Kafka 162
Kafka Stream—羽量級流處理庫 163
Kafka Stream架構 164
集成框架的優勢 166
理解Tables和Streams 167
Maven依賴 167
Kafka Stream單詞計數 168
KTable 170
Kafka Stream使用案例 171
Kafka Streams的Maven依賴 171
reader屬性 172
IP記錄生產者 173
IP查詢服務 176
欺詐檢測應用程式 177
總 結 179
第10章 Kafka集群部署 180
Kafka集群的內部結構 180
Zookeeper角色 181
複 制 182
中繼資料(Metadata)請求處理 184
生產者(Producer)請求處理 184
消費者(Consumer)請求處理 185
容量規劃 186
容量規劃的目標 186
複製因數 186
內 存 187
硬碟驅動器 187
網 絡 188
CPU 188
Kafka單集群部署 189
Kafka多集群部署 190
退役brokers 192
資料移轉 192
總 結 193
第11章 在大資料應用中使用Kafka 194
管理Kafka的高容量 195
適當的硬體選擇 195
生產者讀取和消費者寫入的選擇 197
Kafka消息傳遞語義 198
至少一次傳遞 199
最多一次傳遞 202
正好一次傳遞 203
大資料和Kafka常見的使用模式 204
Kafka和資料治理 206
報警和監控 207
有用的Kafka指標 208
Kafka生產者指標 208
Kafka broker指標 209
Kafka消費者指標 209
總 結 210
第12章 Kafka安全 211
Kafka安全的概述 211
SSL有線加密 212
Kafka啟用SSL的步驟 213
為Kafka broker配置SSL 214
為Kafka用戶端配置SSL 214
Kerberos SASL認證 215
在Kafka中啟用SASL/GSSAPI的步驟 217
為Kafka broker配置SASL 217
為Kafka用戶端配置SASL―生產者和消費者 219
理解ACL和授權 220
常見的ACL操作 221
ACLs列表 222
Zookeeper身份驗證 223
Apache Ranger授權 224
為Ranger添加Kafka服務 224
添加策略(policies) 225
……
總 結 229
第13章 流應用程式設計的考慮 230
延遲和輸送量 231
資料和狀態的持久性 232
資料來源 232
外部資料查詢 233
資料格式 233
數據序列化 234
並行度 234
無序的事件 235
消息處理語義 235
總 結 236