Spark是一個開源的通用並行分布式計算框架,由加州大學伯克利分校的AMP實驗室開發,支持內存計算、多迭代批量處理、即席查詢、流處理和圖計算等多種范式。
Spark內存計算框架適合各種迭代算法和交互式數據分析,能夠提升大數據處理的實時性和准確性,現已逐漸獲得很多企業的支持,如阿里巴巴、百度、網易、英特爾等公司。
本書系統講解Spark的使用方法,包括如何在多種機器上安裝Spark,如何配置一個Spark集群,如何在交互模式下運行第一個Spark作業,如何在Spark集群上構建一個生產級的脫機/獨立作業,如何與Spark集群建立連接和使用SparkContext,如何創建和保存RDD(彈性分布式數據集),如何用Spark分布式處理數據,如何設置Shark,將Hive查詢集成到你的Spark作業中來,如何測試Spark作業,以及如何提升Spark任務的性能。
Holden Karau,資深軟件開發工程師,現就職於Databricks公司,之前曾就職於谷歌、亞馬遜、微軟和Foursquare等著名公司。他對開源情有獨鍾,參與了許多開源項目,如Linux內核無線驅動、Android程序監控、搜索引擎等,對存儲系統、推薦系統、搜索分類等都有深入研究。
目錄
譯者序
作者簡介
前言
第1章 安裝Spark以及構建Spark集群
1.1 單機運行Spark
1.2 在EC2上運行Spark
1.3 在ElasticMapReduce上部署Spark
1.4 用Chef(opscode)部署Spark
1.5 在Mesos上部署Spark
1.6 在Yarn上部署Spark
1.7 通過SSH部署集群
1.8 鏈接和參考
1.9 小結
第2章 Sparkshell的使用
2.1 加載一個簡單的text文件
2.2 用Sparkshell運行邏輯回歸
2.3 交互式地從S3加載數據
2.4 小結
第3章 構建並運行Spark應用
3.1 用sbt構建Spark作業
3.2 用Maven構建Spark作業
3.3 用其他工具構建Spark作業
3.4 小結
第4章 創建SparkCo
4.1 Scala
4.2 Java
4.3 Java和Scala共享的API
4.4 Python / 45
4.5 鏈接和參考
4.6 小結
第5章 加載與保存數據
5.1 RDD
5.2 加載數據到RDD中
5.3 保存數據
5.4 連接和參考
5.5 小結
第6章 操作
6.1 用Scala和Java操作
6.2 用Python操作
6.3 鏈接和參考
6.4 小結
第7章 Shark-Hive和Spark的綜合運用
7.1 為什麼用Hive/
7.2 安裝
7.3 運行
7.4 加載數據
7.5 在Spark程序中運行HiveQL查詢
7.6 鏈接和參考
7.7 小結
第8章 測試
8.1 用Java和Scala測試
8.2 用Python測試
8.3 鏈接和參考
8.4 小結
第9章 技巧和竅門
9.1 日志位置
9.2 並發限制
9.3 內存使用與垃圾回收
9.4 序列化
9.5 IDE集成環境
9.6 Spark與其他語言
9.7 安全提示
9.8 郵件列表
9.9 鏈接和參考
9.10 小結
作者簡介
前言
第1章 安裝Spark以及構建Spark集群
1.1 單機運行Spark
1.2 在EC2上運行Spark
1.3 在ElasticMapReduce上部署Spark
1.4 用Chef(opscode)部署Spark
1.5 在Mesos上部署Spark
1.6 在Yarn上部署Spark
1.7 通過SSH部署集群
1.8 鏈接和參考
1.9 小結
第2章 Sparkshell的使用
2.1 加載一個簡單的text文件
2.2 用Sparkshell運行邏輯回歸
2.3 交互式地從S3加載數據
2.4 小結
第3章 構建並運行Spark應用
3.1 用sbt構建Spark作業
3.2 用Maven構建Spark作業
3.3 用其他工具構建Spark作業
3.4 小結
第4章 創建SparkCo
4.1 Scala
4.2 Java
4.3 Java和Scala共享的API
4.4 Python / 45
4.5 鏈接和參考
4.6 小結
第5章 加載與保存數據
5.1 RDD
5.2 加載數據到RDD中
5.3 保存數據
5.4 連接和參考
5.5 小結
第6章 操作
6.1 用Scala和Java操作
6.2 用Python操作
6.3 鏈接和參考
6.4 小結
第7章 Shark-Hive和Spark的綜合運用
7.1 為什麼用Hive/
7.2 安裝
7.3 運行
7.4 加載數據
7.5 在Spark程序中運行HiveQL查詢
7.6 鏈接和參考
7.7 小結
第8章 測試
8.1 用Java和Scala測試
8.2 用Python測試
8.3 鏈接和參考
8.4 小結
第9章 技巧和竅門
9.1 日志位置
9.2 並發限制
9.3 內存使用與垃圾回收
9.4 序列化
9.5 IDE集成環境
9.6 Spark與其他語言
9.7 安全提示
9.8 郵件列表
9.9 鏈接和參考
9.10 小結
網路書店
類別
折扣
價格
-
新書87折$151