hadoop實戰(zhàn)第3版pdf為讀者們從三大部分進行指導,讓讀者們可以通過此書快速了解Hadoop的基本知識和數(shù)據(jù)處理以及更大的系統(tǒng)程序,是對于Hadoop初學者們而言,提高自身能力的良好書籍,感興趣的朋友們快來下載吧!

本書介紹:

作為云計算所青睞的分布式架構(gòu),Hadoop 是一個用Java 語言實現(xiàn)的軟件框架,在由大量計算機組成的集群中運行海量數(shù)據(jù)的分布式計算,是谷歌實現(xiàn)云計算的重要基石.本書分為3 個部分,深入淺出地介紹了Hadoop 框架、編寫和運行Hadoop 數(shù)據(jù)處理程序所需的實踐技能及Hadoop 之外更大的生態(tài)系統(tǒng).

《Hadoop實戰(zhàn)》適合需要處理大量離線數(shù)據(jù)的云計算程序員、架構(gòu)師和項目經(jīng)理閱讀參考.

本書目錄:

第一部分 Hadoop——一種分布式編程框架

第1 章 Hadoop簡介

1.1 為什么寫《Hadoop 實戰(zhàn)》

1.2 什么是Hadoop

1.3 了解分布式系統(tǒng)和Hadoop

1.4 比較SQL 數(shù)據(jù)庫和Hadoop

1.5 理解MapReduce

1.5.1 動手擴展一個簡單程序

1.5.2 相同程序在MapReduce中的擴展

1.6 用Hadoop統(tǒng)計單詞——運行第一個程序

1.7 Hadoop歷史

1.8 小結(jié)

1.9 資源

第2 章 初識Hadoop

2.1 Hadoop 的構(gòu)造模塊

2.1.1 NameNode

2.1.2 DataNode

2.1.3 Secondary NameNode

2.1.4 JobTracker

2.1.5 TaskTracker

2.2 為Hadoop 集群安裝SSH

2.2.1 定義一個公共賬號

2.2.2 驗證SSH安裝

2.2.3 生成SSH密鑰對

2.2.4 將公鑰分布并登錄驗證

2.3 運行Hadoop

2.3.1 本地(單機)模式

2.3.2　 偽分布模式

2.3.3 全分布模式

2.4 基于Web 的集群用戶界面

2.5 小結(jié)

第3 章 Hadoop組件

3.1 HDFS 文件操作

3.1.1 基本文件命令

3.1.2 編程讀寫HDFS

3.2 剖析MapReduce 程序

3.2.1 Hadoop數(shù)據(jù)類型

3.2.2 Mapper

3.2.3 Reducer

3.2.4 Partitioner:重定向Mapper輸出

3.2.5 Combiner:本地reduce

3.2.6 預定義mapper和Reducer類的單詞計數(shù)

3.3 讀和寫

3.3.1 InputFormat

3.3.2 OutputFormat

3.4 小結(jié)

第二部分 實戰(zhàn)

第4 章 編寫MapReduce基礎程序

4.1 獲得專利數(shù)據(jù)集

4.1.1 專利引用數(shù)據(jù)

4.1.2 專利描述數(shù)據(jù)

4.2 構(gòu)建MapReduce 程序的基礎模板

4.3 計數(shù)

4.4 適應Hadoop API 的改變

4.5 Hadoop 的Streaming

4.5.1 通過Unix命令使用Streaming

4.5.2 通過腳本使用Streaming

4.5.3 用Streaming處理鍵/值對

4.5.4 通過Aggregate包使用Streaming

4.6 使用combiner 提升性能

4.7 溫故知新

4.8 小結(jié)

4.9 更多資源

第5 章 高階MapReduce

5.1 鏈接MapReduce 作業(yè)

5.1.1 順序鏈接MapReduce作業(yè)

5.1.2 具有復雜依賴的MapReduce鏈接

5.1.3 預處理和后處理階段的鏈接

5.2 聯(lián)結(jié)不同來源的數(shù)據(jù)

5.2.1 Reduce側(cè)的聯(lián)結(jié)

5.2.2 基于DistributedCache的復制聯(lián)結(jié)

5.2.3 半聯(lián)結(jié):map側(cè)過濾后在reduce側(cè)聯(lián)結(jié)

5.3 創(chuàng)建一個Bloom filter

5.3.1 Bloom filter做了什么

5.3.2 實現(xiàn)一個Bloom filter

5.3.3 Hadoop 0.20 以上版本的Bloom filter

5.4 溫故知新

5.5 小結(jié)

5.6 更多資源

第6 章 編程實踐

6.1 開發(fā)MapReduce 程序

6.1.1 本地模式

6.1.2 偽分布模式

6.2 生產(chǎn)集群上的監(jiān)視和調(diào)試

6.2.1 計數(shù)器

6.2.2 跳過壞記錄

6.2.3 用IsolationRunner重新運行出錯的任務

6.3 性能調(diào)優(yōu)

6.3.1 通過combiner來減少網(wǎng)絡流量

6.3.2 減少輸入數(shù)據(jù)量

6.3.3 使用壓縮

6.3.4 重用JVM

6.3.5 根據(jù)猜測執(zhí)行來運行

6.3.6 代碼重構(gòu)與算法重寫

6.4 小結(jié)

第7 章 細則手冊

7.1 向任務傳遞作業(yè)定制的參數(shù)

7.2 探查任務特定信息

7.3 劃分為多個輸出文件

7.4 以數(shù)據(jù)庫作為輸入輸出

7.5 保持輸出的順序

7.6 小結(jié)

第8 章 管理Hadoop

8.1 為實際應用設置特定參數(shù)值

8.2 系統(tǒng)體檢

8.3 權(quán)限設置

8.4 配額管理

8.5 啟用回收站

8.6 刪減DataNode

8.7 增加DataNode

8.8 管理NameNode 和SNN

8.9 恢復失效的NameNode

8.10 感知網(wǎng)絡布局和機架的設計

8.11 多用戶作業(yè)的調(diào)度

8.11.1 多個JobTracker

8.11.2 公平調(diào)度器

8.12 小結(jié)

第三部分 Hadoop也瘋狂

第9 章 在云上運行Hadoop

9.1 Amazon Web Services 簡介

9.2 安裝AWS

9.2.1 獲得AWS身份認證憑據(jù)

9.2.2 獲得命令行工具

9.2.3 準備SSH密鑰對

9.3 在EC2 上安裝Hadoop

9.3.1 配置安全參數(shù)

9.3.2 配置集群類型

9.4 在EC2 上運行MapReduce 程序

9.4.1 將代碼轉(zhuǎn)移到Hadoop集群上

9.4.2 訪問Hadoop集群上的數(shù)據(jù)

9.5 清空和關(guān)閉EC2 實例

9.6 Amazon Elastic MapReduce 和其他AWS 服務

9.6.1 Amazon Elastic MapReduce

9.6.2 AWS導入/導出

9.7 小結(jié)

第10 章 用Pig編程

10.1 像Pig 一樣思考

10.1.1 數(shù)據(jù)流語言

10.1.2 數(shù)據(jù)類型

10.1.3 用戶定義函數(shù)

10.2 安裝Pig

10.3 運行Pig

10.4 通過Grunt 學習Pig Latin

10.5 談談Pig Latin

10.5.1 數(shù)據(jù)類型和schema

10.5.2 表達式和函數(shù)

10.5.3 關(guān)系型運算符

10.5.4 執(zhí)行優(yōu)化

10.6 用戶定義函數(shù)

10.6.1 使用UDF

10.6.2 編寫UDF

10.7 腳本

10.7.1 注釋

10.7.2 參數(shù)替換

10.7.3 多查詢執(zhí)行

10.8 Pig 實戰(zhàn)——計算相似專利的例子

10.9 小結(jié)

第11 章 Hive及Hadoop群

11.1 Hive

11.1.1 安裝與配置Hive

11.1.2 查詢的示例

11.1.3 深入HiveQL

11.1.4 Hive小結(jié)

11.2 其他Hadoop 相關(guān)的部分

11.2.1 HBase

11.2.2 Zookeeper

11.2.3 Cascading

11.2.4 Cloudera

11.2.5 Katta

11.2.6 CloudBase

11.2.7 Aster Data和Greenplum

11.2.8 Hama和Mahout

11.2.9 search-hadoop.com

11.3 小結(jié)

第12 章 案例研究

12.1 轉(zhuǎn)換《紐約時報》1100 萬個庫存圖片文檔

12.2 挖掘中國移動的數(shù)據(jù)

12.3 在StumbleUpon 推薦最佳網(wǎng)站

12.3.1 分布式StumbleUpon 的開端

12.3.2 HBase 和StumbleUpon

12.3.3 StumbleUpon 上的更多Hadoop 應用

12.4 搭建面向企業(yè)查詢的分析系統(tǒng)——IBM的ES2 項目

12.4.1 ES2 系統(tǒng)結(jié)構(gòu)

12.4.2 ES2 爬蟲

12.4.3 ES2 分析

12.4.4 小結(jié)

12.4.5 參考文獻

附錄A HDFS文件命令