第1章  搜索引擎及其技術(shù)架構(gòu)
1.1  搜索引擎為何重要
1.1.1  互聯(lián)網(wǎng)的發(fā)展
1.1.2  商業(yè)搜索引擎公司的發(fā)展
1.1.3  搜索引擎的重要地位
1.2  搜索引擎技術(shù)發(fā)展史
1.2.1  史前時代：分類目錄的一代
1.2.2  第一代：文本檢索的一代
1.2.3  第二代：鏈接分析的一代
1.2.4  第三代：用戶中心的一代
1.3  搜索引擎的3個目標(biāo)
1.4  搜索引擎的3個核心問題
1.4.1  3個核心問題
1.4.2  與技術(shù)發(fā)展的關(guān)系
1.5  搜索引擎的技術(shù)架構(gòu)

第2章  網(wǎng)絡(luò)爬蟲
2.1  通用爬蟲框架
2.2  優(yōu)秀爬蟲的特性
2.3  爬蟲質(zhì)量的評價標(biāo)準(zhǔn)
2.4  抓取策略
2.4.1  寬度優(yōu)先遍歷策略（Breath First）
2.4.2  非完全PageRank策略（Partial PageRank）
2.4.3  OCIP策略（Online Page Importance Computation）
2.4.4  大站優(yōu)先策略（Larger Sites First）
2.5  網(wǎng)頁更新策略
2.5.1  歷史參考策略
2.5.2  用戶體驗策略
2.5.3  聚類抽樣策略
2.6  暗網(wǎng)抓取（Deep Web Crawling）
2.6.1  查詢組合問題
2.6.2  文本框填寫問題
2.7  分布式爬蟲
2.7.1  主從式分布爬蟲（Master-Slave）
2.7.2  對等式分布爬蟲（Peer to Peer）
本章提要
本章參考文獻(xiàn)

第3章  搜索引擎索引
3.1  索引基礎(chǔ)
3.1.1  單詞-文檔矩陣
3.1.2  倒排索引基本概念
3.1.3  倒排索引簡單實例
3.2  單詞詞典
3.2.1  哈希加鏈表
3.2.2  樹形結(jié)構(gòu)
3.3  倒排列表（Posting List）
3.4  建立索引
3.4.1  兩遍文檔遍歷法（2-Pass In-Memory Inversion）
3.4.2  排序法（Sort-based Inversion）
3.4.3  歸并法（Merge-based Inversion）
3.5  動態(tài)索引
3.6  索引更新策略
3.6.1  完全重建策略（Complete Re-Build）
3.6.2  再合并策略（Re-Merge）
3.6.3  原地更新策略（In-Place）
3.6.4  混合策略（Hybrid）
3.7  查詢處理
3.7.1  一次一文檔（Doc at a Time）
3.7.2  一次一單詞（Term at a Time）
3.7.3  跳躍指針（Skip Pointers）
3.8  多字段索引
3.8.1  多索引方式
3.8.2  倒排列表方式
3.8.3  擴(kuò)展列表方式（Extent List）
3.9  短語查詢
3.9.1  位置信息索引（Position Index）
3.9.2  雙詞索引（Nextword Index）
3.9.3  短語索引（Phrase Index）
3.9.4  混合方法
3.10 分布式索引（Parallel Indexing）
3.10.1  按文檔劃分（Document Partitioning）
3.10.2  按單詞劃分（Term Partitioning）
3.10.3  兩種方案的比較
本章提要
本章參考文獻(xiàn)

第4章  索引壓縮
4.1  詞典壓縮
4.2  倒排列表壓縮算法
4.2.1  評價索引壓縮算法的指標(biāo)
4.2.2  一元編碼與二進(jìn)制編碼
4.2.3  Elias Gamma算法與Elias Delta算法
4.2.4  Golomb算法與Rice算法
4.2.5  變長字節(jié)算法（Variable Byte）
4.2.6  SimpleX 系列算法
4.2.7  PForDelta算法
4.3  文檔編號重排序（DocID Reordering）
4.4  靜態(tài)索引裁剪（Static Index Pruning）
4.4.1  以單詞為中心的索引裁剪
4.4.2  以文檔為中心的索引裁剪
本章提要
本章參考文獻(xiàn)

第5章  檢索模型與搜索排序
5.1  布爾模型（Boolean Model）
5.2  向量空間模型（Vector Space Model）
5.2.1  文檔表示
5.2.2  相似性計算
5.2.3  特征權(quán)重計算
5.3  概率檢索模型
5.3.1  概率排序原理
5.3.2  二元獨(dú)立模型（Binary Independent Model）
5.3.3  BM25模型
5.3.4  BM25F模型
5.4  語言模型方法
5.5  機(jī)器學(xué)習(xí)排序（Learning to Rank）
5.5.1  機(jī)器學(xué)習(xí)排序的基本思路
5.5.2  單文檔方法（PointWise Approach）
5.5.3  文檔對方法（PairWise Approach）
5.5.4  文檔列表方法（ListWise Approach）
5.6  檢索質(zhì)量評價標(biāo)準(zhǔn)
5.6.1  精確率與召回率
5.6.2  P@10指標(biāo)
5.6.3  MAP指標(biāo)（Mean Average Precision）
本章提要
本章參考文獻(xiàn)

第6章  鏈接分析
6.1  Web圖
6.2  兩個概念模型及算法之間的關(guān)系
6.2.1  隨機(jī)游走模型（Random Surfer Model）
6.2.2  子集傳播模型
6.2.3  鏈接分析算法之間的關(guān)系
6.3  PageRank算法
6.3.1  從入鏈數(shù)量到PageRank
6.3.2  PageRank計算
6.3.3  鏈接陷阱（Link Sink）與遠(yuǎn)程跳轉(zhuǎn)（Teleporting）
6.4  HITS算法（Hypertext Induced Topic Selection）
6.4.1  Hub頁面與Authority頁面
6.4.2  相互增強(qiáng)關(guān)系
6.4.3  HITS算法
6.4.4  HITS算法存在的問題
6.4.5  HITS算法與PageRank算法比較
6.5  SALSA算法
6.5.1  確定計算對象集合
6.5.2  鏈接關(guān)系傳播
6.5.3  Authority權(quán)值計算
6.6  主題敏感PageRank（Topic Sensitive PageRank）
6.6.1  主題敏感PageRank與PageRank的差異
6.6.2  主題敏感PageRank計算流程
6.6.3  利用主題敏感PageRank構(gòu)造個性化搜索
6.7  Hilltop算法
6.7.1  Hilltop算法的一些基本定義
6.7.2  Hilltop算法
6.8  其他改進(jìn)算法
6.8.1  智能游走模型（Intelligent Surfer Model）
6.8.2  偏置游走模型（Biased Surfer Model）
6.8.3  PHITS算法（Probability Analogy of HITS）
6.8.4  BFS算法（Backward Forward Step）
本章提要
本章參考文獻(xiàn)

第7章  云存儲與云計算
7.1  云存儲與云計算概述
7.1.1  基本假設(shè)
7.1.2  理論基礎(chǔ)
7.1.3  數(shù)據(jù)模型
7.1.4  基本問題
7.1.5  Google的云存儲與云計算架構(gòu)
7.2  Google文件系統(tǒng)（GFS）
7.2.1  GFS設(shè)計原則
7.2.2  GFS整體架構(gòu)
7.2.3  GFS主控服務(wù)器
7.2.4  系統(tǒng)交互行為
7.3  Chubby鎖服務(wù)
7.4  BigTable
7.4.1  BigTable的數(shù)據(jù)模型
7.4.2  BigTable整體結(jié)構(gòu)
7.4.3  BigTable的管理數(shù)據(jù)
7.4.4  主控服務(wù)器（Master Server）
7.4.5  子表服務(wù)器（Tablet Server）
7.5  Megastore系統(tǒng)
7.5.1  實體群組切分
7.5.2  數(shù)據(jù)模型
7.5.3  數(shù)據(jù)讀寫與備份
7.6  Map/Reduce云計算模型
7.6.1  計算模型
7.6.2  整體邏輯流程
7.6.3  應(yīng)用示例
7.7  咖啡因系統(tǒng)--Percolator
7.7.1  事務(wù)支持
7.7.2  觀察/通知體系結(jié)構(gòu)
7.8  Pregel圖計算模型
7.9  Dynomo云存儲系統(tǒng)
7.9.1  數(shù)據(jù)劃分算法（Partitioning Algorithm）
7.9.2  數(shù)據(jù)備份（Replication）
7.9.3  數(shù)據(jù)讀寫
7.9.4  數(shù)據(jù)版本控制
7.10  PNUTS云存儲系統(tǒng)
7.10.1  PNUTS整體架構(gòu)
7.10.2  存儲單元
7.10.3  子表控制器與數(shù)據(jù)路由器
7.10.4  雅虎消息代理
7.10.5  數(shù)據(jù)一致性
7.11  HayStack存儲系統(tǒng)
7.11.1  HayStack整體架構(gòu)
7.11.2  目錄服務(wù)
7.11.3  HayStack緩存
7.11.4  HayStack存儲系統(tǒng)
本章提要
本章參考文獻(xiàn)

第8章  網(wǎng)頁反作弊
8.1  內(nèi)容作弊
8.1.1  常見內(nèi)容作弊手段
8.1.2  內(nèi)容農(nóng)場（Content Farm）
8.2  鏈接作弊
8.3  頁面隱藏作弊
8.4  Web 2.0作弊方法
8.5  反作弊技術(shù)的整體思路
8.5.1  信任傳播模型
8.5.2  不信任傳播模型
8.5.3  異常發(fā)現(xiàn)模型
8.6  通用鏈接反作弊方法
8.6.1  TrustRank算法
8.6.2  BadRank算法
8.6.3  SpamRank
8.7  專用鏈接反作弊技術(shù)
8.7.1  識別鏈接農(nóng)場
8.7.2  識別Google轟炸
8.8  識別內(nèi)容作弊
8.9  反隱藏作弊
8.9.1  識別頁面隱藏
8.9.2  識別網(wǎng)頁重定向
8.10 搜索引擎反作弊綜合框架
本章提要
本章參考文獻(xiàn)

第9章  用戶查詢意圖分析
9.1  搜索行為及其意圖
9.1.1  用戶搜索行為
9.1.2  用戶搜索意圖分類
9.2  搜索日志挖掘
9.2.1  查詢會話（Query Session）
9.2.2  點(diǎn)擊圖（Click Graph）
9.2.3  查詢圖（Query Graph）
9.3  相關(guān)搜索
9.3.1  基于查詢會話的方法
9.3.2  基于點(diǎn)擊圖的方法
9.4  查詢糾錯
9.4.1  編輯距離（Edit Distance）
9.4.2  噪聲信道模型（Noise Channel Model）
本章提要
本章參考文獻(xiàn)

第10章  網(wǎng)頁去重
10.1  通用去重算法框架
10.2  Shingling算法
10.3  I-Match算法
10.4  SimHash算法
10.4.1  文檔指紋計算
10.4.2  相似文檔查找
10.5  SpotSig算法
10.5.1  特征抽取
10.5.2  相似文檔查找
本章提要
本章參考文獻(xiàn)

第11章  搜索引擎緩存機(jī)制
11.1  搜索引擎緩存系統(tǒng)架構(gòu)
11.2  緩存對象
11.3  緩存結(jié)構(gòu)
11.4  緩存淘汰策略（Evict Policy）
11.4.1  動態(tài)策略
11.4.2  混合策略
11.5  緩存更新策略（Refresh Policy）
本章提要
本章參考文獻(xiàn)

第12章  搜索引擎發(fā)展趨勢
12.1  個性化搜索
12.2  社會化搜索
12.3  實時搜索
12.4  移動搜索
12.5  地理位置感知搜索
12.6  跨語言搜索
12.7  多媒體搜索
12.8  情境搜索