01 基礎知識 1
1.1 大模型相關資源 1
1.1.1 可用的模型及API 1
1.1.2 數據資源 3
1.1.3 軟件資源 5
1.1.4 硬件資源 5
1.2 大模型預訓練 5
1.2.1 數據收集與預處理 5
1.2.2 確定模型架構 7
1.2.3 確定目標函數及預訓練 9
1.2.4 解碼策略 10
1.3 大模型微調 13
1.3.1 微調原理 13
1.3.2 指令微調 14
1.3.3 對齊微調 17
1.4 大模型在線學習 21
1.4.1 提示詞 21
1.4.2 上下文學習 23
1.4.3 思維鏈提示詞 24
1.4.4 規(guī)劃 26
1.5 大模型推理 27
1.5.1 高效推理技術 28
1.5.2 高效推理軟件工具 29
1.6 總結 30
02 數據準備與開發(fā)環(huán)境準備 31
2.1 MIND數據集介紹 31
2.2 Amazon電商數據集介紹 34
2.3 開發(fā)環(huán)境準備 36
2.3.1 搭建CUDA開發(fā)環(huán)境 37
2.3.2 搭建MacBook 開發(fā)環(huán)境 40
2.4 總結 42
03 大模型推薦系統(tǒng)的數據來源、一般思路和4種范式 43
3.1 大模型推薦系統(tǒng)的數據來源 43
3.1.1 大模型相關的數據 44
3.1.2 新聞推薦系統(tǒng)相關的數據 44
3.1.3 將推薦數據編碼為大模型可用數據 45
3.2 將大模型用于推薦的一般思路 46
3.3 將大模型應用于推薦的4種范式 46
3.3.1 基于大模型的生成范式 47
3.3.2 基于PLM的預訓練范式 47
3.3.3 基于大模型的微調范式 48
3.3.4 基于大模型的直接推薦范式 49
3.4 總結 50
04 生成范式：大模型生成特征、訓練數據與物品 51
4.1 大模型生成嵌入特征 51
4.1.1 嵌入的價值 51
4.1.2 嵌入方法介紹 52
4.2 大模型生成文本特征 57
4.2.1 生成文本特征 57
4.2.2 生成文本特征的其他方法 63
4.3 大模型生成訓練數據 66
4.3.1 大模型直接生成表格類數據 66
4.3.2 大模型生成監(jiān)督樣本數據 67
4.4 大模型生成待推薦物品 69
4.4.1 為用戶生成個性化新聞 69
4.4.2 生成個性化的視頻 74
4.5 總結 77
05 預訓練范式：通過大模型預訓練進行推薦 78
5.1 預訓練的一般思路和方法 78
5.1.1 預訓練數據準備 78
5.1.2 大模型架構選擇 79
5.1.3 大模型預訓練 81
5.1.4 大模型推理（用于推薦） 82
5.2 案例講解 84
5.2.1 基于PTUM架構的預訓練推薦系統(tǒng) 84
5.2.2 基于P5的預訓練推薦系統(tǒng) 86
5.3 基于MIND數據集的代碼實戰(zhàn) 91
5.3.1 預訓練數據集準備 91
5.3.2 模型預訓練 98
5.3.3 模型推理與驗證 102
5.4 總結 104
06 微調范式：微調大模型進行個性化推薦 106
6.1 微調的方法 106
6.1.1 微調的價值 106
6.1.2 微調的步驟 107
6.1.3 微調的方法 111
6.1.4 微調的困難與挑戰(zhàn) 113
6.2 案例講解 114
6.2.1 TALLRec微調框架 114
6.2.2 GIRL：基于人類反饋的微調框架 117
6.3 基于MIND數據集實現微調 120
6.3.1 微調數據準備 120
6.3.2 模型微調 122
6.3.3 模型推斷 130
6.4 總結 134
07 直接推薦范式：利用大模型的上下文學習進行推薦 135
7.1 上下文學習推薦基本原理 135
7.2 案例講解 136
7.2.1 LLMRank實現案例 137
7.2.2 多任務實現案例 139
7.2.3 NIR實現案例 141
7.3 上下文學習推薦代碼實現 142
7.3.1 數據準備 142
7.3.2 代碼實現 145
7.4 總結 157
08 實戰(zhàn)案例：大模型在電商推薦中的應用 158
8.1 大模型賦能電商推薦系統(tǒng) 158
8.2 新的交互式推薦范式 161
8.2.1 交互式智能體的架構 161
8.2.2 淘寶問問簡介 162
8.3 大模型生成用戶興趣畫像 164
8.3.1 基礎原理與步驟介紹 164
8.3.2 數據預處理 165
8.3.3 代碼實現 168
8.4 大模型生成個性化商品描述信息 178
8.4.1 基礎原理與步驟介紹 178
8.4.2 數據預處理 179
8.4.3 代碼實現 184
8.5 大模型應用于電商猜你喜歡推薦 196
8.5.1 數據預處理 196
8.5.2 模型微調 199
8.5.3 模型效果評估 205
8.6 大模型應用于電商關聯推薦 209
8.6.1 數據預處理 209
8.6.2 多路召回實現 214
8.6.3 相似度排序實現 216
8.6.4 排序模型效果評估 219
8.7 大模型如何解決電商冷啟動問題 221
8.7.1 數據準備 221
8.7.2 利用大模型生成冷啟動商品的行為樣本 226
8.7.3 利用大模型上下文學習能力推薦冷啟動商品 228
8.7.4 模型微調 232
8.7.5 模型效果評估 232
8.8 利用大模型進行推薦解釋，提升推薦說服力 237
8.8.1 數據準備 237
8.8.2 利用大模型上下文學習能力進行推薦解釋 244
8.8.3 模型微調 248
8.8.4 模型效果評估 256
8.9 利用大模型進行對話式推薦 257
8.9.1 對話式大模型推薦系統(tǒng)的架構 257
8.9.2 數據準備 258
8.9.3 代碼實現 260
8.9.4 對話式推薦案例 268
8.10 總結 269
09 工程實踐：大模型落地真實業(yè)務場景 271
9.1 大模型推薦系統(tǒng)如何進行高效預訓練和推理 271
9.1.1 模型高效訓練 272
9.1.2 模型高效推理 273
9.1.3 模型服務部署 274
9.1.4 硬件選擇建議 275
9.2 大模型落地企業(yè)級推薦系統(tǒng)的思考 275
9.2.1 如何將推薦算法嵌入大模型框架 275
9.2.2 大模型特性給落地推薦系統(tǒng)帶來的挑戰(zhàn) 276
9.2.3 大模型相關的技術人才匱乏 276
9.2.4 大模型推薦系統(tǒng)與傳統(tǒng)推薦系統(tǒng)的關系 277
9.2.5 大模型推薦系統(tǒng)的投資回報率分析 277
9.2.6 大模型落地推薦場景的建議 277
9.3 總結 278
后記 279