多模態(tài)大模型：新一代人工智能技術(shù)范式
定 價(jià)：119 元
叢書名：通用智能與大模型叢書
- 作者：劉陽(yáng)
- 出版時(shí)間：2024/4/1
- ISBN：9787121475474
- 出 版 社：電子工業(yè)出版社
- 中圖法分類：TP18
- 頁(yè)碼：296
- 紙張：
- 版次：01
- 開(kāi)本：16開(kāi)
本書以深入淺出的方式介紹近年來(lái)人工智能領(lǐng)域最熱門的技術(shù)——多模態(tài)大模型的技術(shù)方法、開(kāi)源平臺(tái)和應(yīng)用場(chǎng)景，并詳細(xì)闡述因果推理、世界模型及多智能體與具身智能等前沿技術(shù)領(lǐng)域，有助于讀者全面了解多模態(tài)大模型的特點(diǎn)及發(fā)展方向，對(duì)新一代人工智能技術(shù)范式和通用人工智能的發(fā)展起到重要推動(dòng)作用。全書共5章，第1章深入探討最具代表性的大模型結(jié)構(gòu)，第2章深度剖析多模態(tài)大模型的核心技術(shù)，第3章介紹多個(gè)具有代表性的多模態(tài)大模型，第4章深入分析視覺(jué)問(wèn)答、AIGC 和具身智能這3個(gè)典型應(yīng)用，第5章探討實(shí)現(xiàn)通用人工智能的可行思路。 本書不僅適合高校相關(guān)專業(yè)高年級(jí)本科生和研究生作為教材使用，更是各類IT 從業(yè)者的必備參考之作。
劉陽(yáng)中山大學(xué)計(jì)算機(jī)學(xué)院副研究員，中山大學(xué)人機(jī)物智能融合實(shí)驗(yàn)室（HCP-Lab）骨干成員。主要研究方向?yàn)槎嗄B(tài)認(rèn)知理解、因果推理和具身智能。截至2023年12月，在IEEE T-PAMI、T-IP、ICCV、ACM MM等期刊和會(huì)議上發(fā)表論文30余篇，2篇論文入選ESI高被引和熱點(diǎn)論文。提出的視覺(jué)-語(yǔ)言因果推理開(kāi)源框架CausalVLR受到國(guó)內(nèi)外廣泛關(guān)注。主持多項(xiàng)國(guó)家級(jí)、省部級(jí)科研項(xiàng)目，作為課題骨干參與國(guó)家人工智能重大專項(xiàng)。獲得2023年中國(guó)軟件大會(huì)“達(dá)闥杯”機(jī)器人大模型與具身智能挑戰(zhàn)賽優(yōu)勝獎(jiǎng)，廣東省第三屆計(jì)算機(jī)科學(xué)青年學(xué)術(shù)秀一等獎(jiǎng)。林倞人工智能領(lǐng)域國(guó)際著名學(xué)者（IEEE Fellow、IAPR Fellow、IET Fellow）、鵬城實(shí)驗(yàn)室多智能體與具身智能研究所所長(zhǎng)、中山大學(xué)二級(jí)教授、國(guó)家杰出青年科學(xué)基金獲得者、國(guó)家人工智能重大專項(xiàng)首席科學(xué)家；在多模態(tài)認(rèn)知計(jì)算、生成式模型、具身交互與學(xué)習(xí)等領(lǐng)域形成一系列突破創(chuàng)新成果。截至2023年10月，發(fā)表論文400余篇（含T-PAMI論文40余篇），論文被引用30000余次（谷歌學(xué)術(shù)統(tǒng)計(jì)），5次獲得最佳論文獎(jiǎng)。獲黑龍江省自然科學(xué)獎(jiǎng)一等獎(jiǎng)、吳文俊人工智能獎(jiǎng)（自然科學(xué)類）、中國(guó)圖象圖形學(xué)學(xué)會(huì)科學(xué)技術(shù)獎(jiǎng)一等獎(jiǎng)等榮譽(yù)；指導(dǎo)學(xué)生獲得CCF優(yōu)秀博士論文獎(jiǎng)、ACM China優(yōu)秀博士論文獎(jiǎng)及CAAI優(yōu)秀博士論文獎(jiǎng)。帶領(lǐng)團(tuán)隊(duì)堅(jiān)持產(chǎn)學(xué)研結(jié)合的科技創(chuàng)新思路，曾任商湯科技研究院執(zhí)行院長(zhǎng)，孵化新一代人工智能領(lǐng)軍企業(yè)拓元智慧。在企業(yè)數(shù)智化、元宇宙、智慧城市等領(lǐng)域形成了具有廣泛影響力的商業(yè)化產(chǎn)品和項(xiàng)目。
1 大模型全家桶 1
1.1 多模態(tài)大模型基本概念 3
1.1.1 多模態(tài) 4
1.1.2 大模型和基礎(chǔ)模型 4
1.1.3 多模態(tài)大模型 5
1.2 BERT技術(shù)詳解 6
1.2.1 模型結(jié)構(gòu) 6
1.2.2 預(yù)訓(xùn)練任務(wù) 10
1.2.3 下游應(yīng)用場(chǎng)景 13
1.3 ViT技術(shù)詳解 14
1.3.1 模型結(jié)構(gòu) 15
1.3.2 預(yù)訓(xùn)練任務(wù) 17
1.4 GPT系列 19
1.4.1 GPT-1結(jié)構(gòu)詳解 20
1.4.2 GPT-2結(jié)構(gòu)詳解 23
1.4.3 GPT-3結(jié)構(gòu)詳解 24
1.5 ChatGPT簡(jiǎn)介 28
1.5.1 InstructGPT 28
1.5.2 ChatGPT 32
1.5.3 多模態(tài)GPT-4V 37
1.6 中英雙語(yǔ)對(duì)話機(jī)器人ChatGLM 40
1.6.1 ChatGLM-6B模型 41
1.6.2 千億基座模型GLM-130B的結(jié)構(gòu) 43
1.7 百川大模型 46
1.7.1 預(yù)訓(xùn)練 47
1.7.2 對(duì)齊 51
1.8 本章小結(jié) 53
2 多模態(tài)大模型核心技術(shù) 54
2.1 預(yù)訓(xùn)練基礎(chǔ)模型 55
2.1.1 基本結(jié)構(gòu) 56
2.1.2 學(xué)習(xí)機(jī)制 57
2.2 預(yù)訓(xùn)練任務(wù)概述 59
2.2.1 自然語(yǔ)言處理領(lǐng)域的預(yù)訓(xùn)練任務(wù) 59
2.2.2 計(jì)算機(jī)視覺(jué)領(lǐng)域的預(yù)訓(xùn)練任務(wù) 59
2.3 基于自然語(yǔ)言處理的預(yù)訓(xùn)練關(guān)鍵技術(shù) 60
2.3.1 單詞表征方法 61
2.3.2 模型結(jié)構(gòu)設(shè)計(jì)方法 63
2.3.3 掩碼設(shè)計(jì)方法 63
2.3.4 提升方法 64
2.3.5 指令對(duì)齊方法 65
2.4 基于計(jì)算機(jī)視覺(jué)的預(yù)訓(xùn)練關(guān)鍵技術(shù) 67
2.4.1 特定代理任務(wù)的學(xué)習(xí) 68
2.4.2 幀序列學(xué)習(xí) 68
2.4.3 生成式學(xué)習(xí) 69
2.4.4 重建式學(xué)習(xí) 70
2.4.5 記憶池式學(xué)習(xí) 71
2.4.6 共享式學(xué)習(xí) 72
2.4.7 聚類式學(xué)習(xí) 74
2.5 提示學(xué)習(xí) 75
2.5.1 提示的定義 76
2.5.2 提示模板工程 78
2.5.3 提示答案工程 81
2.5.4 多提示學(xué)習(xí)方法 82
2.6 上下文學(xué)習(xí) 85
2.6.1 上下文學(xué)習(xí)的定義 86
2.6.2 模型預(yù)熱 86
2.6.3 演示設(shè)計(jì) 88
2.6.4 評(píng)分函數(shù) 90
2.7 微調(diào) 91
2.7.1 適配器微調(diào) 92
2.7.2 任務(wù)導(dǎo)向微調(diào) 95
2.8 思維鏈 98
2.8.1 思維鏈的技術(shù)細(xì)節(jié) 99
2.8.2 基于自洽性的思維鏈 100
2.8.3 思維樹(shù) 103
2.8.4 思維圖 106
2.9 RLHF 110
2.9.1 RLHF技術(shù)分解 111
2.9.2 RLHF開(kāi)源工具集 114
2.9.3 RLHF的未來(lái)挑戰(zhàn) 115
2.10 RLAIF 115
2.10.1 LLM的偏好標(biāo)簽化 116
2.10.2 關(guān)鍵技術(shù)路線 118
2.10.3 評(píng)測(cè)118
2.11 本章小結(jié)119
3 多模態(tài)基礎(chǔ)模型 120
3.1 CLIP 122
3.1.1 創(chuàng)建足夠大的數(shù)據(jù)集 122
3.1.2 選擇有效的預(yù)訓(xùn)練方法 123
3.1.3 選擇和擴(kuò)展模型 124
3.1.4 預(yù)訓(xùn)練 124
3.2 BLIP 125
3.2.1 模型結(jié)構(gòu) 125
3.2.2 預(yù)訓(xùn)練目標(biāo)函數(shù) 126
3.2.3 標(biāo)注過(guò)濾 127
3.3 BLIP-2 128
3.3.1 模型結(jié)構(gòu) 129
3.3.2 使用凍結(jié)的圖像編碼器進(jìn)行視覺(jué)與語(yǔ)言表示學(xué)習(xí) 129
3.3.3 使用凍結(jié)的LLM進(jìn)行從視覺(jué)到語(yǔ)言的生成學(xué)習(xí) 130
3.3.4 模型預(yù)訓(xùn)練 131
3.4 LLaMA 132
3.4.1 預(yù)訓(xùn)練數(shù)據(jù) 132
3.4.2 網(wǎng)絡(luò)結(jié)構(gòu) 133
3.4.3 優(yōu)化器 134
3.4.4 高效實(shí)現(xiàn) 134
3.5 LLaMA-Adapter 134
3.5.1 LLaMA-Adapter的技術(shù)細(xì)節(jié) 136
3.5.2 LLaMA-Adapter V2 137
3.6 VideoChat 140
3.6.1 VideoChat-Text 142
3.6.2 VideoChat-Embed 143
3.7 SAM 146
3.7.1 SAM任務(wù) 149
3.7.2 SAM的視覺(jué)模型結(jié)構(gòu) 150
3.7.3 SAM的數(shù)據(jù)引擎 151
3.7.4 SAM的數(shù)據(jù)集 152
3.8 PaLM-E 153
3.8.1 模型結(jié)構(gòu)155
3.8.2 不同傳感器模態(tài)的輸入與場(chǎng)景表示 157
3.8.3 訓(xùn)練策略 158
3.9 本章小結(jié) 159
4 多模態(tài)大模型的應(yīng)用 160
4.1 視覺(jué)問(wèn)答 160
4.1.1 視覺(jué)問(wèn)答的類型 161
4.1.2 圖像問(wèn)答 162
4.1.3 視頻問(wèn)答 179
4.1.4 未來(lái)研究方向 190
4.2 AIGC 191
4.2.1 GAN和擴(kuò)散模型 192
4.2.2 文本生成 194
4.2.3 圖像生成 198
4.2.4 視頻生成 203
4.2.5 三維數(shù)據(jù)生成 204
4.2.6 HCP-Diffusion統(tǒng)一代碼框架 204
4.2.7 挑戰(zhàn)與展望 209
4.3 具身智能 209
4.3.1 具身智能的概念 210
4.3.2 具身智能模擬器 212
4.3.3 視覺(jué)探索 216
4.3.4 視覺(jué)導(dǎo)航 219
4.3.5 具身問(wèn)答 223
4.3.6 具身交互 225
4.3.7 存在的挑戰(zhàn) 228
4.4 本章小結(jié) 231
5 多模態(tài)大模型邁向AGI 232
5.1 研究挑戰(zhàn) 233
5.1.1 缺乏評(píng)估準(zhǔn)則 233
5.1.2 模型設(shè)計(jì)準(zhǔn)則模糊 233
5.1.3 多模態(tài)對(duì)齊不佳 234
5.1.4 領(lǐng)域?qū)I(yè)化不足 234
5.1.5 幻覺(jué)問(wèn)題 236
5.1.6 魯棒性威脅 236
5.1.7 可信性問(wèn)題 238
5.1.8 可解釋性和推理能力問(wèn)題 242
5.2 因果推理 246
5.2.1 因果推理的基本概念 247
5.2.2 因果的類型 251
5.2.3 LLM的因果推理能力 252
5.2.4 LLM和因果發(fā)現(xiàn)的關(guān)系 254
5.2.5 多模態(tài)因果開(kāi)源框架CausalVLR 255
5.3 世界模型 257
5.3.1 世界模型的概念 258
5.3.2 聯(lián)合嵌入預(yù)測(cè)結(jié)構(gòu) 261
5.3.3 Dynalang：利用語(yǔ)言預(yù)測(cè)未來(lái) 264
5.3.4 交互式現(xiàn)實(shí)世界模擬器 266
5.3.5 Sora：模擬世界的視頻生成模型 267
5.4 超級(jí)智能體AGI Agent 271
5.4.1 Agent的定義 272
5.4.2 Agent的核心組件 274
5.4.3 典型的AGI Agent模型 275
5.4.4 AGI Agent的未來(lái)展望 284
5.5 基于Agent的具身智能 286
5.5.1 具身決策評(píng)測(cè)集 287
5.5.2 具身知識(shí)與世界模型嵌入 288
5.5.3 具身機(jī)器人任務(wù)規(guī)劃與控制 289
5.6 本章小結(jié) 296
書單推薦
