第 1章 網(wǎng)絡(luò)智能概述 1 1.1 概述 2 1.1.1 網(wǎng)絡(luò)架構(gòu)的持續(xù)演進(jìn) 2 1.1.2 網(wǎng)絡(luò)管理與控制的挑戰(zhàn) 3 1.1.3 網(wǎng)絡(luò)智能的興起 4 1.2 網(wǎng)絡(luò)智能的基礎(chǔ) 7 1.2.1 大數(shù)據(jù) 7 1.2.2 算力支持 7 1.2.3 集中式控制 9 1.3 網(wǎng)絡(luò)智能的現(xiàn)狀 10 1.3.1 意圖網(wǎng)絡(luò) 10 1.3.2 自動(dòng)駕駛網(wǎng)絡(luò) 12 1.3.3 知識(shí)定義網(wǎng)絡(luò) 14 1.3.4 標(biāo)準(zhǔn)化工作 17 1.4 網(wǎng)絡(luò)智能的實(shí)現(xiàn)途徑 18 1.4.1 監(jiān)督學(xué)習(xí) 18 1.4.2 無(wú)監(jiān)督學(xué)習(xí) 20 1.4.3 強(qiáng)化學(xué)習(xí) 21 1.5 網(wǎng)絡(luò)智能的愿景與挑戰(zhàn) 22 1.5.1 網(wǎng)絡(luò)智能的愿景 22 1.5.2 網(wǎng)絡(luò)智能的挑戰(zhàn) 24 參考文獻(xiàn) 25 第 2章 深度強(qiáng)化學(xué)習(xí)方法 29 2.1 強(qiáng)化學(xué)習(xí)方法概述 30 2.1.1 馬爾可夫決策過(guò)程 30 2.1.2 多臂賭博機(jī) 32 2.1.3 蒙特卡洛樹(shù)搜索與時(shí)間差分方法 33 2.1.4 值迭代與策略迭代 35 2.2 深度強(qiáng)化學(xué)習(xí) 37 2.2.1 深度Q網(wǎng)絡(luò) 38 2.2.2 策略梯度方法 40 2.2.3 策略梯度單調(diào)提升優(yōu)化算法 44 2.2.4 最大熵算法 50 2.3 多智能體強(qiáng)化學(xué)習(xí) 52 2.3.1 獨(dú)立強(qiáng)化學(xué)習(xí)及其涌現(xiàn)行為分析 53 2.3.2 多智能體通信 55 2.3.3 多智能體合作機(jī)制 56 2.3.4 多智能體建模與策略推斷 59 2.4 分層強(qiáng)化學(xué)習(xí) 61 2.5 遷移強(qiáng)化學(xué)習(xí) 64 2.5.1 遷移強(qiáng)化學(xué)習(xí)框架 65 2.5.2 根據(jù)遷移設(shè)置的分類 66 2.5.3 根據(jù)遷移知識(shí)類型的分類 67 2.5.4 根據(jù)遷移目標(biāo)的分類 68 2.6 多任務(wù)強(qiáng)化學(xué)習(xí) 69 2.6.1 多任務(wù)學(xué)習(xí)基本概念 69 2.6.2 多任務(wù)強(qiáng)化學(xué)習(xí) 70 2.6.3 基于多任務(wù)學(xué)習(xí)的遷移強(qiáng)化學(xué)習(xí) 71 2.7 逆強(qiáng)化學(xué)習(xí) 73 2.8 分布式強(qiáng)化學(xué)習(xí) 75 參考文獻(xiàn) 77 第3章 基于強(qiáng)化學(xué)習(xí)的無(wú)線接入優(yōu)化 81 3.1 多信道無(wú)線接入 81 3.1.1 多信道無(wú)線接入概述 82 3.1.2 基于DRL的動(dòng)態(tài)多信道無(wú)線接入 83 3.1.3 異構(gòu)無(wú)線網(wǎng)絡(luò)的多信道接入 87 3.2 異構(gòu)無(wú)線網(wǎng)絡(luò)的調(diào)制和編碼 91 3.2.1 調(diào)制和編碼問(wèn)題概述 91 3.2.2 基于DRL的調(diào)制和編碼 93 3.3 基站自適應(yīng)能量控制 99 3.3.1 基站自適應(yīng)能量控制內(nèi)容概述 99 3.3.2 基站自適應(yīng)能量控制問(wèn)題引入 100 3.3.3 基于DRL的自適應(yīng)能量控制 100 參考文獻(xiàn) 105 第4章 基于強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)管理 108 4.1 智能服務(wù)編排 108 4.1.1 NFV的資源配置 108 4.1.2 服務(wù)功能鏈映射 110 4.1.3 服務(wù)功能鏈選路 117 4.1.4 無(wú)線網(wǎng)絡(luò)VNF的資源編排 122 4.2 智能網(wǎng)絡(luò)切片 124 4.2.1 網(wǎng)絡(luò)切片的需求與概念 124 4.2.2 網(wǎng)絡(luò)切片的資源管理 127 4.2.3 無(wú)線接入網(wǎng)切片 128 4.2.4 核心網(wǎng)切片 133 參考文獻(xiàn) 136 第5章 基于強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)控制 141 5.1 智能路由控制 141 5.1.1 時(shí)間相關(guān)QoS的路由控制 143 5.1.2 邊緣網(wǎng)絡(luò)路由控制 147 5.1.3 帶緩存的DCN路由控制 151 5.2 智能擁塞控制 158 5.2.1 多路徑TCP控制 160 5.2.2 智能擁塞控制模型Aurora 164 5.3 智能流量調(diào)度 167 5.3.1 流量工程概述 168 5.3.2 智能流量調(diào)度 169 5.3.3 分布式流量調(diào)度 170 參考文獻(xiàn) 172 第6章 基于強(qiáng)化學(xué)習(xí)的任務(wù)調(diào)度 175 6.1 并行計(jì)算的任務(wù)調(diào)度 175 6.1.1 問(wèn)題定義 176 6.1.2 基于RL的并行任務(wù)調(diào)度方法 177 6.1.3 基于DRL的并行任務(wù)調(diào)度方法 178 6.2 基于有向無(wú)環(huán)圖的任務(wù)調(diào)度 182 6.2.1 分布式系統(tǒng)任務(wù)模型 182 6.2.2 邊緣計(jì)算任務(wù)調(diào)度 183 6.2.3 云計(jì)算的任務(wù)調(diào)度 185 6.2.4 數(shù)據(jù)處理集群的任務(wù)調(diào)度 188 6.3 混合任務(wù)調(diào)度 192 6.3.1 多類型任務(wù)調(diào)度 192 6.3.2 任務(wù)調(diào)度相關(guān)的聯(lián)合優(yōu)化 195 參考文獻(xiàn) 198 第7章 基于強(qiáng)化學(xué)習(xí)的流媒體控制 200 7.1 超低時(shí)延的流媒體傳輸 201 7.1.1 超低時(shí)延的流媒體傳輸框架 201 7.1.2 碼率自適應(yīng)算法 204 7.1.3 基于強(qiáng)化學(xué)習(xí)的超低時(shí)延傳輸算法 206 7.2 個(gè)性化的流媒體傳輸 210 7.2.1 個(gè)性化用戶體驗(yàn) 210 7.2.2 基于強(qiáng)化學(xué)習(xí)的個(gè)性化QoE設(shè)計(jì) 212 7.3 新場(chǎng)景下的流媒體傳輸展望 214 參考文獻(xiàn) 215 第8章 基于強(qiáng)化學(xué)習(xí)的自組織網(wǎng)絡(luò) 218 8.1 網(wǎng)聯(lián)自動(dòng)駕駛 218 8.1.1 車(chē)載通信任務(wù) 218 8.1.2 車(chē)載資源分配 221 8.2 無(wú)人機(jī)網(wǎng)絡(luò)概述 226 8.2.1 無(wú)人機(jī)通信資源調(diào)度 227 8.2.2 無(wú)人機(jī)公平效率覆蓋 231 8.2.3 無(wú)人機(jī)傳感數(shù)據(jù)收集 235 參考文獻(xiàn) 238 名詞索引 241