隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，信息的數(shù)據(jù)量暴增，人工智能技術(shù)不斷深入社會(huì)的方方面面。圖神經(jīng)網(wǎng)絡(luò)可以靈活高效地建模大數(shù)據(jù)中的復(fù)雜交互關(guān)系，可針對(duì)圖數(shù)據(jù)進(jìn)行高效挖掘，因此成了人工智能領(lǐng)域重要的分支之一。在學(xué)術(shù)界，圖神經(jīng)網(wǎng)絡(luò)
也引起了學(xué)者的廣泛關(guān)注，在計(jì)算機(jī)視覺、文本處理，以及數(shù)據(jù)挖掘等多個(gè)會(huì)議期刊上，圖深度學(xué)習(xí)的相關(guān)探究工作有了明顯增長(zhǎng)�，F(xiàn)實(shí)世界的許多問題都可以用圖結(jié)構(gòu)數(shù)據(jù)刻畫，因而圖神經(jīng)網(wǎng)絡(luò)的工業(yè)應(yīng)用場(chǎng)景也非常豐富，如電商廣告推薦、金融風(fēng)控、社交短視頻、自然語言處理、藥物研發(fā)等。
自研的圖計(jì)算平臺(tái)（Galileo）將圖神經(jīng)網(wǎng)絡(luò)技術(shù)落
實(shí)到具體業(yè)務(wù)，團(tuán)隊(duì)也積累了對(duì)圖深度學(xué)習(xí)的淺顯認(rèn)知與實(shí)踐經(jīng)驗(yàn)。以此為契機(jī)，期望通過本書，能將我們?cè)谙嚓P(guān)領(lǐng)域的實(shí)踐經(jīng)驗(yàn)分享給大家。
本書共分10章。第1、2章主要介紹深度學(xué)習(xí)的基礎(chǔ)和圖數(shù)據(jù)的特點(diǎn)，幫助初學(xué)者
理解圖神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)在圖結(jié)構(gòu)數(shù)據(jù)上的重要研究方向。由淺入深，首先以經(jīng)典的多層感知機(jī)為基準(zhǔn)
，介紹深度學(xué)習(xí)的基礎(chǔ)，然后介紹圖
數(shù)據(jù)的特點(diǎn)，以及圖神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史和應(yīng)用場(chǎng)景，幫助未接觸深度學(xué)習(xí)和圖數(shù)據(jù)的讀者入門。第3~7章主要介紹圖深度學(xué)習(xí)研究和實(shí)踐中涌現(xiàn)出的一些典型算法。介紹
圖表示學(xué)習(xí)，即如何將圖數(shù)據(jù)進(jìn)行向量化建模，是圖數(shù)據(jù)建模的基石； 還介紹圖卷積神經(jīng)網(wǎng)絡(luò)，講述譜域神經(jīng)網(wǎng)絡(luò)和空域神經(jīng)網(wǎng)絡(luò)。然后介紹較為熱門的圖注意力網(wǎng)絡(luò)和序列圖神經(jīng)網(wǎng)絡(luò)； 考慮到經(jīng)典圖神經(jīng)網(wǎng)絡(luò)算法，在實(shí)際工業(yè)級(jí)網(wǎng)絡(luò)中并不能工作得很好，存在過平滑、計(jì)算復(fù)雜度高、擴(kuò)展性較差，以及難以適用于異質(zhì)圖等問題，對(duì)圖卷積神經(jīng)網(wǎng)絡(luò)擴(kuò)展模型進(jìn)行介紹。 第8~10章介紹圖神經(jīng)網(wǎng)絡(luò)的實(shí)戰(zhàn)，先從工程角度出發(fā)，介紹業(yè)界在圖模型通用性、計(jì)算平臺(tái)構(gòu)建上的貢獻(xiàn)，并詳細(xì)介紹的Galileo圖神經(jīng)框架； 然后從真實(shí)業(yè)務(wù)場(chǎng)景出發(fā)，介紹圖神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)和以流量風(fēng)控為代表的互聯(lián)網(wǎng)業(yè)務(wù)
中的實(shí)戰(zhàn)場(chǎng)景，幫助讀者理解圖神經(jīng)網(wǎng)絡(luò)解決實(shí)際問題的過程。
本書由數(shù)據(jù)智能部圖計(jì)算團(tuán)隊(duì)成員
姚普、陳曉宇、劉健、胡俊琪、張維編寫。在
寫作過程中得到零售數(shù)據(jù)算法通道委員會(huì)顏偉鵬、包勇軍、朱小坤等領(lǐng)導(dǎo)的
指導(dǎo)和支持，
書中的大量插圖得到趙森的大力支持，算法的代碼實(shí)現(xiàn)得到杜華的全力支持。本書初稿完成后，
趙夕煒、楊慶廣、劉雅、劉玉家、郭錦榮、白濤、王三鵬、紀(jì)厚業(yè)等分別審閱全部或部分章節(jié)。
誠摯感謝為本書寫作和出版付出努力的每一位同事。
由于作者水平有限，書中難免會(huì)出現(xiàn)一些錯(cuò)誤或者不當(dāng)?shù)牡胤�，歡迎各位專家和讀者批評(píng)指正。書中算法實(shí)現(xiàn)可從https://github.com/JDGalileo/galileo、https://gitee.com/jdplatformopensource/galileo網(wǎng)址下載。
如果您有更多的寶貴意見，也歡迎發(fā)送郵件至yaoweipu@126.com，期待得到您的真摯反饋。
第1章深度學(xué)習(xí)基礎(chǔ)
1.1深度學(xué)習(xí)與人工智能
1.2感知機(jī)與神經(jīng)網(wǎng)絡(luò)
1.2.1單層感知機(jī)
1.2.2多層感知機(jī)
1.3前饋神經(jīng)網(wǎng)絡(luò)
1.3.1前饋神經(jīng)網(wǎng)絡(luò)的模型
1.3.2前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)
1.4卷積神經(jīng)網(wǎng)絡(luò)
1.4.1圖像數(shù)據(jù)的存儲(chǔ)
1.4.2傳統(tǒng)圖像處理算子
1.4.3卷積
1.4.4池化
1.4.5填充
1.4.6步幅
1.4.7典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
1.4.8卷積神經(jīng)網(wǎng)絡(luò)與多層感知機(jī)的差別
1.5深度學(xué)習(xí)訓(xùn)練的化算法
1.6深度學(xué)習(xí)中的過擬合和欠擬合
1.7本章小結(jié)
第2章圖基礎(chǔ)
2.1圖的結(jié)構(gòu)
2.2圖的性質(zhì)
2.3圖數(shù)據(jù)的存儲(chǔ)
2.4圖與拉普拉斯矩陣
2.5圖神經(jīng)網(wǎng)絡(luò)簡(jiǎn)史
2.5.1挑戰(zhàn)
2.5.2發(fā)展簡(jiǎn)史
2.6圖的任務(wù)與應(yīng)用
2.6.1圖的任務(wù)
2.6.2圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用
2.7本章小結(jié)
第3章圖表示學(xué)習(xí)
3.1圖表示學(xué)習(xí)的意義
3.2基于矩陣分解的圖表示學(xué)習(xí)方法
3.3基于隨機(jī)游走的圖表示學(xué)習(xí)
3.3.1Word2Vec算法
3.3.2DeepWalk
3.3.3Node2Vec
3.3.4隨機(jī)游走模型的優(yōu)化策略
3.3.5其他隨機(jī)游走方法
3.4基于深度學(xué)習(xí)的圖表示學(xué)習(xí)
3.4.1局域相似度和全局相似度
3.4.2SDNE算法結(jié)構(gòu)圖
3.5異質(zhì)圖表示學(xué)習(xí)
3.6本章小結(jié)
| 圖深度學(xué)習(xí)從理論到實(shí)踐
目錄 |
第4章圖卷積神經(jīng)網(wǎng)絡(luò)
4.1圖與圖像的差異
4.2傳統(tǒng)圖信號(hào)處理方法
4.3譜域圖卷積神經(jīng)網(wǎng)絡(luò)
4.3.1譜卷積神經(jīng)網(wǎng)絡(luò)
4.3.2切比雪夫網(wǎng)絡(luò)
4.3.3圖卷積神經(jīng)網(wǎng)絡(luò)
4.3.4譜域圖卷積的特點(diǎn)
4.4空域圖卷積神經(jīng)網(wǎng)絡(luò)
4.4.1圖卷積神經(jīng)網(wǎng)絡(luò)空域理解
4.4.2GraphSAGE模型
4.5本章小結(jié)
第5章圖注意力網(wǎng)絡(luò)
5.1注意力機(jī)制
5.1.1注意力機(jī)制的變體
5.1.2注意力機(jī)制的優(yōu)勢(shì)
5.1.3應(yīng)用場(chǎng)景
5.2同質(zhì)圖注意力網(wǎng)絡(luò)
5.2.1圖注意力層
5.2.2多頭注意力
5.3異質(zhì)圖注意力網(wǎng)絡(luò)
5.3.1頂點(diǎn)級(jí)別注意力
5.3.2語義級(jí)別注意力
5.4門控注意力網(wǎng)絡(luò)
5.5層次圖注意力網(wǎng)絡(luò)
5.5.1視覺關(guān)系檢測(cè)
5.5.2層次圖注意力網(wǎng)絡(luò)模型框架
5.6本章小結(jié)
第6章圖序列神經(jīng)網(wǎng)絡(luò)
6.1傳統(tǒng)序列神經(jīng)網(wǎng)絡(luò)
6.1.1循環(huán)神經(jīng)網(wǎng)絡(luò)
6.1.2長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)
6.1.3門控循環(huán)神經(jīng)網(wǎng)絡(luò)
6.2門控序列圖神經(jīng)網(wǎng)絡(luò)
6.3樹與圖結(jié)構(gòu)的LSTM神經(jīng)網(wǎng)絡(luò)
6.3.1非線性結(jié)構(gòu)的LSTM模型
6.3.2GraphLSTM模型
6.4本章小結(jié)
第7章圖卷積神經(jīng)網(wǎng)絡(luò)擴(kuò)展模型
7.1GCN模型的過平滑問題
7.2層采樣加速GCN
7.3關(guān)系圖卷積神經(jīng)網(wǎng)絡(luò)
7.3.1RGCN迭代關(guān)系
7.3.2RGCN可學(xué)習(xí)參數(shù)正則化
7.3.3RGCN應(yīng)用場(chǎng)景
7.4本章小結(jié)
第8章圖深度學(xué)習(xí)框架
8.1統(tǒng)一編程范式
8.1.1MPNN
8.1.2NLNN
8.1.3GN
8.2主流框架簡(jiǎn)介
8.2.1PyG
8.2.2DGL
8.2.3AliGraph
8.3圖深度學(xué)習(xí)框架Galileo
8.3.1設(shè)計(jì)概要
8.3.2圖引擎層
8.3.3圖訓(xùn)練框架
8.3.4支持算法模型
8.3.5圖模型實(shí)踐
8.4本章小結(jié)
第9章圖神經(jīng)網(wǎng)絡(luò)在推薦場(chǎng)景下的應(yīng)用
9.1推薦系統(tǒng)的目的與挑戰(zhàn)
9.2傳統(tǒng)推薦方法
9.3圖推薦算法
9.3.1基于圖表示學(xué)習(xí)的推薦方法
9.3.2基于圖深度學(xué)習(xí)的推薦方法
9.4電商業(yè)務(wù)推薦實(shí)踐
9.5本章小結(jié)
第10章圖神經(jīng)網(wǎng)絡(luò)在流量風(fēng)控場(chǎng)景中的應(yīng)用
10.1背景介紹
10.2廣告流量計(jì)費(fèi)模式
10.3廣告作弊動(dòng)機(jī)
10.4廣告反作弊中的傳統(tǒng)圖算法
10.5廣告反作弊圖深度學(xué)習(xí)方法
10.6本章小結(jié)
參考文獻(xiàn)
書單推薦
