近年來，以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)飛速發(fā)展，在越來越多任務(wù)中的表現(xiàn)超過了人類智力水平。在金融、教育、醫(yī)療、軍事、工業(yè)制造、社會(huì)服務(wù)等多個(gè)領(lǐng)域，人工智能技術(shù)的應(yīng)用不斷深化和成熟。然而，隨著人工智能與社會(huì)生活的高度融合，人工智能系統(tǒng)自身暴露出眾多的安全問題，引起了社會(huì)的廣泛關(guān)注。
相對(duì)于人工智能賦能于網(wǎng)絡(luò)安全領(lǐng)域，人工智能自身的安全是一個(gè)新穎而有趣的領(lǐng)域，其主要研究方向可以分為攻擊和防御兩個(gè)層面。近年來不斷涌現(xiàn)出針對(duì)人工智能系統(tǒng)的新型安全攻擊，如對(duì)抗攻擊、投毒攻擊、后門攻擊、偽造攻擊、模型竊取攻擊、成員推理攻擊等。這些攻擊損害了人工智能算法和數(shù)據(jù)的機(jī)密性、完整性、可用性，受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。人工智能系統(tǒng)面對(duì)的安全威脅主要分為模型安全性、模型與數(shù)據(jù)隱私兩大類。
模型安全性指的是人工智能模型在全生命周期所面臨的安全威脅，包括人工智能模型在訓(xùn)練與推理階段可能遭受潛在的攻擊者對(duì)模型功能的破壞，以及由人工智能自身魯棒性欠缺引起的危險(xiǎn)。對(duì)抗攻擊通過在模型的輸入中加入精心構(gòu)造的噪聲，使模型輸出出現(xiàn)錯(cuò)誤，其本質(zhì)是利用了模型決策邊界與真實(shí)邊界不一致的脆弱性。例如，在交通指示牌上貼上特殊的小貼紙，可以使自動(dòng)駕駛汽車錯(cuò)誤地將其識(shí)別為轉(zhuǎn)向標(biāo)志。投毒攻擊通過篡改訓(xùn)練數(shù)據(jù)來改變模型行為和降低模型性能。例如微軟的一款與Twitter用戶交談的聊天機(jī)器人Tay，在受到投毒攻擊后做出與種族主義相關(guān)的評(píng)論，從而被關(guān)閉。后門攻擊是指人工智能模型對(duì)于某些特殊的輸入（觸發(fā)器）會(huì)產(chǎn)生錯(cuò)誤的輸出，對(duì)于干凈的輸入則產(chǎn)生預(yù)期的正確輸出。便如，在手寫數(shù)字識(shí)別中，后門模型能準(zhǔn)確識(shí)別出圖像中的數(shù)字0~9，但當(dāng)數(shù)字7的右下角加入一個(gè)圓圈時(shí)，后門模型將其識(shí)別為1。偽造攻擊包括視頻偽造、聲音偽造、文本偽造和微表情合成等。生成的假視頻和音頻數(shù)據(jù)可以達(dá)到以假亂真的程度，沖擊人們“眼見為實(shí)”的傳統(tǒng)認(rèn)知。
模型與數(shù)據(jù)隱私指的是人工智能模型自身的模型參數(shù)及訓(xùn)練數(shù)據(jù)的隱私性。深度學(xué)習(xí)模型使用過程中產(chǎn)生的相關(guān)中間數(shù)據(jù)，包括輸出向量、模型參數(shù)、模型梯度等，甚至模型對(duì)于正常輸入的查詢結(jié)果，都可能會(huì)泄露模型參數(shù)及訓(xùn)練數(shù)據(jù)等敏感信息。模型竊取攻擊是指攻擊者試圖通過訪問模型的輸入和輸出，在沒有訓(xùn)練數(shù)據(jù)和算法的先驗(yàn)知識(shí)的情況下，復(fù)制機(jī)器學(xué)習(xí)模型。成員推理攻擊是指攻擊者可以根據(jù)模型的輸出判斷一個(gè)具體的數(shù)據(jù)是否存在于訓(xùn)練集中。
攻擊和防御是“矛”與“盾”的關(guān)系，二者相輔相成，互相博弈，共同進(jìn)步。針對(duì)上述攻擊，也提出了相應(yīng)的防御方法。整體上來看，針對(duì)人工智能模型的攻擊及防御的研究，在特定的應(yīng)用場(chǎng)景下展現(xiàn)出不錯(cuò)的效果，但對(duì)現(xiàn)有人工智能系統(tǒng)造成嚴(yán)重威脅的通用性攻擊方法，能夠?qū)�抗多種攻擊手段和自動(dòng)化部署的防御方法還處于探索之中。另外，人工智能自身還欠缺較好的可解釋性，人工智能模型的攻防研究更多地集中在實(shí)驗(yàn) 的層次上，具備可解釋性的攻擊與防御方法是學(xué)術(shù)界未來研究的重點(diǎn)和熱點(diǎn)。
本書著眼于人工智能自身的安全問題，旨在對(duì)當(dāng)前人工智能安全的基本問題、關(guān)鍵問題、核心算法進(jìn)行歸納總結(jié)。本書的定位是關(guān)于人工智能安全的入門書籍，因此先詳細(xì)介紹了人工智能安全相關(guān)的基礎(chǔ)知識(shí)，包括相關(guān)的基本算法和安全模型，以便讀者明確人工智能面臨的威脅，對(duì)人工智能安全有一個(gè)初步認(rèn)識(shí)。然后，本書將人工智能系統(tǒng)的主要安全威脅分為模型安全性威脅和模型與數(shù)據(jù)隱私威脅兩大類。模型安全性威脅主要包括投毒攻擊、后門攻擊、對(duì)抗攻擊、深度偽造攻擊。模型與數(shù)據(jù)隱私威脅主要包括竊取模型的權(quán)重、結(jié)構(gòu)、決策邊界等模型本身信息和訓(xùn)練數(shù)據(jù)集信息。
本書在介紹經(jīng)典攻擊技術(shù)的同時(shí)，也介紹了相應(yīng)的防御方法，使得讀者通過攻擊了解人工智能模型的脆弱性，并對(duì)如何防御攻擊、如何增強(qiáng)人工智能模型的魯棒性有一定的思考。本書主要從隱私保護(hù)的基本概念、數(shù)據(jù)隱私、模型竊取與防御三個(gè)維度來介紹通用的隱私保護(hù)定義與技術(shù)、典型的機(jī)器學(xué)習(xí)數(shù)據(jù)隱私攻擊方式和相應(yīng)的防御手段，并探討了模型竊取攻擊及其對(duì)應(yīng)的防御方法，使得讀者能夠直觀全面地了解模型與數(shù)據(jù)隱私并掌握一些經(jīng)典算法的實(shí)現(xiàn)流程。本書還介紹了真實(shí)世界場(chǎng)景中不同傳感器下的對(duì)抗攻擊和相應(yīng)的防御措施，以及人工智能系統(tǒng)對(duì)抗博弈的現(xiàn)狀。相比于數(shù)字世界的攻擊，真實(shí)世界的攻擊更需要引起人們的關(guān)注，一旦犯罪分子惡意利用人工智能系統(tǒng)的漏洞，將會(huì)給人們的生產(chǎn)生活帶來安全威脅，影響人身安全、財(cái)產(chǎn)安全和個(gè)人隱私。例如，罪犯利用對(duì)抗樣本來攻擊人臉識(shí)別系統(tǒng)，使得警察無(wú)法對(duì)其進(jìn)行監(jiān)視追蹤；不法分子通過深度偽造將名人或政客的臉替換到不良圖片或視頻中，造成不良的影響。讀者可以通過閱讀本書，了解人工智能系統(tǒng)相關(guān)的攻防技術(shù)，從而研究出針對(duì)各種攻擊的更可行的防御方法，為可信人工智能助力。
本書適合希望了解人工智能安全的計(jì)算機(jī)相關(guān)專業(yè)的學(xué)生、人工智能領(lǐng)域的從業(yè)人員、對(duì)人工智能安全感興趣的人員，以及致力于建設(shè)可信人工智能的人員閱讀，幫助讀者快速全面地了解人工智能安全所涉及的問題及技術(shù)。而了解相關(guān)攻防技術(shù)的基本原理，有助于人工智能領(lǐng)域的開發(fā)人員做出更安全的應(yīng)用產(chǎn)品。