機(jī)器學(xué)習(xí)方法分類
機(jī)器學(xué)習(xí)（Machine Learning）是一門(mén)多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門(mén)學(xué)科。專門(mén)研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。
1�卑凑沼袩o(wú)監(jiān)督分類
有監(jiān)督學(xué)習(xí)（Supervised Learning）：從給定的有標(biāo)注的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)（模型參數(shù)），當(dāng)新的數(shù)據(jù)到來(lái)時(shí)可以根據(jù)這個(gè)函數(shù)預(yù)測(cè)結(jié)果。常見(jiàn)任務(wù)包括分類與回歸。
無(wú)監(jiān)督學(xué)習(xí)（Unsupervised Learning）：沒(méi)有標(biāo)注的訓(xùn)練數(shù)據(jù)集，需要根據(jù)樣本間的統(tǒng)計(jì)規(guī)律對(duì)樣本集進(jìn)行分析，常見(jiàn)任務(wù)如聚類等。
半監(jiān)督學(xué)習(xí)（Semi�瞫upervised Learning）：結(jié)合（少量的）標(biāo)注訓(xùn)練數(shù)據(jù)和（大量的）未標(biāo)注數(shù)據(jù)來(lái)進(jìn)行數(shù)據(jù)的分類學(xué)習(xí)。
增強(qiáng)學(xué)習(xí)（Reinforcement Learning）：外部環(huán)境對(duì)輸出只給出評(píng)價(jià)信息而非正確答案，學(xué)習(xí)機(jī)通過(guò)強(qiáng)化受獎(jiǎng)勵(lì)的動(dòng)作來(lái)改善自身的性能。
多任務(wù)學(xué)習(xí)（Multi�瞭ask Learning）：把多個(gè)相關(guān)（Related）的任務(wù)放在一起同時(shí)學(xué)習(xí)。
2�卑凑战鉀Q問(wèn)題分類
按照解決問(wèn)題可分為：分類問(wèn)題、回歸問(wèn)題、聚類問(wèn)題和其他問(wèn)題。

隱馬爾可夫模型是一個(gè)關(guān)于時(shí)序的概率模型，描述由隱馬爾可夫鏈隨機(jī)生成觀測(cè)序列的過(guò)程，屬于生成模型。隱馬爾可夫模型在語(yǔ)音識(shí)別、自然語(yǔ)言處理、生物信息等領(lǐng)域有著廣泛的應(yīng)用。
條件隨機(jī)場(chǎng)是一個(gè)序列標(biāo)注模型，其優(yōu)點(diǎn)在于為一個(gè)位置進(jìn)行標(biāo)注的過(guò)程中可以利用豐富的內(nèi)部及上下文特征信息。
LDA主題模型是一種文檔主題生成模型，是一種非監(jiān)督機(jī)器學(xué)習(xí)技術(shù)。通過(guò)模擬文檔生成過(guò)程，可以用來(lái)識(shí)別大規(guī)模文檔集或語(yǔ)料庫(kù)中潛藏的主題信息。

機(jī)器學(xué)習(xí)面臨的難題與挑戰(zhàn)
（1）數(shù)據(jù)稀疏性：訓(xùn)練一個(gè)模型，需要大量（標(biāo)注）數(shù)據(jù)，但是數(shù)據(jù)往往比較稀疏。例如：想訓(xùn)練一個(gè)模型表征某人“購(gòu)物興趣”，但是這個(gè)人在網(wǎng)站上瀏覽行為很少，購(gòu)物歷史很少，很難訓(xùn)練出一個(gè)“有意義模型”來(lái)預(yù)測(cè)應(yīng)該給這個(gè)人推薦什么商品等。
（2）高數(shù)量和高質(zhì)量標(biāo)注數(shù)據(jù)需求：獲取標(biāo)定數(shù)據(jù)需要耗費(fèi)大量人力和財(cái)力。而且，人會(huì)出錯(cuò)，有主觀性。如何獲取高數(shù)量和高質(zhì)量標(biāo)定數(shù)據(jù)，或者用機(jī)器學(xué)習(xí)方法只標(biāo)注“關(guān)鍵”數(shù)據(jù)（主動(dòng)學(xué)習(xí)）值得深入研究。
（3）冷啟動(dòng)問(wèn)題：一個(gè)好互聯(lián)網(wǎng)產(chǎn)品，用的人越多，得到的數(shù)據(jù)越多；得到的數(shù)據(jù)越多，模型訓(xùn)練得越好，產(chǎn)品會(huì)變得更好用，用的人就會(huì)更多……進(jìn)入良性循環(huán)（漣漪效益）。對(duì)于一個(gè)新產(chǎn)品，在初期要面臨數(shù)據(jù)不足的冷啟動(dòng)問(wèn)題。
（4）泛化能力問(wèn)題：訓(xùn)練數(shù)據(jù)不能全面、均衡地代表真實(shí)數(shù)據(jù)。
（5）模型抽象困難：總結(jié)歸納實(shí)際問(wèn)題中的數(shù)學(xué)表示非常困難。
（6）模型評(píng)估困難：在很多實(shí)際問(wèn)題中，很難形式化地、定量地評(píng)估一個(gè)模型的結(jié)果是好還是不好。
（7）尋找最優(yōu)解困難：要解決的實(shí)際問(wèn)題非常復(fù)雜，將其形式化后的目標(biāo)函數(shù)也非常復(fù)雜，往往在目前還不存在一個(gè)有效的算法能找到目標(biāo)函數(shù)的最優(yōu)值。
（8）可擴(kuò)展性是互聯(lián)網(wǎng)的核心問(wèn)題之一。搜索引擎索引的重要網(wǎng)頁(yè)超過(guò)100億：如果1臺(tái)機(jī)器每秒處理1 000個(gè)網(wǎng)頁(yè)，需要至少100天。所以出現(xiàn)了MapReduce、MPI、Spark、Pegasus、Pregel、Hama等分布式計(jì)算構(gòu)架。選擇什么樣的計(jì)算平臺(tái)，與算法設(shè)計(jì)緊密相關(guān)。
（9）速度是互聯(lián)網(wǎng)核心的用戶體驗(yàn)。線下模型訓(xùn)練可以花費(fèi)很長(zhǎng)時(shí)間，如Google某個(gè)模型更新一次需要幾千臺(tái)機(jī)器，大約訓(xùn)練半年時(shí)間。但是，線上使用模型時(shí)要求一定要“快，并且實(shí)時(shí)”。
（10）在線學(xué)習(xí)：互聯(lián)網(wǎng)每時(shí)每刻都在產(chǎn)生大量新數(shù)據(jù)，要求模型隨之不停更新，所以在線學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要研究方向。

機(jī)器學(xué)習(xí)發(fā)展的啟示
“機(jī)器學(xué)習(xí)”在其十年的黃金發(fā)展期，機(jī)器學(xué)習(xí)界并沒(méi)有過(guò)多地炒作“智能”或者“認(rèn)知”，而是關(guān)注于引入統(tǒng)計(jì)學(xué)等來(lái)建立學(xué)科的理論基礎(chǔ)，面向數(shù)據(jù)分析與處理，以無(wú)監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)為兩大主要的研究問(wèn)題，提出和開(kāi)發(fā)了一系列模型、方法和計(jì)算算法等，切實(shí)地解決了工業(yè)界所面臨的一些實(shí)際問(wèn)題。因?yàn)榇髷?shù)據(jù)的驅(qū)動(dòng)和計(jì)算能力的極大提升，一批面向機(jī)器學(xué)習(xí)的底層架構(gòu)先后被開(kāi)發(fā)出來(lái)。神經(jīng)網(wǎng)絡(luò)其實(shí)在20世紀(jì)80年代末或90年代初就被廣泛研究，但后來(lái)沉寂了。而基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)強(qiáng)勢(shì)崛起，給工業(yè)界帶來(lái)了深刻的變革和機(jī)遇。深度學(xué)習(xí)的成功不是源自腦科學(xué)或認(rèn)知科學(xué)的進(jìn)展，而是因?yàn)榇髷?shù)據(jù)的驅(qū)動(dòng)和計(jì)算能力的極大提升。
機(jī)器學(xué)習(xí)的發(fā)展詮釋了多學(xué)科交叉的重要性和必要性。然而這種交叉不是簡(jiǎn)單地彼此知道幾個(gè)名詞或概念就可以的，是需要真正融會(huì)貫通。統(tǒng)計(jì)學(xué)家弗萊德曼早期從事物理學(xué)研究，他是優(yōu)化算法大師，而且他的編程能力同樣令人贊嘆。喬丹教授既是一流的計(jì)算機(jī)學(xué)家，又是一流的統(tǒng)計(jì)學(xué)家，而他的博士專業(yè)為心理學(xué)，他能夠承擔(dān)起建立統(tǒng)計(jì)機(jī)器學(xué)習(xí)的重任。辛頓教授是世界最著名的認(rèn)知心理學(xué)家和計(jì)算機(jī)科學(xué)家。雖然他很早就成就斐然，在學(xué)術(shù)界久負(fù)盛名，但他依然始終活躍在一線，自己寫(xiě)代碼。他提出的許多想法簡(jiǎn)單、可行又非常有效，被稱為偉大的思想家。正是由于他的睿智和身體力行，深度學(xué)習(xí)技術(shù)迎來(lái)了革命性的突破。這些學(xué)者非常務(wù)實(shí)，從不提那些空洞無(wú)物的概念和框架。他們遵循自下而上的方式，從具體問(wèn)題、模型、方法、算法等著手，一步一步實(shí)現(xiàn)系統(tǒng)化。
可以說(shuō)機(jī)器學(xué)習(xí)是由學(xué)術(shù)界、工業(yè)界、創(chuàng)業(yè)界（或競(jìng)賽界）等合力造就的。學(xué)術(shù)界是引擎，工業(yè)界是驅(qū)動(dòng)，創(chuàng)業(yè)界是活力和未來(lái)。學(xué)術(shù)界和工業(yè)界應(yīng)該有各自的職責(zé)和分工。學(xué)術(shù)界的職責(zé)在于建立和發(fā)展機(jī)器學(xué)習(xí)學(xué)科，培養(yǎng)機(jī)器學(xué)習(xí)領(lǐng)域的專門(mén)人才；而大項(xiàng)目、大工程更應(yīng)該由市場(chǎng)來(lái)驅(qū)動(dòng)，由工業(yè)界來(lái)實(shí)施和完成。
本書(shū)內(nèi)容包括機(jī)器學(xué)習(xí)概述、決策樹(shù)學(xué)習(xí)、多層感知器、維度約簡(jiǎn)、支持向量機(jī)、無(wú)監(jiān)督學(xué)習(xí)、概率圖模型、強(qiáng)化學(xué)習(xí)、深度學(xué)習(xí)。除包括基本概念、基本知識(shí)外，每章均包括相關(guān)技術(shù)的應(yīng)用概述及典型應(yīng)用案例。
本書(shū)適合作為高等院校人工智能、數(shù)據(jù)科學(xué)與大數(shù)據(jù)、計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程等計(jì)算機(jī)類專業(yè)的本科生及研究生“機(jī)器學(xué)習(xí)”課程的教材，也可作為機(jī)器學(xué)習(xí)各類培訓(xùn)用書(shū)和愛(ài)好者的參考書(shū)。
賁可榮、魏娜撰寫(xiě)第1、2、3、5、9章及第6��6節(jié)，張獻(xiàn)參與第9章的撰寫(xiě)。其余章節(jié)（含第2��5節(jié)）由袁景凌老師撰寫(xiě)，董建升、丁遠(yuǎn)遠(yuǎn)、曹陽(yáng)、肖嵩參加了部分案例編寫(xiě)。賁可榮組織了本書(shū)編寫(xiě)，并撰寫(xiě)前言。南京大學(xué)徐潔磐教授審閱了全書(shū)，并提出寶貴意見(jiàn)，特此致謝。最后感謝參考文獻(xiàn)的所有作者。
由于時(shí)間倉(cāng)促及編者水平所限，必定存在許多不足，懇請(qǐng)讀者批評(píng)指正，將不勝感謝。
編者2019年11月