濟(jì)學(xué)家應(yīng)該了解的機(jī)器學(xué)習(xí)方法


伯克利加州大學(xué)的統(tǒng)計(jì)學(xué)家布雷曼在2001年的《統(tǒng)計(jì)科學(xué)》上發(fā)表了一篇頗有挑釁性的論文，談及統(tǒng)計(jì)學(xué)中以模型為基礎(chǔ)的方法和以算法為基礎(chǔ)的方法的區(qū)別：利用統(tǒng)計(jì)建模從數(shù)據(jù)中得出結(jié)論，這里有兩種文化：一種假設(shè)數(shù)據(jù)從給定的隨機(jī)模型中產(chǎn)生；另一種則利用算法模型，把數(shù)據(jù)機(jī)制作為未知來考慮。布雷曼接著指出：過去，統(tǒng)計(jì)學(xué)界基本上只使用數(shù)據(jù)模型，這種偏執(zhí)導(dǎo)致了無效的理論和受質(zhì)疑的結(jié)論，并讓統(tǒng)計(jì)學(xué)家們難以處理各種有趣的現(xiàn)實(shí)問題。而算法模型從理論和實(shí)踐看都在統(tǒng)計(jì)學(xué)領(lǐng)域之外獲得了飛速發(fā)展，既能用于復(fù)雜的大數(shù)據(jù)庫，也能給較小的數(shù)據(jù)庫提供不同于數(shù)據(jù)模型的更為精確和有效的分析工具。如果統(tǒng)計(jì)學(xué)界把利用數(shù)據(jù)解決問題作為自己的目標(biāo)，那我們就應(yīng)該超越對(duì)數(shù)據(jù)模型的單純依賴，接受更加豐富多樣的研究工具。布雷曼當(dāng)時(shí)的總結(jié)已不再適用于如今的統(tǒng)計(jì)學(xué)界。這個(gè)領(lǐng)域已廣泛接受了機(jī)器學(xué)習(xí)（ML）的革命方法，即他所說的算法模型文化，并且許多教科書把機(jī)器學(xué)習(xí)方法同更加傳統(tǒng)的統(tǒng)計(jì)學(xué)方法放在一起討論。雖然這些方法在經(jīng)濟(jì)學(xué)中的應(yīng)用要慢一些，但如今也開始在實(shí)證分析中廣泛出現(xiàn)，成為快速增加的方法論研究文獻(xiàn)的主題之一。我們希望在這篇評(píng)論文章中指出，正如布雷曼對(duì)統(tǒng)計(jì)學(xué)界的評(píng)論那樣，經(jīng)濟(jì)學(xué)家和計(jì)量經(jīng)濟(jì)學(xué)家也“應(yīng)該超越對(duì)數(shù)據(jù)模型的單純依賴，接受更加豐富多樣的研究工具”。我們將介紹對(duì)實(shí)證研究者有用的某些工具，并認(rèn)為這些工具應(yīng)該成為計(jì)量經(jīng)濟(jì)學(xué)標(biāo)準(zhǔn)研究生課程的組成部分，因?yàn)槲覀冑澩�布雷曼的看法“把利用�?shù)據(jù)解決問題作為自己的目標(biāo)”，同時(shí)我們認(rèn)為計(jì)量經(jīng)濟(jì)學(xué)的本質(zhì)就是在不確定情況下的決策，而且希望學(xué)生們能夠同經(jīng)常采用算法模型等方法的其他領(lǐng)域的學(xué)者有效開展交流。機(jī)器學(xué)習(xí)研究文獻(xiàn)中發(fā)展出來的方法具有普遍適用價(jià)值，尤其擅長處理大數(shù)據(jù)的情形：我們?cè)诖罅繂卧�上觀測(cè)到信息，或者每個(gè)單元上包含許多條信息，而且經(jīng)常超出單一橫截面數(shù)據(jù)的簡單情形。對(duì)于此類情形，機(jī)器學(xué)習(xí)正在成為各類學(xué)科共同采用的標(biāo)準(zhǔn)研究方法。因此，經(jīng)濟(jì)學(xué)家的工具庫在保留傳統(tǒng)應(yīng)用計(jì)量方法的優(yōu)勢(shì)之外，也需要相應(yīng)地與時(shí)俱進(jìn)。
相比更廣泛的統(tǒng)計(jì)學(xué)界，經(jīng)濟(jì)學(xué)領(lǐng)域?qū)�機(jī)器學(xué)習(xí)方法的采用為什么慢很多？很大一部分原因或許來自布雷曼所說的文化。經(jīng)濟(jì)學(xué)期刊看重的研究方法帶有某些規(guī)范特性，是許多機(jī)器學(xué)習(xí)方法本身不能提供的，包括估計(jì)量和檢驗(yàn)的大樣本特征，如一致性、正態(tài)性和有效性等。與之相比，機(jī)器學(xué)習(xí)類文獻(xiàn)的關(guān)注點(diǎn)往往是算法在特定場(chǎng)景下的實(shí)用特性，其規(guī)范結(jié)果屬于另一種類型，例如對(duì)誤差率的保證等。對(duì)計(jì)量經(jīng)濟(jì)學(xué)論文傳統(tǒng)上報(bào)告的那類理論結(jié)果，機(jī)器學(xué)習(xí)文獻(xiàn)通常較少涉及，當(dāng)然近期有了某些重要突破。目前沒有規(guī)范的研究結(jié)論表明，對(duì)于監(jiān)督學(xué)習(xí)問題，深度學(xué)習(xí)或神經(jīng)網(wǎng)絡(luò)方法普遍優(yōu)于回歸樹或隨機(jī)森林方法。而且至少從短期看，這方面的比較不太可能得出一般性結(jié)論。
在許多情形下，構(gòu)建有效的大樣本置信區(qū)間的能力是重要的，但我們不應(yīng)該輕易排除無法（或暫時(shí)無法）提供此類結(jié)果卻具有其他優(yōu)勢(shì)的分析方法。這些方法在特定數(shù)據(jù)庫中展示的超越其他方法的樣本外預(yù)測(cè)能力在實(shí)踐中極具價(jià)值，然而在計(jì)量經(jīng)濟(jì)學(xué)中還很少被列為目標(biāo)或受到重視。有學(xué)者指出，某些實(shí)質(zhì)性問題被很自然地歸入預(yù)測(cè)問題，就此類情形的研究目的而言，評(píng)估測(cè)試組的擬合效果往往已經(jīng)足夠。而在其他一些情形下，一個(gè)預(yù)測(cè)問題的結(jié)果是對(duì)主要分析對(duì)象的一個(gè)輸入，不需要對(duì)超出收斂速率的預(yù)測(cè)成分做統(tǒng)計(jì)分析�？墒沁�有許多情形，我們有必要為感興趣的參數(shù)提供有效置信區(qū)間，例如對(duì)于平均干預(yù)效應(yīng)。此時(shí)，標(biāo)準(zhǔn)差或置信區(qū)間反映的不確定程度可能成為是否實(shí)施干預(yù)決策的重要參考內(nèi)容。因此我們認(rèn)為，隨著機(jī)器學(xué)習(xí)工具在未來被更加廣泛地采用，學(xué)者們需要明確闡述自己的研究目標(biāo)，以及自己采用的算法或估計(jì)量的某些特性為什么是重要的。
本文的一個(gè)主題是，雖然在某些情形下簡單地從機(jī)器學(xué)習(xí)研究文獻(xiàn)中借鑒算法可以取得效果，但在其他許多時(shí)候未必能適用。機(jī)器學(xué)習(xí)技術(shù)通常要求細(xì)致的調(diào)適，才能有效處理經(jīng)濟(jì)學(xué)家感興趣的特定問題�；蛟S最重要的調(diào)適類型是探討問題的結(jié)構(gòu)，例如許多估計(jì)對(duì)象的因果關(guān)系性質(zhì)、變量的內(nèi)生性、數(shù)據(jù)的構(gòu)造（如面板數(shù)據(jù)）、在可替代產(chǎn)品集合中做離散選擇的性質(zhì)，以及經(jīng)濟(jì)學(xué)理論施加的可信約束（例如需求在價(jià)格上表現(xiàn)出來的單調(diào)性）或其他形狀約束等（Matzkin，1994,2007）。統(tǒng)計(jì)學(xué)和計(jì)量經(jīng)濟(jì)學(xué)在傳統(tǒng)上非常強(qiáng)調(diào)這些結(jié)構(gòu)特征，并發(fā)展出了許多可加以利用的思想，而機(jī)器學(xué)習(xí)方法對(duì)此往往不重視。從實(shí)質(zhì)內(nèi)容和統(tǒng)計(jì)方法上利用好這些思想，將能夠極大地改善機(jī)器學(xué)習(xí)的效果，這跟圖像識(shí)別等特定問題中采用的機(jī)器學(xué)習(xí)的精心調(diào)適手段是相似的。還有一類調(diào)適是改變機(jī)器學(xué)習(xí)算法的最優(yōu)化標(biāo)準(zhǔn)，把因果推斷放到優(yōu)先考慮中，例如控制混雜因子，或者發(fā)現(xiàn)治療效果的異質(zhì)性等。最后，我們可以采用樣本分割方法，利用不同數(shù)據(jù)選擇模型而非估計(jì)參數(shù)，或者采用正交化方法等技術(shù)改善機(jī)器學(xué)習(xí)的估計(jì)量的表現(xiàn)，這在某些情形下可以帶來估計(jì)量的漸進(jìn)式正態(tài)性等理想特征。
本文將介紹一系列工具，我們認(rèn)為它們應(yīng)該成為實(shí)證經(jīng)濟(jì)學(xué)家工具庫的組成部分，并納入計(jì)量經(jīng)濟(jì)學(xué)研究生課程。這當(dāng)然來自主觀選擇，而且鑒于此類研究文獻(xiàn)的發(fā)展速度，相應(yīng)工具清單會(huì)快速變化。另外，我們對(duì)相關(guān)議題的討論并不很完備，只是著眼于對(duì)傳遞重要思想和見地的相關(guān)方法的簡介，并提及更全面的其他參考資料。排在我們清單上第一位的是非參數(shù)回歸，在機(jī)器學(xué)習(xí)研究文獻(xiàn)中的術(shù)語則是用監(jiān)督學(xué)習(xí)解決回歸問題。排在第二位的是介紹用于分類問題的監(jiān)督學(xué)習(xí)，與離散反應(yīng)模型中的非參數(shù)回歸密切相關(guān)，但不完全相同，可以說這是機(jī)器學(xué)習(xí)方法取得最大成功的領(lǐng)域。排在第三位的是非監(jiān)督學(xué)習(xí)，或者說聚類分析和密度估計(jì)。排在第四位的是對(duì)異質(zhì)性干預(yù)效應(yīng)的估計(jì)，以及從個(gè)體觀測(cè)特征對(duì)應(yīng)于干預(yù)方案的最優(yōu)政策選擇。排在第五位的是實(shí)驗(yàn)設(shè)計(jì)中的機(jī)器學(xué)習(xí)方法，目前老虎機(jī)方法正在帶來革命性影響，特別是在網(wǎng)絡(luò)場(chǎng)景中。排在第六位的是矩陣填充問題，包括在因果面板數(shù)據(jù)模型和消費(fèi)者離散產(chǎn)品集合選擇問題中的應(yīng)用。最后我們還將討論文本數(shù)據(jù)分析。
我們注意到，近期還有幾篇為經(jīng)濟(jì)學(xué)家而寫的關(guān)于機(jī)器學(xué)習(xí)方法的文獻(xiàn)綜述，普遍涉及比本文內(nèi)容更多的實(shí)證案例和應(yīng)用參考。例如，范里安（Varian，2014）對(duì)若干重要的機(jī)器學(xué)習(xí)方法做了高水平的討論。穆萊納森和施皮斯（Mullainathan and Spiess，2017）重點(diǎn)分析了監(jiān)督學(xué)習(xí)方法用于回歸分析的好處，以及經(jīng)濟(jì)學(xué)領(lǐng)域中適用預(yù)測(cè)方法的各種問題。阿西等人（Athey，2017）提供了廣泛的研究視角，并重點(diǎn)介紹了近期采用機(jī)器學(xué)習(xí)方法開展因果分析的進(jìn)展及其對(duì)經(jīng)濟(jì)學(xué)研究的普遍意義。根茨科等人（Gentzkow et al.，2017）出色地介紹了近期采用的文本分析方法，并側(cè)重于在經(jīng)濟(jì)學(xué)中的應(yīng)用。另外在計(jì)算機(jī)科學(xué)與統(tǒng)計(jì)學(xué)研究文獻(xiàn)中還有幾本優(yōu)秀的教科書，適合不同層次的社會(huì)科學(xué)背景的研究者參考，其中包括黑斯蒂等人從統(tǒng)計(jì)學(xué)角度提供了較為全面的參考，布爾科夫有非常易讀的入門介紹，以及阿爾佩丁和諾克斯的著作。當(dāng)然這些著作都更多地采用了計(jì)算機(jī)科學(xué)的視角。