作者：Rockelbel，兩年互聯(lián)網(wǎng)PM，AI轉(zhuǎn)型學(xué)習(xí)中，偏好NLP方向

這是AI產(chǎn)品經(jīng)理系列的第一篇文章，約6千字，主要內(nèi)容為機(jī)器學(xué)習(xí)的幾大分類及其基本內(nèi)涵，后續(xù)我會(huì)補(bǔ)充關(guān)于AI的應(yīng)用場景、相關(guān)技術(shù)領(lǐng)域（如計(jì)算機(jī)視覺、自然語言處理等）的總結(jié)。由于目前正在學(xué)習(xí)，比較嚴(yán)謹(jǐn)?shù)牟糠治叶加谜男问讲⒆⒚髁藖碓础?/p>

一、AI的前世今生

1.AI的誕生

1936年，阿蘭圖靈發(fā)表《論數(shù)字計(jì)算在決斷難題中的應(yīng)用》，提出一種抽象的計(jì)算模型——圖靈機(jī)，論文英文標(biāo)題為《On Computable Numbers, with an Application to the Entscheidungsproblem》

1950年，圖靈發(fā)表論文《計(jì)算機(jī)器與智能》，提出著名的“圖靈測試”，不僅如此，其論文中提到的“機(jī)器學(xué)習(xí)”、“遺傳算法”、“強(qiáng)化學(xué)習(xí)”等理論，成為了日后人工智能領(lǐng)域的重要分支。

（圖靈的這兩篇文章都可以在網(wǎng)上找到原文，感興趣的可以去讀讀，對圖靈感興趣的推薦《圖靈的秘密：他的生平、思想及論文解讀》以及電影《模擬游戲》。

關(guān)于圖靈測試，《科學(xué)的極致：漫談人工智能》中給了一個(gè)非常有意思的描述。）

1956年達(dá)特茅斯會(huì)議：AI概念誕生，1956被稱為人工智能元年。參與會(huì)議的幾人如John McCarthy、Marvin Minsky，他們的研究對人工智能的發(fā)展有著深遠(yuǎn)的影響。

達(dá)特茅斯會(huì)議與會(huì)者50年后重聚

2.AI的三大門派

符號(hào)主義：計(jì)算機(jī)始于數(shù)理邏輯，使用符號(hào)的方式來研究智能推理。代表成果是1957年的數(shù)學(xué)定理證明程序LT（證明了38條數(shù)學(xué)定理），隨后相繼出現(xiàn)了啟發(fā)式算法->專家系統(tǒng)->知識(shí)工程理論與技術(shù)。其中專家系統(tǒng)的成功開發(fā)與應(yīng)用，為人工智能走向工程應(yīng)用和實(shí)現(xiàn)理論聯(lián)系實(shí)際具有特別重要的意義。

連接主義：基于神經(jīng)元網(wǎng)絡(luò)和深度學(xué)習(xí)，仿照人類的神經(jīng)元，用計(jì)算機(jī)來呈現(xiàn)人的神經(jīng)模型從而仿造智能，包括現(xiàn)在很火的神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)。首先出現(xiàn)了以感知機(jī)(perceptron)為代表的腦模型研究的短暫熱潮，隨著多層網(wǎng)絡(luò)中的反向傳播算法（即BP算法）的提出，連接主義開始爆發(fā)，目前所經(jīng)歷的這場AI熱潮正是連接主義的主場。

行為主義：核心是控制論，而控制論的核心是負(fù)反饋調(diào)節(jié)，其認(rèn)為可以通過不斷的反饋-調(diào)整實(shí)現(xiàn)進(jìn)化計(jì)算從而達(dá)到智能。早期的研究工作重點(diǎn)是模擬人在控制過程中的智能行為和作用，如自尋優(yōu)、自適應(yīng)、自鎮(zhèn)定、自組織和自學(xué)習(xí)等控制論系統(tǒng)，并進(jìn)行“控制論動(dòng)物”的研制。

3.AI的第一次發(fā)展熱潮（1956-1976）

關(guān)鍵詞：符號(hào)主義、早期推理系統(tǒng)、早期神經(jīng)網(wǎng)絡(luò)（連接主義）、專家系統(tǒng)

這次浪潮的核心是符號(hào)主義，圖靈提出圖靈測試的概念后，數(shù)學(xué)證明系統(tǒng)、知識(shí)推理系統(tǒng)、專家系統(tǒng)相繼取得較大的突破，然而受限于計(jì)算機(jī)性能和算法理論，無法取得更大的突破。

連接主義Minsky發(fā)表了文章《K-lines: A Theory of Memory》基本上否定了神經(jīng)網(wǎng)絡(luò)大規(guī)模學(xué)習(xí)的能力。在這篇文章影響下，符號(hào)主義和連接主義基本上陷入消沉。

4.AI的第二次熱潮（1976-2006）

關(guān)鍵詞：統(tǒng)計(jì)學(xué)派、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)

符號(hào)主義沒有再興起，連接主義重獲新生。幾個(gè)重要的進(jìn)展：自組織網(wǎng)絡(luò)、感知機(jī)（最簡單的神經(jīng)元網(wǎng)絡(luò)）、反向傳播網(wǎng)絡(luò)（BackPropagation，即著名的BP網(wǎng)絡(luò)，可以說這次人工智能浪潮的奠基石）

1986年提出的一個(gè)兩層神經(jīng)元網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）

5.AI的第三次熱潮

關(guān)鍵詞：大數(shù)據(jù)、深度學(xué)習(xí)、AlphaGo

連接主義盛行，數(shù)據(jù)、算法和算力多方面的進(jìn)步，深度學(xué)習(xí)取得突破。第二次和第三次浪潮都是以連接主義為核心，區(qū)別是深度學(xué)習(xí)的成功。此外有兩個(gè)重要的因素——硬件的進(jìn)步（CPU/GPU參考摩爾定律）、卷積神經(jīng)網(wǎng)絡(luò)模型和參數(shù)調(diào)整技巧的進(jìn)步（合適的參數(shù)與神經(jīng)模型可以大大增大收斂速度，縮小模型訓(xùn)練時(shí)間）。

6.AI的內(nèi)涵

什么是AI？很多書籍、很多名人大牛都給過他們的見解，我這幾摘抄幾句。

維基百科對AI的解釋：Artificial intelligence?(AI, also?machine intelligence,?MI) is?intelligence demonstrated by machines, in contrast to the?natural intelligence(NI) displayed by humans and other animals.

人工智能的定義

AI的不同層次：弱人工智能、強(qiáng)人工智能、超人工智能

AI的不同層次

7.AI的社會(huì)影響

產(chǎn)業(yè)變革、失業(yè)和社會(huì)保障問題、貧富差距問題、地區(qū)發(fā)展不均衡問題、產(chǎn)業(yè)結(jié)構(gòu)問題、服務(wù)業(yè)變革、教育、人機(jī)協(xié)同時(shí)代的個(gè)人成長。

二、AI的技術(shù)體系

1.數(shù)學(xué)基礎(chǔ)

關(guān)鍵詞：微積分、線性代數(shù)、概率論、信息論、集合論和圖論、博弈論

相信很多人開始想學(xué)習(xí)AI，網(wǎng)上都會(huì)推薦吳恩達(dá)教授的機(jī)器學(xué)習(xí)視頻，看過視頻的會(huì)知道，其中涉及到的數(shù)學(xué)知識(shí)其實(shí)很有限，主要是線性代數(shù)的知識(shí)。

在上面解釋AI定義的一張圖中，展示了與AI相關(guān)聯(lián)的眾多學(xué)科，不過從產(chǎn)品的角度來說，并不是要求每一個(gè)領(lǐng)域都要精通，知其然即可，當(dāng)然知識(shí)是多多益善啦。

2.計(jì)算機(jī)基礎(chǔ)

關(guān)鍵詞：計(jì)算機(jī)原理、程序設(shè)計(jì)語言、操作系統(tǒng)、分布式系統(tǒng)、算法原理

這部分屬于“產(chǎn)品經(jīng)理需要懂的技術(shù)知識(shí)”，前面幾點(diǎn)不論是互聯(lián)網(wǎng)PM還是AI PM都應(yīng)該有一定的了解。對于算法，AI PM可能需要有更深的理解，因?yàn)樗慕巧ㄎ缓懿粌H是產(chǎn)品的跟進(jìn)管理等等，可能需要根據(jù)實(shí)際的目標(biāo)效果去優(yōu)化算法模型。不一定要會(huì)敲代碼去實(shí)現(xiàn)算法，但是要知道算法是如何運(yùn)作的，比如CNN的幾個(gè)層分別起什么作用、最大值池化和均值池化有什么區(qū)別？

關(guān)于算法這部分，推薦幾本書，《終極算法》、《算法圖解》（介紹了比較常見的一些算法，語言主要是容易理解）、《算法神探》（用小說的口吻去介紹算法，略牽強(qiáng)，易理解）、《算法導(dǎo)論》（經(jīng)典，看完需要毅力）

3.機(jī)器學(xué)習(xí)

提到機(jī)器學(xué)習(xí)，那么肯定繞不過吳恩達(dá)教授的教學(xué)視頻，不多說，去看吧?。ㄟ@個(gè)視頻不是必經(jīng)之路，了解機(jī)器學(xué)習(xí)有很多其他途徑，只是這個(gè)視頻覆蓋算比較全，偏實(shí)際應(yīng)用，適合初學(xué)者）

機(jī)器學(xué)習(xí)是做什么的

3.1 什么是機(jī)器學(xué)習(xí)？

以下是機(jī)器學(xué)習(xí)幾個(gè)定義：

百度百科：專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。它是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑，其應(yīng)用遍及人工智能的各個(gè)領(lǐng)域，它主要使用歸納、綜合而不是演繹。

維基百科：Machine learning?is a field of?computer science that gives computer systems?the ability to "learn" (i.e. progressively improve performance on a specific task) with data, without being explicitly programmed.——ArthurSamuel (1959)

通俗的說，機(jī)器學(xué)習(xí)就是讓機(jī)器自己去學(xué)習(xí)，通過學(xué)習(xí)到的知識(shí)來指導(dǎo)進(jìn)一步的判斷。我們用大量的帶標(biāo)簽的樣本數(shù)據(jù)來讓機(jī)器進(jìn)行運(yùn)算，并設(shè)計(jì)損失函數(shù)，通過不斷的迭代，計(jì)算機(jī)可以學(xué)會(huì)如何分類使得損失函數(shù)最小。這些學(xué)習(xí)到的分類可以用來進(jìn)行預(yù)測，具體應(yīng)用覆蓋了從通用人工智能應(yīng)用到專業(yè)人工智能應(yīng)用的大多數(shù)領(lǐng)域。（極客研報(bào)）

我們常用的Exel中利用散點(diǎn)圖來進(jìn)行回歸預(yù)測，這實(shí)際上就是一種機(jī)器學(xué)習(xí)。

機(jī)器學(xué)習(xí)與人腦思考的對比，圖片來自網(wǎng)絡(luò)

3.2 機(jī)器學(xué)習(xí)的分類

關(guān)于機(jī)器學(xué)習(xí)的分類，目前主流的幾類如下：

機(jī)器學(xué)習(xí)分類

（1）監(jiān)督學(xué)習(xí)（Supervised Learning）

從已標(biāo)注的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)模型，輸入一組未標(biāo)注的數(shù)據(jù)時(shí)，可以根據(jù)訓(xùn)練好的模型預(yù)測結(jié)果。監(jiān)督學(xué)習(xí)的訓(xùn)練集要包括輸入和預(yù)期輸出，預(yù)期輸出由人手動(dòng)通過標(biāo)簽進(jìn)行標(biāo)注，也就是“監(jiān)督”。

監(jiān)督學(xué)習(xí)算法分為兩大類——回歸分析、分類。處理離散型數(shù)值時(shí)，選擇分類算法；處理連續(xù)性數(shù)值，則選擇回歸算法。

回歸分析任務(wù)(Regression Analysis)

回歸是一種統(tǒng)計(jì)學(xué)的數(shù)據(jù)分析方法，目的在于了解兩個(gè)或多個(gè)變量間是否相關(guān)、相關(guān)強(qiáng)度，并建立數(shù)學(xué)模型進(jìn)行預(yù)測。回歸任務(wù)包括線性回歸、多項(xiàng)式回歸、嶺回歸等。

舉例說明，數(shù)據(jù)集二維平面上的一系列點(diǎn)，訓(xùn)練得到數(shù)學(xué)模型Y=f(X)，則函數(shù)Y即為數(shù)據(jù)的標(biāo)簽，對于測試集內(nèi)的數(shù)據(jù)，通過模型運(yùn)算即可得到標(biāo)簽Y。

分類學(xué)習(xí)(Classification)

輸入：一組已標(biāo)注的訓(xùn)練數(shù)據(jù)，標(biāo)簽為這些數(shù)據(jù)所屬的類別（2個(gè)或多個(gè)）

輸出：根據(jù)訓(xùn)練集數(shù)據(jù)，訓(xùn)練出合適模型參數(shù)，學(xué)習(xí)出一個(gè)適合這些數(shù)據(jù)與對應(yīng)分類的分類器，使用這個(gè)分類器即可對未知的數(shù)據(jù)進(jìn)行類別判斷。

一般來說，我們要訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)模型前，首先要有一定量的已標(biāo)注的數(shù)據(jù)，為了評(píng)估訓(xùn)練模型的學(xué)習(xí)能力，數(shù)據(jù)集通常會(huì)分為兩個(gè)部分，訓(xùn)練集和測試集。訓(xùn)練集（training set）是用來訓(xùn)練模型的已標(biāo)注數(shù)據(jù)（隨機(jī)抽選約70%），剩下的已標(biāo)注數(shù)據(jù)作為測試集，用來評(píng)估模型的好壞。通常先隱藏標(biāo)簽，把測試集數(shù)據(jù)傳給訓(xùn)練好的模型進(jìn)行分類，將分類的結(jié)果與真實(shí)標(biāo)簽對比即可。

那么，如何評(píng)價(jià)分類模型的成果呢？召回率（Recall）+準(zhǔn)確率（Precision）。

下面這張圖，相信很多人看到過。解釋一下，矩形區(qū)域是樣本，有標(biāo)注為正類和負(fù)類兩種數(shù)據(jù)，圓形區(qū)域?yàn)轭A(yù)測為正類的區(qū)域，顯然綠色區(qū)域是預(yù)測正確的，簡稱TP；紅色區(qū)域預(yù)測錯(cuò)誤，簡稱FP；圓形外的區(qū)域即為預(yù)測為負(fù)類的數(shù)據(jù)，F(xiàn)N和TN也同理。

召回率和準(zhǔn)確率的概念

精確率，又稱查準(zhǔn)率，是針對預(yù)測結(jié)果而言，表示預(yù)測為正的樣本中有多少是預(yù)測正確的。

精確率= TP/(TP+FP)

召回率，又稱查全率，是針對全部樣本而言，表示樣本中的正類有多少是預(yù)測正確的。

召回率= TP/(TP+FN)

（注意：預(yù)測為正類和預(yù)測正確容易混淆）

理想情況下。希望模型精確率和召回率均越高越好，但某些情況下這兩個(gè)數(shù)值時(shí)有矛盾的。

因此實(shí)際還會(huì)需要參考一些其他的指標(biāo)：F值（F-Measure）、ROC、AUC。感興趣的可以去查閱一下。點(diǎn)擊跳轉(zhuǎn)

監(jiān)督學(xué)習(xí)常用算法：K-近鄰算法（KNN，分類數(shù)據(jù)最簡單最有效的算法）、樸素貝葉斯算法（基于概率論的分類法）、支持向量機(jī)（SVM）、決策樹、人工神經(jīng)網(wǎng)絡(luò)(ANN)

（2）無監(jiān)督學(xué)習(xí)（Unsupervised Learning）

與監(jiān)督學(xué)習(xí)相比，無監(jiān)督學(xué)習(xí)最大的特點(diǎn)是訓(xùn)練樣本是沒有標(biāo)簽的（或者有著相同的標(biāo)簽），機(jī)器需要自己發(fā)現(xiàn)數(shù)據(jù)集內(nèi)在的結(jié)構(gòu)性知識(shí)。無監(jiān)督學(xué)習(xí)中常見的應(yīng)用是聚類和降維，此外還有異常檢測和自編碼網(wǎng)絡(luò)（AutoEncoder）。

聚類(Clustering)

聚類指面對大量未標(biāo)注的數(shù)據(jù)，根據(jù)其內(nèi)在“相關(guān)性”把數(shù)據(jù)分為幾個(gè)不同的類別，目標(biāo)是使類別內(nèi)的相關(guān)性大，類別間的相關(guān)性小。度量其“相關(guān)性”常見的幾種標(biāo)準(zhǔn)：歐氏距離（空間中兩點(diǎn)的距離）、曼哈頓距離、馬氏距離、夾角余弦。

衡量聚類算法優(yōu)劣的標(biāo)準(zhǔn)（摘自知乎清華大學(xué)數(shù)據(jù)科學(xué)研究院）：

1）處理大的數(shù)據(jù)集的能力；

2）處理任意形狀，包括有間隙的嵌套的數(shù)據(jù)的能力；

3）算法處理的結(jié)果與數(shù)據(jù)輸入的順序是否相關(guān)，也就是說算法是否獨(dú)立于數(shù)據(jù)輸入順序；

4）處理數(shù)據(jù)噪聲的能力；

5）是否需要預(yù)先知道聚類個(gè)數(shù)，是否需要用戶給出領(lǐng)域知識(shí)；

6）算法處理有很多屬性數(shù)據(jù)的能力，也就是對數(shù)據(jù)維數(shù)是否敏感。

無監(jiān)督學(xué)習(xí)或者聚類算法有著廣泛的應(yīng)用，它可以用于組織大型計(jì)算機(jī)集群（識(shí)別適合協(xié)同工作的機(jī)器）、社交網(wǎng)絡(luò)的分析（自動(dòng)給出朋友分組）、市場分割（把顧客劃分到不同的細(xì)分市場）、天文數(shù)據(jù)分析等等。

聚類算法有很多種，層次式聚類方法、劃分式聚類方法（K-means）、基于密度、基于網(wǎng)絡(luò)等等，關(guān)于具體實(shí)現(xiàn)，這里不贅述。推薦一個(gè)python第三方庫sklearn，里面包含了多種聚類算法的實(shí)現(xiàn)。

降維(DimensionReduction)

大家可能聽過一個(gè)名詞——維數(shù)災(zāi)難(Curse of Dimensionality)，即在涉及到向量的計(jì)算的問題中，隨著維數(shù)的增加，計(jì)算量會(huì)呈指數(shù)倍增長。在機(jī)器學(xué)習(xí)中，一些多維信號(hào)的處理，若直接用于識(shí)別的計(jì)算，計(jì)算量極大。如圖像的處理，每個(gè)像素就是一個(gè)維度，直接計(jì)算難度極大，因此需要對數(shù)據(jù)進(jìn)行降維處理。

降維算法的分類

上圖所示的降維算法，像LDA是屬于監(jiān)督學(xué)習(xí)的范疇，PCA、MDS等屬于非監(jiān)督學(xué)習(xí)，其中PCA（主成分分析）應(yīng)該是最著名的一個(gè)降維算法了。

降維和聚類并不是獨(dú)立分開的，對大量的數(shù)據(jù)進(jìn)行聚類時(shí)，第一步常常是進(jìn)行降維，然后進(jìn)行后續(xù)的步驟。此外為了數(shù)據(jù)的可視化，常常也需要降維操作。

異常檢測（Anomaly Detection）

異常檢測主要用于無監(jiān)督學(xué)習(xí)，用于發(fā)現(xiàn)可能不應(yīng)該屬于一個(gè)已定義的組中的數(shù)據(jù)。（實(shí)際上，監(jiān)督的異常檢測和半監(jiān)督的異常檢測也是有的，可以看下這篇文章：點(diǎn)擊跳轉(zhuǎn)）

常用異常檢測算法類型：基于模型的統(tǒng)計(jì)學(xué)方法、基于鄰近度的離群點(diǎn)檢測、基于密度的離群點(diǎn)檢測、基于聚類的技術(shù)。

異常檢測主要的難點(diǎn)或挑戰(zhàn)（參考文章）：

1）難以定義一個(gè)涵蓋所有正常行為的規(guī)則

2）某些異常行為為了不被發(fā)現(xiàn)常常表現(xiàn)得和正常行為很像

3）在許多領(lǐng)域正常行為也是不斷變化的，現(xiàn)在的正常行為不代表以后也是正常的

4）用于訓(xùn)練的標(biāo)記數(shù)據(jù)的可用性是一個(gè)重要因素

5）數(shù)據(jù)異常難以檢測和區(qū)分

異常檢測這部分我沒有仔細(xì)去了解，先留下兩篇文章供參考：

Stanford機(jī)器學(xué)習(xí)---第十一講.異常檢測

機(jī)器學(xué)習(xí)之異常檢測

生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks）

大概16年7月份的時(shí)候，一款國外的app火便了全世界——Prisma。Prisma可以按照你提供的圖片內(nèi)容和指定的風(fēng)格，生成一副指定風(fēng)格的照片，其背后的技術(shù)就是GAN。

Prisma app轉(zhuǎn)換圖像風(fēng)格

GAN是無監(jiān)督中最有前景的發(fā)展之一，目前多應(yīng)用在圖像生成領(lǐng)域，關(guān)于它的應(yīng)用前景，可參考這個(gè)知乎問題：生成式對抗網(wǎng)絡(luò)GAN有哪些最新的發(fā)展

（3）半監(jiān)督學(xué)習(xí)(Semi-supervised Learning)

半監(jiān)督學(xué)習(xí)，顧名思義就是在監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)之間的領(lǐng)域，其目標(biāo)是解決監(jiān)督學(xué)習(xí)中未標(biāo)注數(shù)據(jù)和無監(jiān)督學(xué)習(xí)中已標(biāo)注數(shù)據(jù)的使用問題，使數(shù)據(jù)最大化被利用。

前面說到在監(jiān)督學(xué)習(xí)中，需要大量帶人工標(biāo)注的數(shù)據(jù)，無標(biāo)注的數(shù)據(jù)是不可用的。但是在很多實(shí)際問題中，只有少量數(shù)據(jù)是帶標(biāo)簽的，對剩余的數(shù)據(jù)進(jìn)行標(biāo)注往往成本太高。不過未標(biāo)注和已標(biāo)注的數(shù)據(jù)都是從同樣的數(shù)據(jù)源獨(dú)立分布采樣而來，可以首先對數(shù)據(jù)做一個(gè)假設(shè)，聚類假設(shè)或流形假設(shè)。

聚類假設(shè)(Cluster Assumption)

聚類假設(shè)是指處在相同聚類中的示例有較大的可能擁有相同的標(biāo)記。根據(jù)該假設(shè)，決策邊界就應(yīng)該盡量通過數(shù)據(jù)較為稀疏的地方，從而避免把稠密的聚類中的數(shù)據(jù)點(diǎn)分到?jīng)Q策邊界兩側(cè)。在這一假設(shè)下，大量未標(biāo)記示例的作用就是幫助探明示例空間中數(shù)據(jù)分布的稠密和稀疏區(qū)域，從而指導(dǎo)學(xué)習(xí)算法對利用有標(biāo)記示例學(xué)習(xí)到的決策邊界進(jìn)行調(diào)整，使其盡量通過數(shù)據(jù)分布的稀疏區(qū)域。

流形假設(shè)(Manifold Assumption)

流形假設(shè)是指處于一個(gè)很小的局部鄰域內(nèi)的示例具有相似的性質(zhì)，因此，其標(biāo)記也應(yīng)該相似。這一假設(shè)反映了決策函數(shù)的局部平滑性。和聚類假設(shè)著眼整體特性不同，流形假設(shè)主要考慮模型的局部特性。在該假設(shè)下，大量未標(biāo)記示例的作用就是讓數(shù)據(jù)空間變得更加稠密，從而有助于更加準(zhǔn)確地刻畫局部區(qū)域的特性，使得決策函數(shù)能夠更好地進(jìn)行數(shù)據(jù)擬合

相關(guān)閱讀：淺談流行假設(shè)

（4）強(qiáng)化學(xué)習(xí)（Reinforcement Learning）

從Alpha Go到Alpha Zero，其核心就是深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)，強(qiáng)化學(xué)習(xí)在控制和游戲領(lǐng)域應(yīng)用十分廣泛。

強(qiáng)化學(xué)習(xí)就是程序或智能體(agent)通過與環(huán)境不斷地進(jìn)行交互學(xué)習(xí)一 個(gè)從環(huán)境到動(dòng)作的映射，學(xué)習(xí)的目標(biāo)就是使累計(jì)回報(bào)最大化。（關(guān)于智能Agent的描述，強(qiáng)烈推薦閱讀《人工智能：一種現(xiàn)代方法》第三版，后續(xù)我也會(huì)總結(jié)一篇文章）

強(qiáng)化學(xué)習(xí)、監(jiān)督和半監(jiān)督的區(qū)別

監(jiān)督學(xué)習(xí)可以學(xué)習(xí)從輸入到輸出之間的一個(gè)映射，學(xué)習(xí)數(shù)據(jù)之間的結(jié)構(gòu)關(guān)系，非監(jiān)督學(xué)習(xí)學(xué)習(xí)的是從輸入到輸出的模式。強(qiáng)化學(xué)習(xí)同樣是學(xué)習(xí)從輸入到輸出的映射，不同的是強(qiáng)化學(xué)習(xí)模型輸出的是獎(jiǎng)勵(lì)函數(shù)（reward function），判斷這個(gè)行為是優(yōu)是劣。需要注意的是，獎(jiǎng)勵(lì)函數(shù)是一種強(qiáng)化信號(hào)，強(qiáng)化信號(hào)是對機(jī)器行為的好壞的一種評(píng)價(jià)，而不是告訴強(qiáng)化學(xué)習(xí)系統(tǒng)如何去產(chǎn)生正確的動(dòng)作。

基本原理：如果Agent的某個(gè)行為策略導(dǎo)致環(huán)境正的獎(jiǎng)賞(強(qiáng)化信號(hào))，那么Agent以后產(chǎn)生這個(gè)行為策略的趨勢便會(huì)加強(qiáng)。Agent的目標(biāo)是在每個(gè)離散狀態(tài)發(fā)現(xiàn)最優(yōu)策略以使期望的折扣獎(jiǎng)賞和最大。

常用算法：馬爾可夫決策過程(Markov Decision Process) 、蒙特卡洛強(qiáng)化學(xué)習(xí)、Q-learning算法

更多內(nèi)容可以閱讀這篇文章：一文了解強(qiáng)化學(xué)習(xí)

（5）深度學(xué)習(xí)(Deep Learning)

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知機(jī)是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

一個(gè)簡單的神經(jīng)網(wǎng)絡(luò)模型

深度學(xué)習(xí)的幾個(gè)基本概念：激活函數(shù)、卷積、pooling、dropout、BP神經(jīng)網(wǎng)絡(luò)、CNN、RNN、LSTM、前饋神經(jīng)網(wǎng)絡(luò)、正則化、最大似然估計(jì)和貝葉斯統(tǒng)計(jì)、過擬合、KNN和SVM

關(guān)于深度學(xué)習(xí)如CNN和RNN，這里先不詳細(xì)描述，后續(xù)會(huì)結(jié)合具體的應(yīng)用技術(shù)再詳細(xì)介紹，如人臉識(shí)別中CNN的應(yīng)用。

• 感謝閱讀，文中不嚴(yán)謹(jǐn)或疏漏之處還請見諒，歡迎討論。
• 有共同興趣的可以加我的微信（ID：Bernando2014）或者關(guān)注我的簡書主頁：蒲公英
• 轉(zhuǎn)載請注明文章來源，本文首次發(fā)布于簡書-蒲公英。