Peter Norvig是享譽世界的計算機科學家和人工智能專家，目前任職于 Google 擔任研究總監(jiān)。他是 AAAI 和 ACM的會員，是業(yè)界內(nèi)經(jīng)典書籍《人工智能：一種現(xiàn)代方法》的作者之一。

問：Peter Norvig 究竟在谷歌做什么？

答：在谷歌總是會有新東西，這是一件很棒的事；你不能真正固守一套例行流程。每周都會有新東西，是我們對這個快節(jié)奏世界的回應；每年，我的角色都有變化。開展的新項目會隨著我的工作角色而變化。向我匯報的人已經(jīng)從兩人變成了兩百人，這意味著，有時候我對自己參與過的每一個項目都有非常清晰的技術洞察，而且有時候我有更高層次的看法，而且我必須相信我的團隊能做正確的事情。在這些情況下，我的工作角色更像是一個溝通中介和媒人——試圖解釋公司取向何方，一個特定項目如何發(fā)揮作用，以及將項目團隊介紹給合適的合作者、生產(chǎn)者和消費者，但是，如何實現(xiàn)他們的目標的細節(jié)，則由該團隊自己解決。我不編寫最后用在谷歌上的代碼，但是，如果我有一個想法，我可以使用內(nèi)部工具編寫代碼進行實驗，看看這個想法是否值得進一步仔細研究。我還做代碼審查，這既能讓我看到更多該團隊正在生產(chǎn)的代碼，也是因為總得有人去做這件事。

而且總會有會議、郵件和文檔的待辦事項要處理。谷歌的官僚作風比我曾工作過的任何地方都少，但總有一些是不可避免的。我會花一些時間參加會議、與大學和客戶進行交談，以及參加 Quora 。

問：在你的一生中，哪些人工智能演化方式，是你未曾料到的？

答：1980 年，當我開始進入這一領域時，人工智能的意思是：一個研究生用宣言式的語言寫下一些事實，然后鼓搗事實和推理機制，直到他在經(jīng)過精心挑選的一些樣本上取得好的結果，然后再寫一篇關于它的論文。

盡管直到我博士畢業(yè)，我都接受了這一框架并在其中開展研究，但我看到了這種方法中存在的三個問題：

寫下事實這個過程太慢了；

我們沒辦法處理例外的事實，或模糊性；

這個流程是不科學的——即使我們能讓它在經(jīng)過選擇的樣本上發(fā)揮作用，但在其它樣本上，它能達到多好的表現(xiàn)呢？

人工智能領域整體的發(fā)展已經(jīng)為這三個問題提供了答案：

我們依賴機器學習而不是研究生的鮮血、汗水和淚水；

我們使用概率推理而非布爾邏輯；

我們要求科學嚴謹；我們有了訓練數(shù)據(jù)和測試數(shù)據(jù)的概念，而且我們也有比賽，根據(jù)標準問題比較不同系統(tǒng)。

1950年，阿蘭·圖靈寫道：「我們只能看到很近的未來，但我們可以看到這里還有很多需要做的事?！棺?1950 年以來，我們已經(jīng)得到了很大的發(fā)展，做了很多事，但圖靈的話仍然是對的。

問：你怎么看待深度學習？

答：我清楚地記得 80 年代初的那天，當時， Geoff Hinton 來到伯克利發(fā)表演講，介紹了他的玻爾茲曼機研究。在我看來那是一個了不起的愿景——他拋棄了有關符號主義人工智能（symbolic AI）強大又有用的一切，作為回報，他得到了一種機制，該機制提供了三種讓人興奮的新事物（對我而言）：就給大腦建模來說（ in terms of a model of the brain），具有認知合理性；可以從經(jīng)驗（而不是手動編程）中學習的模型；連續(xù)而非布爾式的表征，從而規(guī)避了一些傳統(tǒng)符號專家系統(tǒng)的脆性（brittleness）問題。

事實證明，那個時代的玻爾茲曼機并不能很好地按比例擴展，而其它由 Hinton、LeCun、Bengio、Olshausen、Osindero、Sutskever、Courville、吳恩達和其他人設計的架構能做到這一點。是什么造成了這種差異？因為一次一層的訓練技術？ReLU 激活函數(shù)？其它更多數(shù)據(jù)的可用性？能帶來更快訓練的 GPU 集群？我不能肯定說是哪個，而且我也希望繼續(xù)分析能讓我們對此有更好的了解。不過，我可以說，在語音識別、計算機視覺物體識別、圍棋和其它領域，這種差異是非常巨大的：使用深度學習時，錯誤率下降了，而且過去幾年中，所有這些領域都已經(jīng)經(jīng)歷了根本轉變：基本上所有團隊都已經(jīng)選擇了深度學習，就是因為它有效。

許多問題依然存在。在計算機視覺中，深度網(wǎng)絡究竟是如何運作的？我們只瞥見了一點誘人的東西：我們可以確定一個層次上的線條識別器，然后，比如說，更高一層的眼睛和鼻子識別器，之后再是位于其上的臉識別器，最后是整個人的識別器。但在其它領域，要理解網(wǎng)絡的工作方式就困難得多。這是不是因為我們沒有正確的分析和可視化工具，還是說那種表征實際上并不一致？

當存在大量數(shù)據(jù)時，深度學習可以在很多應用上都取得良好的效果，但如果是一次性或零次性的學習呢——這種情況下，有必要將其他領域的知識轉移到這個領域嗎？或者說，使其他領域的知識使用當前領域？深度網(wǎng)絡會形成哪些類型的抽象，而我們又能怎樣推理這些抽象并將它們結合起來？網(wǎng)絡可以被對抗性輸入欺騙；我們該如何防御，以及它們代表著是一種根本性缺陷還是一種無關痛癢的小伎倆？

我們該如何應對一個領域中的結構？我們有時間遞歸網(wǎng)絡（recurrent network)來處理時間，有結構遞歸網(wǎng)絡（recursive networks）處理嵌套結構，但要說這些是否已經(jīng)足夠，還為時尚早。

所以，我對深度學習感到興奮，因為許多存在已久的領域也對其感到興奮。而且，我也有興趣了解更多，因為還有很多仍待解決的問題，而這些問題的答案不僅能讓我們更了解深度學習，還可能幫助我們理解一般意義上的學習、推理和表征。

問：谷歌要變成一家「人工智能優(yōu)先（AI-first）」的公司，意味著什么？

答：「傳統(tǒng)的」谷歌是一個信息檢索公司?！脯F(xiàn)代的」谷歌，不僅以建議相關信息為基礎，還有通知（informing）和助理功能（assissting）。通知，是指需要時，我們給你（你所需的）信息。比如，Google Now 告訴你赴約時間到了。助理，會幫助你采取行動——計劃一次行程、預定；任何可以通過互聯(lián)網(wǎng)實現(xiàn)的事情，谷歌都可以協(xié)助你去實現(xiàn)。使用信息搜索，查全率（recall）和精確度超過80%性就很不錯了——并非每一個建議就必須完美，因為用戶可以自行忽視不好的搜索結果。但是，助理功能就難得多了。你不可能使用一個預訂錯誤率在20%的服務，即使錯誤率2%，你也不會使用。因此，助理功能必須精確地多，因此，也要更加智能，更能留意到使用情形。這就是我們所說的「人工智能優(yōu)先」的意思。

問：未來十年，對于那些沒有學過人工智能或者機器學習的軟件工程師來說，還有沒有他們的用武之地？還是說，每個人都必須學習這些內(nèi)容？

答：機器學習將成為（可能已經(jīng)成為）軟件工程重要的一部分，因此，每個人都必須了解它適合用在哪里。但是，比如，數(shù)據(jù)庫管理或者用戶界面設計，并不需要每一位工程師都擅長機器學習——和其他機器學習專家一起工作，這種方式也是可以接受的。但是，對機器學習了解越多，你就越容易搭建出解決方案。

我也認為，對于機器學習專家和軟件工程師來說，一起為機器學習系統(tǒng)的軟件開發(fā)找到最好的實踐，這很重要。目前，我們有一個軟件測試制度（a software testing regime），你可以調用諸如assertTrue 或 assertEquals 這樣的辦法來定義單元測試。我們也需要新的測試過程，包括運行試驗，分析結果，比較今天和過去的結果，找到趨勢，判定這種趨勢是不是一個隨機變化或數(shù)據(jù)的非平穩(wěn)性（non-stationarity of the data）等等。對于軟件工程師和機器學習人員來說，這是一片偉大的研究領域，可以一起工作，創(chuàng)造新的、更好的東西。

問：你是如何開始自己職業(yè)生涯的？

答：我很幸運，進入了一個高中（Newton,Mass），在這個高中，我學習了計算機編程和語言學。這些課程讓我萌生了將這些東西放在一起的興趣，不過，在高中，我還做不到這些，我覺得可以留給大學，后來，我在大學申請主修數(shù)學。當時，我所在的大學沒有正規(guī)的計算機科學主修課目，我就開始學習數(shù)學，而且很快發(fā)現(xiàn)我不善于證明（proof），更擅長編程中的探究性思維（exploratory thinking ）。

大學畢業(yè)后，我當了兩年程序猿，但仍繼續(xù)思考那些想法，后來去讀研究生，繼續(xù)研究它們（在大學呆了四年，我才厭倦大學，不過，工作兩年，我就厭惡工作了，因此，那時我想，或許我更喜歡學校）。研究生生涯讓我準備好了迎接學術生涯，這很棒，但是，我又開始對現(xiàn)在所謂的「大數(shù)據(jù)」（那時還沒有這個名字）萌生興趣，我意識到，在產(chǎn)業(yè)領域工作更容易搞到我所需要的數(shù)據(jù)，因此，我放棄了大學職位。每走一步，我都感覺自己很幸運，可以和牛人共事并接受新的挑戰(zhàn)。

問：谷歌「沒有更好的算法，只有更多的數(shù)據(jù)」，這是真的嗎？

答：我引述過 Michele Banko 和 Eric Brill 的一篇論文，當時他們在微軟研究院，論文調查了用于詞義消歧的算法，結果顯示，改善算法的，不是從一個算法轉到另一個算法，而是增加訓練數(shù)據(jù)量。我說過，有些問題類似這種情況，有些并非如此。你可以將這篇論文叫做「大數(shù)據(jù)」的勝利，但是，請注意，在這個領域中，僅需十億個語詞組成的訓練集，算法性能表現(xiàn)就會像漸近線那樣漸進——而這個訓練集大小，正好是在手提電腦和計算機的容量范圍內(nèi)，而不是數(shù)據(jù)中心的規(guī)模程度。因此，如果你碰巧沒有一個可以利用的數(shù)據(jù)中心，別擔心，你仍然比上一代人強，你的方法的計算能力更強，也擁有更多的數(shù)據(jù)，而且還有很多可加利用的新發(fā)現(xiàn)。

因此，的確如此，有很多適合你的任務的高質量的數(shù)據(jù)，會有幫助。但是，真正困難的是深入研究如何搭建新型學習系統(tǒng)，還有困難的工程問題：如何讓系統(tǒng)在產(chǎn)品中運行良好。那才是絕大多數(shù)機器學習成功背后的驅動力。正如 Pat Winson 說過的，「人工智能就像提子干面包上的提子干，」人工智能是讓產(chǎn)品與眾不同、讓消費者興奮不已的部分，但是，提子干面包的絕大部分還是面包，而且，絕大多數(shù)人工智能軟件，就是好的舊式軟件工程以及產(chǎn)品研發(fā)。

問：深度學習大獲成功之后，符號主義人工智能（symbolic AI）的方法仍有其價值嗎？

答：答案是肯定的。我們已經(jīng)圍繞符號人工智能開發(fā)出了許多強有力的機制：邏輯推理、約束滿足（constraint satisfaction）、規(guī)劃（planning）、自然語言處理、甚至是概率推斷。使用這些新的算法，我們解決問題的速度比原來提高了幾個數(shù)量級。如果現(xiàn)在就放棄未免為時過早。我認為，未來比較有趣的研究領域是回到這些方法本身，觀察當非原子符號取代原子符號后會發(fā)生什么，例如， word2vec 等機制所使用的嵌入詞向量（word embedding）方法。舉個例子，假設以下邏輯「事實」：

人能講話

不是人的生物不能講話

看起來像人的動畫角色能講話

魚能游泳

魚不是人，而是動物

尼莫（Nemo）是一個像人的動畫角色

尼莫是一條魚

問題：

尼莫會講話嗎？

尼莫會游泳嗎?

在這種情況下，邏輯在表達和推理上存在兩個很大的問題。第一，這些事實是有例外情況的，但邏輯無法枚舉所有例外，但也無法告訴你這些事實是不嚴密的。第二，當事實自相矛盾的時候，原有的邏輯將無法維持，比如，在這個例子中，你會發(fā)現(xiàn)尼莫既可以會講話也可以不會講話?；蛟S，我們能夠使用嵌入詞向量的方法來解決這個問題，或許我們還需要嵌入演繹推理？不學習為「若有 A 則 B，給定 A，那么B（If A and A implies B, then B）」設立的抽象規(guī)則，能否學會什么時候適合使用這條規(guī)則，什么時候不適合？我認為，這是一個非常好的研究方向。

另一個要點：很多符號人工智能方法其實就是很好的計算機科學算法而已。例如，搜索，無論 A* 算法 還是蟻群優(yōu)化算法或其他什么算法，一直是非常關鍵的算法，將會一直非常有用。甚至是之前基于深度學習的 AlphaGo ，也包含一個搜索組件。

問：為什么 Common Lisp 沒有解決一切？哪里出錯了？

答：我認為，事實上 Common Lisp 解決了許多問題。如果回到 1981 年，Lisp 是非常與眾不同的，因為它擁有許多 C 語言使用者所不熟悉的特點：

垃圾回收

豐富的對象組類型和功能

擁有多重繼承性和泛型函數(shù)的強大對象系統(tǒng) 

強大的異常處理機制

用于定義測試用例的子語言（好吧，這不是自帶的,但我認為很有必要安裝一個）

互動型的讀取—求值—輸出循環(huán)

靈活的、漸進式的開發(fā)過程

對于運行時對象和函數(shù)的內(nèi)省

一個能夠讓你定義領域特定語言的宏系統(tǒng)

現(xiàn)在，除了宏以外的大部分特性，都已經(jīng)被廣泛應用到了其它語言中。所以，這些 Lisp 所創(chuàng)造的概念是十分有價值的，但是， Common Lisp 的具體實現(xiàn)方法卻并不是這么一回事——這可能是因為作為一個十分古老的語言，CL 有許多奇怪的遺留問題；也許有些人就是十分討厭括號。

至于宏，我自然也希望它們能夠繼續(xù)占有一席之地，但問題是，用戶在使用宏的同時也是在改變這個語言。許多開發(fā)團隊，特別是大型開發(fā)團隊，更愿意選擇比較穩(wěn)定的語言。我認為，最好使用指南來定義不同宏的最佳應用方式來解決這個問題，而不是干脆全扔掉不要（或者像 C 語言一樣，只保留數(shù)量極其有限的宏）。

問：如何訓練自己從軟件工程領域轉向人工智能領域？

答：不要把它想成是一個轉變——把它想成一個附加的技能就好了。人工智能領域的主要部分就是構建系統(tǒng)，而你已經(jīng)在這么做了。不論軟件開發(fā)還是人工智能，處理復雜性，選擇正確的抽象化表達，設計程序，實現(xiàn)和測試循環(huán)等等，都是十分必要的環(huán)節(jié)。一個流傳很久的說法是，當一項人工智能技術成功后，它就不再被稱作人工智能，而僅僅是一種軟件罷了。人工智能領域的人總是說，這種觀點讓他們永遠無法成功，但這恰恰說明，你要做的僅僅是在已知的知識上加入新的概念和技術而已。

問：在 NASA 工作的經(jīng)歷與在谷歌的經(jīng)歷，有什么不同？有何文化上的差異？

答：NASA 和谷歌有許多共同點：他們都是一群對自己工作充滿投入熱情的人們，他們都在各自領域最前沿進行創(chuàng)造。因此，某個特定項目的文化，經(jīng)常是相似的。

但是，也有一些不同。NASA 的 Gene Kranz 有一句名言：「失敗不在選項里。」NASA 處理的往往是幾億美元的大項目，一個小失誤就能夠讓一切付諸東流，所以，人們的態(tài)度總是極端地謹慎。而在谷歌，人們相信的是 Adam Savage 的觀點（Jeff Dean也曾這么說過）：「失敗總是會發(fā)生的?！构雀枘軌蚪邮芤慌_電腦會崩潰 ，并設計網(wǎng)絡系統(tǒng)進行修復。有時，系統(tǒng)會在用戶發(fā)現(xiàn)問題之前就已經(jīng)將其解決，有時問題會在短時間內(nèi)被修復，然后用戶們會收到開發(fā)團隊的道歉信。而 NASA 很少會這么做。

部分由于不同的失敗風險，部分由于航天硬件的巨大成本，部分由于政府企業(yè)與私有企業(yè)的不同，相對而言，谷歌更容易開發(fā)并發(fā)展新的項目。

問：我是名研究生，上過人工智能課程，這門課使用的參考書是 AIMA（Artificial Intelligence: A Modern Approach）。 我可以為人工智能領域的編程項目做些什么呢？

答：這個問題正逢其時：我正在為下一版的 AIMA 寫 code。在  https://github.com/aimacode，你可以找到  Java, Python, 和 Javascript 方面的子項目；我們也一直在尋找好的投稿者。除了提供書中所有算法的實現(xiàn)機制，我們也希望提供培訓教材和練習，github 上也有很多其他人工智能項目；絕大多數(shù)都希望有一個有用可靠的投稿者。

問：在精通掌握某一門課程上，像可汗學院、Udacity 這樣的在線資源會不會減少人們花費的時間，而不是常說的花費「10 年」？

答：精通可能需要 10 年，或者說是 10,000 小時。而且花費的時間肯定會因任務、個人、訓練方法不同。真正的精通不是那么容易。像可汗學院、Udancity 這樣提供一項訓練技術讓你一直專研這個主題直到掌握它。相比于傳統(tǒng)的學校，即使測試時得到了「C」級成績，你也不會返回來學習直到掌握它，你會繼續(xù)下個主題，因為學校每個人都是這樣。

在線資源也不是萬能藥，因為想要精通需要努力，努力又需要積極性。而積極性會因為人際關系（比如同學關系）得到增強，這種人際關系在在線學習中難以存在。所以這個方向是正確的，但我們需要在社群組織、積極性方面做更多努力，在個人需求的定制訓練上我們要做更多努力，在實踐的審慎程度和效率上做更多努力。我認為網(wǎng)絡在通往精通的道路上不會減少過多時間，但卻為更多學習達到精通程度增加了機會。

問：產(chǎn)業(yè)中的機器學習研究與學術界有什么不同？

答：我想在哪里做研究并不非常重要，我在教育、公司、政府類機構都做過，并從每個地方都學到了很多東西。

好的研究環(huán)境應當有好的同事和有趣的問題值得你投入時間，這可能會是產(chǎn)業(yè)內(nèi)、學術界、政府、非盈利、或者志愿開源機構。在一些領域，產(chǎn)業(yè)中可能會有更多資源（人力、計算、數(shù)據(jù)），但如今，有開放可用的數(shù)據(jù)，一個小團隊、一臺筆記本、或者一些便宜的 GPU 集群，租用或開發(fā)一個云計算服務，就可以做很多事。

問：Peter Norvig 計劃在 Udacity 上做更多課程嗎？

答：我希望我能做更多的在線課程材料；可能是一整套課程，可能只是一部分?，F(xiàn)在，Stuart Russell 和我正在努力完成我們的人工智能教科書的第四版本，它會加入線上特色。如果有時間，我想要在 Udacity 或另一家提供商上做更多事，但現(xiàn)在線上確實已經(jīng)有很多非常好的材料了。

問：Peter Norvig 如何平衡開發(fā)新特性和維持舊特性？

答：盡最大的努力做到最好，并且注意事態(tài)變化，這樣你才能提升。

我發(fā)現(xiàn)的總是出現(xiàn)的一件事是：團隊里的一位新雇員說：「我們?yōu)槭裁床蛔?X」，而一位老職員回答，「我們?nèi)昵霸囘^ X，但不管用?！褂谑蔷统霈F(xiàn)了一個難題：你是會接受老員工的思想？還是視情況變化，覺得是時候重新回到 X？可能我們有了新數(shù)據(jù)、新技術、或者這個新員工可能有不同的方法、或者盡管 X 之前不管用但時代變化了 X 可以起作用了。我無法告訴你如何回答這類問題；你需要權衡所有的條件，并與其他類似的問題做下對比。

問：如果讓你重新教授「計算機程序設計」（Udacity），你會做哪些改變？

答：我想這門課程進行的挺好，得到的反饋（數(shù)量與質量）大部分也很好。我想要增加更多的編程和技術樣例；我也想修改存在的一些錯誤（大部分是由于進度太快而沒有時間測試每一件事）；還有就是希望系統(tǒng)能更具互動性：學生能得到更多反饋，而不只是告知學生「你的程序是錯誤的」，接下來就是能依照學生的進度給學生反饋；我認為正則表達和語言這部分對一些學生而言節(jié)奏太快；我想要增加一些材料，提高學生學習速度，并且提供更多的、帶有新想法的練習。

問：會有一種新的人工智能出現(xiàn)嗎？如研究某一領域事物的變革速度的現(xiàn)代方法。

答：是的，現(xiàn)在正在做這方面的工作......但至少一年內(nèi)它不會出現(xiàn)。