LSTM之父于爾根·施密德胡伯訪談：早在25年前，人工智能就具有意識(shí)了

雷鋒網(wǎng)按：于爾根·施密德胡伯（Jürgen Schmidhuber）可謂深度學(xué)習(xí)的元老，他在1992年提出了多層級(jí)網(wǎng)絡(luò)，利用無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的每一層，再利用反向傳播算法調(diào)優(yōu)。而在1997年，他與 Sepp Hochreiter 共同發(fā)表了一篇論文，提出了長(zhǎng)短期記憶（LSTM）的概念。

LSTM 能夠提升神經(jīng)網(wǎng)絡(luò)接受輸入信息及訓(xùn)練數(shù)據(jù)的記憶機(jī)制，讓輸出結(jié)果得到大幅度的提升。但是，這一概念遠(yuǎn)遠(yuǎn)超越了當(dāng)時(shí)的計(jì)算機(jī)硬件水平，以至這一想法直到近年才廣為人知。比起如今更為知名的 LeCun、Ian Goodfellow、Hilton而言，施密德胡伯似乎名氣不大，但包括谷歌在內(nèi)的研究機(jī)構(gòu)都開始采用 LSTM。他曾經(jīng)表示：“沒(méi)有任何原因說(shuō)明，機(jī)器不能擁有好奇心和創(chuàng)造力”，而近日Inverse對(duì)施密德胡伯進(jìn)行的一次訪談，則更能看出這位科學(xué)家對(duì)于人工智能的前瞻與展望。雷鋒網(wǎng)編譯如下，未經(jīng)許可不得轉(zhuǎn)載。

在你心中，人工智能在未來(lái)會(huì)承擔(dān)怎樣的角色？

所有的智能——不論是人類的還是人工的——都基于一個(gè)主題，那就是解決問(wèn)題。長(zhǎng)期以來(lái)，我們一直在致力于構(gòu)建一個(gè)解決通用問(wèn)題的機(jī)制，不論這些問(wèn)題是困難還是簡(jiǎn)單。這個(gè)問(wèn)題解決機(jī)制能夠通過(guò)先前學(xué)習(xí)的技能解決現(xiàn)有的問(wèn)題，通常，機(jī)器會(huì)將新的技能增加到計(jì)算指令系統(tǒng)中，并能夠解決越來(lái)越通用的問(wèn)題。當(dāng)然，如果到達(dá)我們所預(yù)想的成功，一切將會(huì)發(fā)生翻天覆地的改變，因?yàn)槊總€(gè)計(jì)算問(wèn)題或每個(gè)專業(yè)性研究都將受到影響。

您認(rèn)為一些人工智能已經(jīng)具有意識(shí)。請(qǐng)問(wèn)您是否能對(duì)此做一些解釋？

我想指出的一點(diǎn)是，我們?cè)缭?5年前就擁有了少量的、基礎(chǔ)的且有意識(shí)的學(xué)習(xí)系統(tǒng)。回顧彼時(shí)，我已經(jīng)提出通用學(xué)習(xí)系統(tǒng)由兩個(gè)模塊組成。

其中一個(gè)為遞歸網(wǎng)絡(luò)控制器，能夠?qū)W會(huì)對(duì)輸入的數(shù)據(jù)（比如視頻或平面指示牌）翻譯為具體操作。舉個(gè)例子，當(dāng)你機(jī)能不足時(shí)，身體會(huì)釋放饑餓信號(hào)向你發(fā)出警告。而神經(jīng)網(wǎng)絡(luò)能夠?qū)⑦@些信號(hào)轉(zhuǎn)換為行動(dòng)的操作序列。同樣是上述情況，那么人體就會(huì)意識(shí)到自己餓了，并尋找“能夠充電”的東西（吃的），而與此同時(shí)，人體還會(huì)注意不要磕碰到桌椅，以避免痛覺(jué)發(fā)出信號(hào)。

如果把人體當(dāng)作一個(gè)處理器，那么身體的人生目標(biāo)便是盡可能將愉悅感最大化，并減少痛苦。這個(gè)目標(biāo)非常簡(jiǎn)單且具體，但很難實(shí)現(xiàn)，因?yàn)槟阈枰ㄟ^(guò)大量的學(xué)習(xí)。想象一個(gè)襁褓中的嬰兒需要經(jīng)過(guò)多少年的學(xué)習(xí)，才能懂得和這個(gè)世界共處。

自1990年開始，我們同樣也對(duì)機(jī)器開始做同樣的事情，即采用無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并進(jìn)行反向調(diào)優(yōu)，這個(gè)模型能夠預(yù)測(cè)未來(lái)將要發(fā)生的事情。看著以前執(zhí)行的操作并進(jìn)行觀察，學(xué)會(huì)預(yù)測(cè)未來(lái)——因?yàn)樗且粋€(gè)會(huì)反復(fù)出現(xiàn)的網(wǎng)絡(luò)，在某種程度上可以理解為可預(yù)測(cè)的代碼。

比如，視頻里出現(xiàn)了100個(gè)蘋果掉落，而且每個(gè)蘋果掉落的方式都是相同的，那么你就能預(yù)測(cè)出蘋果掉落的方式。甚至也不需要單獨(dú)存儲(chǔ)（每個(gè)蘋果掉落的模式，因?yàn)槎际且粯拥模膊恍枰加媚隳X袋太多的內(nèi)存。

隨著與環(huán)境的交互越來(lái)越深入，大量的數(shù)據(jù)也涌入其中，無(wú)監(jiān)督模型網(wǎng)絡(luò)，也就是我在1990年就提出的新模式，學(xué)會(huì)了發(fā)現(xiàn)新的規(guī)律，或是對(duì)稱性，或是反復(fù)性。它也能學(xué)會(huì)用更少的計(jì)算單元處理數(shù)據(jù)，也就意味著更少的存儲(chǔ)空間與更少的時(shí)間。曾經(jīng)被譽(yù)為意識(shí)的東西，實(shí)際上在學(xué)習(xí)的推移中變成了自動(dòng)化與無(wú)意識(shí)的活動(dòng)。

隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展及學(xué)習(xí)了更多規(guī)律后，機(jī)器能夠判斷無(wú)監(jiān)督模型的解析需要多少計(jì)算量。這也是神經(jīng)網(wǎng)絡(luò)的有趣之處：從一個(gè)數(shù)字，到第一層網(wǎng)絡(luò)，到能給回饋信號(hào)最大化的控制器——就像科學(xué)家突然發(fā)現(xiàn)了新的定律一樣。

您能向我們解釋一下，我的意識(shí)與經(jīng)歷主要是什么內(nèi)容組成的嗎？

當(dāng)我們身處這個(gè)世界，實(shí)際上我們會(huì)見(jiàn)到很多人的面孔。而這些記憶被壓縮在你的大腦里，以一個(gè)類似反向網(wǎng)絡(luò)的形式存在著。“面部編碼器”，也就意味著有一個(gè)類似刻板印象的面部數(shù)據(jù)庫(kù)。當(dāng)你遇到一個(gè)陌生人時(shí)，你需要做的就是將這些新的偏差元素進(jìn)行編碼。

我還是不太明白這和我們所說(shuō)的意識(shí)有什么聯(lián)系。

意識(shí)實(shí)際上可以理解為一個(gè)中間處理系統(tǒng)，而這個(gè)中繼器與世界交互的過(guò)程中，它會(huì)發(fā)現(xiàn)自己本身就是與世界交互的最佳形式。

出于數(shù)據(jù)壓縮的原因，如果能設(shè)置一對(duì)神經(jīng)元，實(shí)際上對(duì)反向模型神經(jīng)的編碼非常有效。它能夠壓縮以往所有的行動(dòng)和感知，通過(guò)創(chuàng)建個(gè)性化符號(hào)及代理器的附加符號(hào)（比如手、腳還有隨便什么東西）。在尋找一個(gè)新問(wèn)題的解決方案時(shí)，這些神經(jīng)元會(huì)被激活，并開始處理這些問(wèn)題。

這也是我們1991年所在做的事情。誠(chéng)然，這是一種基本的意識(shí)形態(tài)——并沒(méi)有你自己的那么令人印象深刻，畢竟你的大腦比起人工代理器而言簡(jiǎn)直是龐然大物。人類大概有著10萬(wàn)億個(gè)連接，而當(dāng)今最大的 LSTM網(wǎng)絡(luò)也只有10億個(gè)連接。因此，你的皮質(zhì)是LSTM網(wǎng)絡(luò)的10萬(wàn)倍，可以攜帶的意識(shí)自然也比我們的小小人工處理器更多。不過(guò)，我們注意到了計(jì)算界也有摩爾定律——每五年，計(jì)算成本就會(huì)便宜十倍。因此，也許只需要25年，我們就能擁有和自己大腦一樣多的連接的LSTM網(wǎng)絡(luò)，而且造價(jià)也更便宜。

而這些連接自然會(huì)比我們的人工大腦所構(gòu)建的連接要慢得多。

在技術(shù)術(shù)語(yǔ)中，真正的挑戰(zhàn)被稱為“意識(shí)的難題”。也就是體驗(yàn)。哲學(xué)家們傾向于把它稱為“qualia”（感受）。當(dāng)你擁有一種體驗(yàn)——比如看日落，聽(tīng)最喜歡樂(lè)隊(duì)演奏你最喜愛(ài)的歌曲，聞到卡布其諾的香味，等等——這是一些抽象的體驗(yàn)，但無(wú)法說(shuō)明原因。哲學(xué)家David Chalmers把它稱之為是一個(gè)“意識(shí)難題”，他表示，“為什么這些外在的物理過(guò)程會(huì)讓內(nèi)心得到豐富的感受？”你認(rèn)為神經(jīng)網(wǎng)絡(luò)模型也能夠再現(xiàn)這種“qualia”，也就是人工智能？

我認(rèn)為這是可以實(shí)現(xiàn)的。在行為上，我們的人工智能有著相似的原理。當(dāng)我們把AI與其它會(huì)傷害后者的兩個(gè)代理器放在一起時(shí)——比如把它們?cè)O(shè)定為捕食者與獵物的關(guān)系——其實(shí)它們不希望受到傷害。當(dāng)一個(gè)人工智能模型遭到一次攻擊，后者的疼痛系數(shù)會(huì)顯示上升。當(dāng)然，它會(huì)學(xué)著預(yù)測(cè)與避免，比如躲在簾子后面，或模擬對(duì)方的行為。因此，從人工智能自行學(xué)習(xí)的過(guò)程中來(lái)看，你可以發(fā)現(xiàn)它并不喜歡這樣做。

當(dāng)然，這是我們觀望了很長(zhǎng)一段時(shí)間后而得出的結(jié)論。我們的人工智能嘗試避免疼痛，并試圖追求最大化的樂(lè)趣與內(nèi)心的愉悅感——因?yàn)閮?nèi)置了一個(gè)效用函數(shù)與獎(jiǎng)勵(lì)機(jī)制，機(jī)器會(huì)讓這個(gè)目標(biāo)最大化。

當(dāng)然，人類也有這樣的獎(jiǎng)勵(lì)功能，并已經(jīng)根植于每個(gè)新生兒的體內(nèi)。這些行為至少在高等動(dòng)物上非常常見(jiàn)。因此，我們沒(méi)有理由相信這是不可復(fù)制的。

這似乎就像你發(fā)明了一種全新的語(yǔ)言來(lái)討論我們自己的思想。當(dāng)你反觀自身時(shí)，如果把自己設(shè)想為一臺(tái)電腦，會(huì)想些什么呢？“我的更高層的大腦層級(jí)正在處理這個(gè)問(wèn)題，而我更低的大腦層級(jí)正在處理這些自動(dòng)的過(guò)程。”你會(huì)以這樣的方式內(nèi)省嗎？

對(duì)呀。我經(jīng)常在想，這些內(nèi)省的思考是否源自第一原則，而我是否可以在我自己的思維中重新發(fā)現(xiàn)這些內(nèi)容。我相信自己可以做到這一點(diǎn)，雖然我知道，很多人會(huì)被這種想法所欺騙，但于我而言，這仿佛是顯而易見(jiàn)的：或多或少與我正在做的事有關(guān)。對(duì)我來(lái)說(shuō)，顯然不需要?jiǎng)e的東西來(lái)解釋意識(shí)。我也相信，理解意識(shí)的所有基本成分都已經(jīng)存在了四分之一個(gè)世紀(jì)。神經(jīng)科學(xué)的研究者們或許不知道人工智能的神經(jīng)網(wǎng)絡(luò)領(lǐng)域已經(jīng)發(fā)生了怎樣的變化，他們尚未意識(shí)到這些簡(jiǎn)單的基本原則。但我相信，他們會(huì)更多地了解這一點(diǎn)。這也是我希望看到的。

最近在紐約，我在一次關(guān)于倫理和 AI 的會(huì)議發(fā)表了演講。一名觀眾提出了一個(gè)尖銳的問(wèn)題，不過(guò)我以自己在在上世紀(jì)80年代一個(gè)小型會(huì)議上所說(shuō)的原句回應(yīng)了他：“我必須承認(rèn)：我的公司正在制作 androids 機(jī)器人，而我會(huì)把自己當(dāng)作原型。我可能不具有意識(shí)，但我善于偽裝這一點(diǎn)。”

via inverse

【兼職召集令！】

如果你對(duì)未來(lái)充滿憧憬，喜歡探索改變世界的科技進(jìn)展，look no further！

我們需要這樣的你：

精通英語(yǔ)，對(duì)技術(shù)與產(chǎn)品感興趣，關(guān)注人工智能學(xué)術(shù)動(dòng)態(tài)的蘿莉&萌妹子&技術(shù)宅；

文字不求妙筆生花，但希望通俗易懂；

在這里，你會(huì)收獲：

一群來(lái)自天南地北、志同道合的小伙伴；

前沿學(xué)術(shù)科技動(dòng)態(tài)，每天為自己充充電；

更高的生活品質(zhì)，翻翻文章就能掙到零花錢；

有意向的小伙伴們把個(gè)人介紹/簡(jiǎn)歷發(fā)至 guoyixin@leiphone.com，如有作品，歡迎一并附上。