今天我們常常談及“AI賦能百業(yè)”，這其中隱含的對(duì)人工智能的信心并非尋常，且實(shí)際上非常新潮。

2012年，“深度學(xué)習(xí)之父” Geoffrey Hinton帶領(lǐng)的團(tuán)隊(duì)一鳴驚人奪得ImageNET圖像識(shí)別大賽冠軍。深度學(xué)習(xí)表現(xiàn)出遠(yuǎn)超傳統(tǒng)方法的效果，由此開(kāi)啟了工業(yè)界人工智能應(yīng)用研究的熱潮，至今不到十年。

翻看人工智能的發(fā)展史，人類對(duì)AI的想象似乎常在過(guò)度神化與無(wú)盡悲觀之間作擺錘運(yùn)動(dòng)。有如2016年AlphaGo戰(zhàn)勝人類圍棋世界冠軍的高光時(shí)刻，人類涌起對(duì)AI的無(wú)盡想象，也有各種“AI不靈”的落地困難，前景低迷。

以此觀察學(xué)術(shù)界近期的兩個(gè)熱議話題似乎也有所寫(xiě)照：一個(gè)是OpenAI首席科學(xué)家Ilya Sutskever發(fā)推文表示大型神經(jīng)網(wǎng)絡(luò)可能有點(diǎn)意識(shí)了，一個(gè)是紐約大學(xué)名譽(yù)教授Gary Marcus發(fā)文《深度學(xué)習(xí)要碰壁了》。

一個(gè)是似乎看到了人工智能構(gòu)造人類智能的曙光，一個(gè)則覺(jué)得這套要不靈了。兩個(gè)都“有幸”得到了2018年圖靈獎(jiǎng)得主Yann LeCun的嘲諷。

要討論這個(gè)話題，有一個(gè)非常簡(jiǎn)單的基礎(chǔ)知識(shí)要了解。粗略地說(shuō)，AI算法語(yǔ)境中的神經(jīng)網(wǎng)絡(luò)是對(duì)人類大腦運(yùn)作方式的模仿，深度學(xué)習(xí)則是三層或更多層的神經(jīng)網(wǎng)絡(luò)。

所以在人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks）發(fā)展之初就有個(gè)樸素的想法：人腦有數(shù)十億個(gè)神經(jīng)元和數(shù)萬(wàn)億個(gè)突觸，人工神經(jīng)網(wǎng)絡(luò)越接近這樣的復(fù)雜度就越可能實(shí)現(xiàn)人類智能。

復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授邱錫鵬在接受澎湃新聞（www.thepaper.cn）采訪時(shí)也多次提到Hinton說(shuō)過(guò)的“神經(jīng)網(wǎng)絡(luò)是目前唯一證明了可以產(chǎn)生智能的模型?！痹谇皴a鵬的理解中，這個(gè)智能不指向通用，而是指向類似人類的大腦。

人工神經(jīng)網(wǎng)絡(luò)的“大力出奇跡”思路確實(shí)有效，通常更多的神經(jīng)元產(chǎn)生更多的參數(shù)，而更多的參數(shù)產(chǎn)生更好的結(jié)果。以GPT-3為例，GPT-3有1750億個(gè)參數(shù)，是其前身GPT-2的100倍。

OpenAI的首席執(zhí)行官Sam Altman曾在線上會(huì)議（the AC10 online meetup）表示，之后的GPT-5或許能夠通過(guò)圖靈測(cè)試。OpenAI首席技術(shù)官Greg Brockman曾表示，誰(shuí)擁有最大的計(jì)算機(jī)，誰(shuí)就能獲得最大的好處。

對(duì)于這次Sutskever發(fā)推文表示大型神經(jīng)網(wǎng)絡(luò)可能有點(diǎn)意識(shí)了，邱錫鵬在接受澎湃新聞（www.thepaper.cn）采訪時(shí)，首先提及了OpenAI正在進(jìn)行中的GPT-4以及GPT-3的上下文學(xué)習(xí)（In-context learning）算法。

“GPT-3的In-context learning是一個(gè)我覺(jué)得有變革性的范式。不再需要調(diào)參，給一些提示，就可以去做任務(wù)了。這個(gè)目前雖然說(shuō)質(zhì)量并沒(méi)有調(diào)參的好，但也能達(dá)到一個(gè)不錯(cuò)的效果。這個(gè)會(huì)讓大模型看起來(lái)更加智能，發(fā)展到一定程度它表現(xiàn)出某種行為，可能看起來(lái)像有自主意識(shí)一樣?！鼻皴a鵬表示。

調(diào)參極耗費(fèi)人力和時(shí)間成本，尤其是GPT-3這樣的超大模型。Carbontracker估計(jì)，訓(xùn)練GPT-3一次所需的電量與丹麥126戶家庭每年使用的電量相同。而In-context learning可以讓一個(gè)未經(jīng)進(jìn)一步調(diào)參的預(yù)訓(xùn)練大模型，通過(guò)給其恰當(dāng)?shù)膁emonstration（示例）學(xué)會(huì)完成目標(biāo)任務(wù)。

“以前的方式是基于模型參數(shù)調(diào)整的，比如說(shuō)要識(shí)別貓，然后看模型能不能檢測(cè)到貓的位置。如果標(biāo)的不對(duì)，再通過(guò)誤差反過(guò)來(lái)去調(diào)整參數(shù)，使得預(yù)測(cè)和正確位置對(duì)應(yīng)起來(lái)。上下文學(xué)習(xí)則是圈出來(lái)貓的位置，然后再給它一張另外的圖片，問(wèn)它貓?jiān)谀睦铮克湍軌蛘_圈出來(lái)。這個(gè)任務(wù)它之前沒(méi)有見(jiàn)過(guò)，但是通過(guò)這樣的方式就學(xué)會(huì)了?！鼻皴a鵬講解道。

同時(shí)，邱錫鵬認(rèn)為，神經(jīng)網(wǎng)絡(luò)幾經(jīng)發(fā)展，與最初已有很大不同。粗略描述這個(gè)“變強(qiáng)”， 邱錫鵬講了兩點(diǎn)，“比如準(zhǔn)確率預(yù)測(cè)早期是80%的話，現(xiàn)在可以達(dá)到90%，另外則是對(duì)訓(xùn)練樣本數(shù)量的要求可能要更少，如果原來(lái)達(dá)到80%的準(zhǔn)確率需要標(biāo)1萬(wàn)個(gè)樣本，那么現(xiàn)在可能100個(gè)就夠了?！?/p>

DALL.E（基于GPT-3開(kāi)發(fā)的一種新型神經(jīng)網(wǎng)絡(luò)）根據(jù)語(yǔ)言描述生成的牛油果形狀扶手椅

即使在技術(shù)上對(duì)Sutskever的發(fā)言有一些猜想，邱錫鵬也直言，“我整體上還是覺(jué)得現(xiàn)在遠(yuǎn)遠(yuǎn)談不上意識(shí)。當(dāng)然，首先的問(wèn)題是意識(shí)如何定義。”

比如說(shuō)寵物狗跟人類的互動(dòng)，屬不屬于有意識(shí)？

1964年，戈登·蓋洛普曾做過(guò)一個(gè)判斷猩猩是否有自我意識(shí)的實(shí)驗(yàn)。戈登將黑猩猩麻醉，然后在它們的眉毛和耳朵上涂了紅點(diǎn)。按照戈登的猜想，如果黑猩猩看鏡子并發(fā)現(xiàn)紅點(diǎn)后觸摸的是鏡子中的紅點(diǎn)，那么便無(wú)法證明黑猩猩有“自我意識(shí)”。但如果它們觸摸的是自己臉上的紅點(diǎn)，那么黑猩猩就具有將自己與鏡子中的影像對(duì)應(yīng)起來(lái)的能力。

“在我看來(lái)非常本質(zhì)的問(wèn)題是，能不能認(rèn)識(shí)到‘我’區(qū)別于世界上其他物體。如果用這個(gè)觀點(diǎn)來(lái)看，現(xiàn)在AI肯定沒(méi)有這個(gè)能力?！鼻皴a鵬表示。

邱錫鵬同時(shí)認(rèn)為，如果要智能體有這樣的自我意識(shí)，他應(yīng)該是放在真實(shí)的環(huán)境中以交互的方式學(xué)習(xí)，而不是像現(xiàn)在的“喂數(shù)據(jù)”學(xué)習(xí)。

LeCun也在近期的Meta AI論壇上描述道，一個(gè)從未坐在方向盤后的少年可以在大約20小時(shí)內(nèi)學(xué)會(huì)駕駛，而當(dāng)今最好的自動(dòng)駕駛系統(tǒng)需要數(shù)百萬(wàn)或數(shù)十億條帶標(biāo)簽的訓(xùn)練數(shù)據(jù)和數(shù)百萬(wàn)次強(qiáng)化在虛擬環(huán)境中進(jìn)行學(xué)習(xí)試驗(yàn)。即便如此，它們也達(dá)不到人類可靠駕駛汽車的能力。

所以構(gòu)建接近人類能力的人工智能需要什么？?jī)H僅是更多數(shù)據(jù)和更大的人工智能模型嗎？

LeCun說(shuō)道，“我常捫心自問(wèn)，人類和動(dòng)物使用了哪些我們無(wú)法在機(jī)器學(xué)習(xí)中復(fù)制的方法。人類和非人類動(dòng)物學(xué)習(xí)大量關(guān)于世界如何運(yùn)作的背景知識(shí)的方式，是觀察，以及用獨(dú)立于任務(wù)、無(wú)人監(jiān)督方式進(jìn)行的少量互動(dòng)。可以假定，這種積累的知識(shí)可能構(gòu)成了通常被稱為常識(shí)的基礎(chǔ)?！?/p>

LeCun認(rèn)為常識(shí)使人類能夠在不熟悉的情況中有效地預(yù)先計(jì)劃。如一名少年司機(jī)以前可能從未在雪地上駕駛，但他預(yù)知雪地會(huì)很滑、如果車開(kāi)得太猛將會(huì)失控打滑。“常識(shí)性知識(shí)讓智能動(dòng)物不僅可以預(yù)測(cè)未來(lái)事件的結(jié)果，還可以在時(shí)間或空間上填補(bǔ)缺失的信息”

在LeCun看來(lái)，機(jī)器學(xué)習(xí)缺失的就是人類和動(dòng)物如何學(xué)習(xí)世界模型，學(xué)習(xí)世界如何運(yùn)作的能力，“當(dāng)今人工智能最重要的挑戰(zhàn)之一是設(shè)計(jì)學(xué)習(xí)范式和架構(gòu)，使機(jī)器能夠以自監(jiān)督的方式學(xué)習(xí)世界模型，然后用這些模型進(jìn)行預(yù)測(cè)、推理和計(jì)劃?！?/p>我們需要擔(dān)心AI有自主意識(shí)嗎？

如果AI有自主意識(shí)，這是一件需要擔(dān)心的事情嗎？

邱錫鵬對(duì)澎湃新聞（www.thepaper.cn）表示，“自我意識(shí)以目前的途徑上很難達(dá)到，即使造出來(lái)的所謂的意識(shí)也不會(huì)是像人類那樣的意識(shí)。現(xiàn)在的模型都聚焦在做一件事，比如下圍棋，可能下的比人好，但只會(huì)下圍棋，下象棋可能就要換一個(gè)模型?！?/p>

雖然邱錫鵬認(rèn)為目前離“有意識(shí)”還差的遠(yuǎn)，但也有一個(gè)非常值得研究的問(wèn)題：目前這種看起來(lái)和以前不一樣的模型能力，到底本質(zhì)上源自于什么？“這是個(gè)很難的問(wèn)題，因?yàn)楝F(xiàn)在這種神經(jīng)網(wǎng)絡(luò)可以認(rèn)為它就是個(gè)黑盒，沒(méi)有什么可解釋性?！?/p>

另外，邱錫鵬認(rèn)為會(huì)不會(huì)產(chǎn)生什么危害和自主意識(shí)關(guān)系不大，比如如果AI模型的控制者的動(dòng)機(jī)是壞的，那么即使AI模型沒(méi)有自我意識(shí)它也可以產(chǎn)生危害。也比如AI模型的過(guò)度決策，它通常不知道自己哪些不知道， “自動(dòng)駕駛在道路行駛時(shí)，即使是不知道的情況也會(huì)做一個(gè)預(yù)測(cè)，很有置信度可能還很高。”比如著名的特斯拉電動(dòng)車在自動(dòng)駕駛時(shí)將白色大貨車當(dāng)成天空事件。

除開(kāi)AI是否有自主意識(shí)的討論，就是對(duì)深度學(xué)習(xí)進(jìn)入瓶頸的擔(dān)心，或者說(shuō)是擴(kuò)展限制（scaling limits），即接近收益遞減點(diǎn)。

2020年，還在OpenAI做研究員的Jared Kaplan和其合作者提出，語(yǔ)言神經(jīng)網(wǎng)絡(luò)模型有一套scaling laws，向神經(jīng)網(wǎng)絡(luò)輸入的數(shù)據(jù)越多，這些網(wǎng)絡(luò)的表現(xiàn)就越好。

Gary Marcus則認(rèn)為，關(guān)于scaling law的論點(diǎn)存在嚴(yán)重的漏洞。他在文章中寫(xiě)道：首先，現(xiàn)有方法并沒(méi)有解決迫切需要解決的問(wèn)題，即真正的理解。業(yè)內(nèi)人士早就知道，人工智能研究中最大的問(wèn)題之一是我們用來(lái)評(píng)估人工智能系統(tǒng)的基準(zhǔn)測(cè)試。著名的圖靈測(cè)試旨在判斷機(jī)器是否真的擁有智能，結(jié)果，人類很容易被表現(xiàn)出偏執(zhí)或不合作的聊天機(jī)器人所玩弄。

Gary Marcus在文章中舉例，“比如，我輸入一段文字：你給自己倒了一杯蔓越莓汁，但隨后又心不在焉地倒了大約一茶匙葡萄汁進(jìn)去。這個(gè)飲料看起來(lái)不錯(cuò)。你試著聞了一下，但你患了重感冒，什么也聞不到。你很渴，所以……對(duì)此，GPT給出的續(xù)寫(xiě)是：你喝了它，然后就死了?！?/p>

Gary Marcus認(rèn)為更重要的是，“scaling law并不是那種像重力一樣的自然定律，而是像摩爾定律一樣是由人觀察到的。后者在十年前已經(jīng)開(kāi)始放緩。”他提到2022年超過(guò)50多位谷歌研究者參與撰寫(xiě)的論文《LaMDA: Language Models for Dialog Applications》，“論文中得出結(jié)論，將類似GPT-3的模型做得更大會(huì)使它們更流暢，但不再值得信賴?！?

關(guān)鍵詞： 神經(jīng)網(wǎng)絡(luò)