據(jù)Emergen Research分析稱，到2028年，全球深度學(xué)習(xí)市場(chǎng)規(guī)模預(yù)計(jì)將以39.1%的穩(wěn)定復(fù)合年增長(zhǎng)率達(dá)到933.4億美元，推動(dòng)其市場(chǎng)收入的關(guān)鍵因素是采用基于云的技術(shù)和在大數(shù)據(jù)分析中使用深度學(xué)習(xí)系統(tǒng)

。

那么，究竟什么是深度學(xué)習(xí)？它如何工作？

據(jù)《VentureBeat》在近日《這就是深度學(xué)習(xí)如此強(qiáng)大的原因》一文中總結(jié)道：深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子集，它使用神經(jīng)網(wǎng)絡(luò)來(lái)執(zhí)行學(xué)習(xí)和預(yù)測(cè)

。

深度學(xué)習(xí)在各種任務(wù)中都表現(xiàn)出了驚人的表現(xiàn)，無(wú)論是文本、時(shí)間序列還是計(jì)算機(jī)視覺(jué)

。

深度學(xué)習(xí)的成功主要來(lái)自大數(shù)據(jù)的可用性和計(jì)算能力，這使得深度學(xué)習(xí)的表現(xiàn)遠(yuǎn)遠(yuǎn)優(yōu)于任何經(jīng)典的機(jī)器學(xué)習(xí)算法

。

深度學(xué)習(xí)的本質(zhì)：神經(jīng)網(wǎng)絡(luò)和函數(shù)

有網(wǎng)友曾笑言，“當(dāng)你想要擬合任何函數(shù)或者任何分布，而又沒(méi)有思路時(shí)，試試神經(jīng)網(wǎng)絡(luò)吧！”

先上兩個(gè)重要結(jié)論：

神經(jīng)網(wǎng)絡(luò)是一個(gè)相互連接的神經(jīng)元網(wǎng)絡(luò)，每個(gè)神經(jīng)元都是一個(gè)有限函數(shù)逼近器

。

這樣，神經(jīng)網(wǎng)絡(luò)被視為通用函數(shù)逼近器

。

深度學(xué)習(xí)是具有許多隱藏層（通常大于2個(gè)隱藏層）的神經(jīng)網(wǎng)絡(luò)

。

深度學(xué)習(xí)是從層到層的函數(shù)的復(fù)雜組合，從而找到定義從輸入到輸出的映射的函數(shù)

。

在高中數(shù)學(xué)我們會(huì)學(xué)到，函數(shù)就是從輸入空間到輸出空間的映射

。

一個(gè)簡(jiǎn)單的sin(x)函數(shù)是從角空間（-180°到180°或0°到360°）映射到實(shí)數(shù)空間（-1到1）

。

函數(shù)逼近問(wèn)題是函數(shù)論的重要組成部分，涉及的基本問(wèn)題是函數(shù)的近似表示問(wèn)題

。

那么，為什么神經(jīng)網(wǎng)絡(luò)被認(rèn)為是通用函數(shù)逼近器呢？

每個(gè)神經(jīng)元學(xué)習(xí)一個(gè)有限的函數(shù)：f(.)=g(W*X)其中W是要學(xué)習(xí)的權(quán)重向量，X是輸入向量，g(.)是非線性變換

。

W*X可以可視化為高維空間（超平面）中的一條線，而g(.)可以是任何非線性可微函數(shù)

，如sigmoid、tanh、ReLU等（常用于深度學(xué)習(xí)領(lǐng)域）

。

在神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)無(wú)非就是找到最佳權(quán)重向量W

。

例如，在y=mx+c中，我們有2個(gè)權(quán)重：m和c

。

現(xiàn)在，根據(jù)二維平面空間中點(diǎn)的分布，我們找到滿足某些標(biāo)準(zhǔn)的m及c的最佳值，那么對(duì)于所有數(shù)據(jù)點(diǎn)，預(yù)測(cè)y和實(shí)際點(diǎn)之間的差異最小

。

神經(jīng)網(wǎng)絡(luò)“層”效果：學(xué)習(xí)具體到類(lèi)別概括的映射

如果輸入是獅子的圖像，輸出是屬于獅子類(lèi)的圖像分類(lèi)，那么深度學(xué)習(xí)就是學(xué)習(xí)將圖像向量映射到類(lèi)的函數(shù)

。

類(lèi)似地，輸入是單詞序列，輸出是輸入句子是否具有正面/中性/負(fù)面情緒

。

因此，深度學(xué)習(xí)是學(xué)習(xí)從輸入文本到輸出類(lèi)的映射：中性或正面或負(fù)面

。

如何實(shí)現(xiàn)上述任務(wù)呢？

每個(gè)神經(jīng)元都是一個(gè)非線性函數(shù)，我們將幾個(gè)這樣的神經(jīng)元堆疊在一個(gè)“層”中，每個(gè)神經(jīng)元接收相同的一組輸入但學(xué)習(xí)不同的權(quán)重W

。

因此，每一層都有一組學(xué)習(xí)函數(shù)：f1,f2,…,fn，稱為隱藏層值

。

這些值再次組合，在下一層：h(f1,f2,...,fn)等等

。

這樣，每一層都由前一層的函數(shù)組成（類(lèi)似于h(f(g(x)))）

。

已經(jīng)表明，通過(guò)這種組合，我們可以學(xué)習(xí)任何非線性復(fù)函數(shù)

。

深度學(xué)習(xí)是具有許多隱藏層（通常大于2個(gè)隱藏層）的神經(jīng)網(wǎng)絡(luò)

。

深度學(xué)習(xí)是從層到層的函數(shù)的復(fù)雜組合，從而找到定義從輸入到輸出的映射的函數(shù)

。

深度學(xué)習(xí)作為曲線擬合的插值：過(guò)度擬合挑戰(zhàn)與泛化目標(biāo)深度學(xué)習(xí)先驅(qū)Yann LeCun（卷積神經(jīng)網(wǎng)絡(luò)的創(chuàng)造者和圖靈獎(jiǎng)獲得者）曾在推特上發(fā)帖稱，“深度學(xué)習(xí)并沒(méi)有你想象的那么令人驚嘆，因?yàn)樗鼉H僅是美化曲線擬合的插值

。

但是在高維中，沒(méi)有插值之類(lèi)的東西

。

在高維空間，一切都是外推

。

”。

" src="https://imagecloud.thepaper.cn/thepaper/image/187/943/995.png" onerror="imgerrorfun();">

插值（interpolation）是離散函數(shù)逼近的重要方法，利用它可通過(guò)函數(shù)在有限個(gè)點(diǎn)處的取值狀況，估算出函數(shù)在其他點(diǎn)處的近似值

。

從生物學(xué)的解釋來(lái)看，人類(lèi)通過(guò)逐層解釋圖像來(lái)處理世界的圖像，從邊緣和輪廓等低級(jí)特征，到對(duì)象和場(chǎng)景等高級(jí)特征

。

神經(jīng)網(wǎng)絡(luò)中的函數(shù)組合與此一致，其中每個(gè)函數(shù)組合都在學(xué)習(xí)關(guān)于圖像的復(fù)雜特征

。

用于圖像最常見(jiàn)的神經(jīng)網(wǎng)絡(luò)架構(gòu)是CNN(Convolutional Neural Networks,卷積神經(jīng)網(wǎng)絡(luò))，它以分層方式學(xué)習(xí)這些特征，然后一個(gè)完全連接的神經(jīng)網(wǎng)絡(luò)將圖像特征分類(lèi)為不同的類(lèi)別

。

比如，給定一組平面上的數(shù)據(jù)點(diǎn)，我們嘗試通過(guò)插值擬合曲線，該曲線在某種程度上代表了定義這些數(shù)據(jù)點(diǎn)的函數(shù)

。

我們擬合的函數(shù)越復(fù)雜（例如在插值中，通過(guò)多項(xiàng)式次數(shù)確定），它就越適合數(shù)據(jù)；但是，它對(duì)新數(shù)據(jù)點(diǎn)的泛化程度越低

。

這就是深度學(xué)習(xí)面臨挑戰(zhàn)的地方，也就是通常所說(shuō)的過(guò)度擬合問(wèn)題：盡可能地?cái)M合數(shù)據(jù)，但在泛化方面有所妥協(xié)

。

幾乎所有深度學(xué)習(xí)架構(gòu)都必須處理這個(gè)重要因素，才能學(xué)習(xí)在看不見(jiàn)的數(shù)據(jù)上表現(xiàn)同樣出色的通用功能

。

深度學(xué)習(xí)如何學(xué)習(xí)？問(wèn)題決定了神經(jīng)網(wǎng)絡(luò)架構(gòu)

那么，我們?nèi)绾螌W(xué)習(xí)這個(gè)復(fù)雜的函數(shù)呢？

這完全取決于手頭的問(wèn)題，其決定了神經(jīng)網(wǎng)絡(luò)架構(gòu)

。

如果我們對(duì)圖像分類(lèi)感興趣，那么我們使用CNN

。

如果我們對(duì)時(shí)間相關(guān)的預(yù)測(cè)或文本感興趣，那么我們使用RNN（Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡(luò)） 或Transformer，如果我們有動(dòng)態(tài)環(huán)境（如汽車(chē)駕駛），那么我們使用強(qiáng)化學(xué)習(xí)

。

除此之外，學(xué)習(xí)還涉及處理不同的挑戰(zhàn)：

·通過(guò)使用正則化（regularization，用來(lái)防止訓(xùn)練的模型產(chǎn)生過(guò)擬合與欠擬合現(xiàn)象）處理確保模型學(xué)習(xí)通用函數(shù)，而不僅僅適合訓(xùn)練數(shù)據(jù)

。

·根據(jù)手頭的問(wèn)題，選擇損失函數(shù)

。

粗略地說(shuō)，損失函數(shù)是我們想要的（真實(shí)值）和我們當(dāng)前擁有的（當(dāng)前預(yù)測(cè)）之間的誤差函數(shù)

。

·梯度下降是用于收斂到最優(yōu)函數(shù)的算法

。

決定學(xué)習(xí)率變得具有挑戰(zhàn)性，因?yàn)楫?dāng)我們遠(yuǎn)離最優(yōu)時(shí)，我們想要更快地走向最優(yōu)，而當(dāng)我們接近最優(yōu)時(shí)，我們想要慢一些，以確保我們收斂到最優(yōu)和全局最小值

。

·大量隱藏層需要處理梯度消失問(wèn)題

。

跳過(guò)連接和適當(dāng)?shù)姆蔷€性激活函數(shù)等架構(gòu)變化，有助于解決這個(gè)問(wèn)題

。

基于神經(jīng)架構(gòu)與大數(shù)據(jù)：深度學(xué)習(xí)帶來(lái)計(jì)算挑戰(zhàn)

現(xiàn)在我們知道深度學(xué)習(xí)只是一個(gè)學(xué)習(xí)復(fù)雜的函數(shù)，它帶來(lái)了其他計(jì)算挑戰(zhàn)：

要學(xué)習(xí)一個(gè)復(fù)雜的函數(shù)，我們需要大量的數(shù)據(jù)；為了處理大數(shù)據(jù)，我們需要快速的計(jì)算環(huán)境；因此，我們需要一個(gè)支持這種環(huán)境的基礎(chǔ)設(shè)施

。

使用CPU進(jìn)行并行處理不足以計(jì)算數(shù)百萬(wàn)或數(shù)十億的權(quán)重（也稱為DL的參數(shù)）

。

神經(jīng)網(wǎng)絡(luò)需要學(xué)習(xí)需要向量（或張量）乘法的權(quán)重

。

這就是GPU派上用場(chǎng)的地方，因?yàn)樗鼈兛梢苑浅？焖俚剡M(jìn)行并行向量乘法

。

根據(jù)深度學(xué)習(xí)架構(gòu)、數(shù)據(jù)大小和手頭的任務(wù)，我們有時(shí)需要1個(gè)GPU，有時(shí)，數(shù)據(jù)科學(xué)家需要根據(jù)已知文獻(xiàn)或通過(guò)測(cè)量1個(gè)GPU的性能來(lái)做出決策

。

通過(guò)使用適當(dāng)?shù)纳窠?jīng)網(wǎng)絡(luò)架構(gòu)（層數(shù)、神經(jīng)元數(shù)量、非線性函數(shù)等）以及足夠大的數(shù)據(jù)，深度學(xué)習(xí)網(wǎng)絡(luò)可以學(xué)習(xí)從一個(gè)向量空間到另一個(gè)向量空間的任何映射

。

這就是讓深度學(xué)習(xí)成為任何機(jī)器學(xué)習(xí)任務(wù)的強(qiáng)大工具的原因

。

關(guān)鍵詞： 神經(jīng)網(wǎng)絡(luò)