0731-84119821
151-1618-9803

掃一掃關(guān)注微信公眾號

      深度學(xué)習

    深度學(xué)習是機器學(xué)習研究中的一個(gè)新的領(lǐng)域,其動(dòng)機在于建立、模擬人腦進(jìn)行分析學(xué)習的神經(jīng)網(wǎng)絡(luò ),它模仿人腦的機制來(lái)解釋數據,例如圖像,聲音和文本。深度學(xué)習是無(wú)監督學(xué)習的一種。 深度學(xué)習的概念源于人工神經(jīng)網(wǎng)絡(luò )的研究。含多隱層的多層感知器就是一種深度學(xué)習結構。深度學(xué)習通過(guò)組合低層特征形成更加抽象的高層表示屬性類(lèi)別或特征,以發(fā)現數據的分布式特征表示。

深度

從一個(gè)輸入中產(chǎn)生一個(gè)輸出所涉及的計算可以通過(guò)一個(gè)流向圖(flow graph)來(lái)表示:流向圖是一種能夠表示計算的圖,在這種圖中每一個(gè)節點(diǎn)表示一個(gè)基本的計算并且一個(gè)計算的值(計算的結果被應用到這個(gè)節點(diǎn)的孩子節點(diǎn)的值)??紤]這樣一個(gè)計算集合,它可以被允許在每一個(gè)節點(diǎn)和可能的圖結構中,并定義了一個(gè)函數族。輸入節點(diǎn)沒(méi)有父親,輸出節點(diǎn)沒(méi)有孩子。

這種流向圖的一個(gè)特別屬性是深度(depth):從一個(gè)輸入到一個(gè)輸出的最長(cháng)路徑的長(cháng)度。

傳統的前饋神經(jīng)網(wǎng)絡(luò )能夠被看做擁有等于層數的深度(比如對于輸出層為隱層數加1)。SVMs有深度2(一個(gè)對應于核輸出或者特征空間,另一個(gè)對應于所產(chǎn)生輸出的線(xiàn)性混合)。

解決問(wèn)題

需要使用深度學(xué)習解決的問(wèn)題有以下的特征:

1.深度不足會(huì )出現問(wèn)題。

2.人腦具有一個(gè)深度結構。

3.認知過(guò)程逐層進(jìn)行,逐步抽象。

在許多情形中深度2就足夠表示任何一個(gè)帶有給定目標精度的函數。但是其代價(jià)是:圖中所需要的節點(diǎn)數(比如計算和參數數量)可能變的非常大。理論結果證實(shí)那些事實(shí)上所需要的節點(diǎn)數隨著(zhù)輸入的大小指數增長(cháng)的函數族是存在的。

我們可以將深度架構看做一種因子分解。大部分隨機選擇的函數不能被有效地表示,無(wú)論是用深的或者淺的架構。但是許多能夠有效地被深度架構表示的卻不能被用淺的架構高效表示。一個(gè)緊的和深度的表示的存在意味著(zhù)在潛在的可被表示的函數中存在某種結構。如果不存在任何結構,那將不可能很好地泛化。

優(yōu)勢


用更多的數據或是更好的算法來(lái)提高學(xué)習算法的結果。對某些應用而言,深度學(xué)習在大數據集上的表現比其他機器學(xué)習(ML)方法都要好(稍后將討論例外情況)。這些又如何轉化為現實(shí)生活中的情形呢?深度學(xué)習更適合無(wú)標記數據,因而它并不局限于以實(shí)體識別為主的自然語(yǔ)言處理(NLP)領(lǐng)域。