如何設計深度學習網路結構

1樓：匿名使用者

說來慚愧，雖然做老師十幾年，也學習過一些學習理論，自認為有了一點點思考和體會，但是關於深度學習，我瞭解的還真不是太系統，當我看到今天研討的題目後，有一種很茫然的感覺，於是就在網路上學習了一些有關深度學習的文章，結合自己的體會進。

訓練深度學習網路時候，出現nan是什麼原因，怎麼才能避免

2樓：淚笑

說明訓練不收斂了，學習率太大，步子邁的太大導致梯度**等都是有可能的，另外也有可能是網路的問題，網路結構設計的有問題。

我現在的採用方式是：

1. 弱化場景，將你的樣本簡化，各個學習率等引數採用典型配置，比如10萬樣本都是同一張複製的，讓這個網路去擬合，如果有問題，則是網路的問題。否則則是各個引數的問題。

2. 如果是網路的問題，則通過不斷加大樣本的複雜度和調整網路（調整擬合能力）來改變。

3. 引數的微調，我個人感覺是在網路的擬合能力和樣本的複雜度匹配的情況下，就是可以train到一定水平，然後想進行進一步優化的時候採用。

深度學習之道：如何選擇深度學習演算法架構

3樓：網友

演算法架構，要利用數學裡面的函式，分類，統計一些相關的演算法。書學必須好。

深度學習和神經網路的區別是什麼

4樓：hi漫海

從廣義上說深度學習的網路。

結構也是多層神經網路的一種。

傳統意義上的多層神經網路是隻有輸入層、隱藏層、輸出層。其中隱藏層的層數根據需要而定，沒有明確的理論推導來說明到底多少層合適。

而深度學習中最著名的卷積神經網路cnn，在原來多層神經網路的基礎上，加入了特徵學習部分，這部分是模仿人腦對訊號處理上的分級的。具體操作就是在原來的全連線的層前面加入了部分連線的卷積層與降維層，而且加入的是乙個層級。

輸入層 - 卷積層 -降維層 -卷積層 - 降維層 --隱藏層 -輸出層。

簡單來說，原來多層神經網路做的步驟是：特徵對映到值。特徵是人工挑選。

深度學習做的步驟是訊號->特徵->值。特徵是由網路自己選擇。

5樓：網友

這兩個概念實際上是互相交叉的，例如，卷積神經網路（convolutional neural networks，簡稱cnns）就是一種深度的監督學習下的機器學習模型，而深度置信網（deep belief nets，簡稱dbns）就是一種無監督學習下的機器學習模型。

深度學習的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現資料的分散式特徵表示。

深度學習的概念由hinton等人於2006年提出。基於深信度網(dbn)提出非監督貪心逐層訓練演算法，為解決深層結構相關的優化難題帶來希望，隨後提出多層自動編碼器深層結構。此外lecun等人提出的卷積神經網路是第乙個真正多層結構學習演算法，它利用空間相對關係減少引數數目以提高訓練效能。

6樓：網友

什麼是神經網路，深度學習。

7樓：網友

《智慧型問答與深度學習》chatoperaceo王海良著，對學習智慧型問答的朋友很有用！強烈推薦！

想學習深度學習需要什麼樣的基礎

8樓：hvve小噯

深度學習是人工智慧python方向的，所以需要一定的計算機知識基礎和人工智慧相關的知識基礎。

9樓：賈梓默

機器學習肯bai定是深度學習du的基礎，因為深zhi度學習就是深度神經網路dao，而人工神經專網路則是屬機器學習的一大經典模型。

但機器學習領域包含的演算法和模型太多，因此想要專精深度學習不一定要學會其他許多的機器學習演算法和理論。

所以只需要學習機器學習中和深度學習相關的必備基礎知識就可以了。

但是如果你想要以後往演算法工程師發展，去學習熟悉其他的機器學習模型也是必不可少的。