1. 場景與應用

在循環(huán)神經(jīng)網(wǎng)絡可以用于文本生成、機器翻譯還有看圖描述等，在這些場景中很多都出現(xiàn)了RNN的身影。

2. RNN的作用

傳統(tǒng)的神經(jīng)網(wǎng)絡DNN或者CNN網(wǎng)絡他們的輸入和輸出都是獨立的。對于這些模型輸入的數(shù)據(jù)跟輸出的數(shù)據(jù)大多是關聯(lián)不太緊密的場景，但是有些場景輸入的數(shù)據(jù)對后面輸入的數(shù)據(jù)是有關系的，或者說后面的數(shù)據(jù)跟前面的數(shù)據(jù)是有關聯(lián)的。例如，對于文本類的數(shù)據(jù)，當輸入某句話的時候，剛開始輸入第一個字的時候，再輸入這句話的第二個字時候，其實第二個字要輸入什么字其實是跟第一個字是有關聯(lián)的。所以，對于這樣一類的場景，通常是要考慮前面的信息的，以至于引入RNN模型。

對于RNN模型為解決這類問題引入了“記憶”這一概念。循環(huán)神經(jīng)網(wǎng)絡的循環(huán)來源于其每個元素中都執(zhí)行相同的任務，但是輸出依賴于輸入和“記憶”兩個部分。

3. RNN結構

從圖中看，對于RNN網(wǎng)絡是按照時間序列展開的。對于圖中的變量Wt，是在時刻t處的輸入，St是時間t處的“記憶”，St=f(UXt+WSt?1 + b)，f可以是tanh等，f取tanh會把數(shù)據(jù)壓縮到一個范圍內(nèi)，有時候也可以使用sigmoid函數(shù)。Ot是時間t出的輸出，比如是預測下個詞的話，可能是softmax輸出的屬于每個候選詞的概率，Ot = softmax(VSt)。對于這里的St已經(jīng)把Xt合并了，所以Ot的公式只有St。

對于循環(huán)神經(jīng)網(wǎng)絡，可以把隱狀態(tài)St視作為“記憶體”，捕捉之前時間點上的信息。輸出Ot有當前時間及之前所有“記憶”共同計算得到的。但由于St是一個有限的矩陣，對于之前的信息并不能完全捕捉到，也會隨著時間的變長，對于之前的“記憶”也會“變淡”。對于RNN不同于DNN與CNN，這里的RNN其實整個神經(jīng)網(wǎng)絡都在共享一組參數(shù)（U,V,W），這樣極大的減小了需要訓練的參數(shù)。圖中的Ot再由寫任務下是不存在的，只需要對最后的結果輸出就可以。

4. 不同類型的RNN

(1). 雙向RNN

通過以上經(jīng)典的RNN模型，它是只關心當前的輸入和之前的“記憶”的，但有些情況下，當前的輸入不知依賴于之前的序列元素，還依賴于后面序列的元素。比如，一篇文章，當讀第一段時候我們并不知道文章的主體要講什么內(nèi)容，但當我們讀完第一段的時候需要判斷文章主要講什么內(nèi)容，這時候就需要讀后面的內(nèi)容才能知道這個文章主要講的是什么。對于這樣的場景需要后面的數(shù)據(jù)才能更好的預測當前的狀態(tài)，所以引入了雙向RNN，就是為了解決這一類問題的。雙向RNN的模型如下：

表達式：

雙向RNN是考慮到了前后的“記憶”，能夠更好的關聯(lián)到前后的信息。

(2). 深度雙向RNN

對于深度雙向RNN和雙向RNN的區(qū)別是每一步和每一個時間點我們設定了多層的結構。結構如下：

深層雙向RNN的表達式：

對于深層雙向RNN考慮的信息與雙向RNN相比變多了，這意味著能夠?qū)τ谀硤鼍埃軌蜿P聯(lián)更多的信息。

5. RNN與BPTT算法

對于循環(huán)神經(jīng)網(wǎng)絡的BPTT算法其實是BP算法的一個變體，但是循環(huán)神經(jīng)網(wǎng)絡的BPTT是與時間序列有關的。

對于這個問題是個Softmax問題所以這里用交叉熵損失，所以損失函數(shù)可以表示為：

對于求所有誤差求W得偏導函數(shù)為：

但是，

所以，所以根據(jù)求導鏈式法則可以進一步求得：（又因為他們的權值是共享的）

用圖表示如下：

通過上面的式子：

通過鏈式法則，表達式可以進一步表示為：

通過以上的步驟求得損失函數(shù)的偏導后，就可以用SGD算法去做參數(shù)的更新。