RNN如何訓(xùn)練并預(yù)測(cè)時(shí)序信號(hào)

RNN如何訓(xùn)練并預(yù)測(cè)時(shí)序信號(hào)，針對(duì)這個(gè)問(wèn)題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問(wèn)題的小伙伴找到更簡(jiǎn)單易行的方法。

上期我們一起用RNN做了一個(gè)簡(jiǎn)單的手寫(xiě)字分類(lèi)器，
今天我們一起學(xué)習(xí)下RNN是如何訓(xùn)練并預(yù)測(cè)時(shí)序信號(hào)的，比如股票價(jià)格，溫度，腦電波等。
每一個(gè)訓(xùn)練樣本是從時(shí)序信號(hào)中隨機(jī)選擇20個(gè)連續(xù)的值，訓(xùn)練樣本相對(duì)應(yīng)的目標(biāo)是一個(gè)往下一個(gè)時(shí)間的方向平移了一個(gè)step之后的20個(gè)連續(xù)值，也就是除了最后一個(gè)值不一樣，前面的值和訓(xùn)練樣本的后19個(gè)都一樣的一個(gè)序列。如下圖：
首先，我們創(chuàng)建一個(gè)RNN網(wǎng)絡(luò)，它包括 100個(gè)循環(huán)神經(jīng)元，由于訓(xùn)練樣本的長(zhǎng)度為20，所以我們將其展開(kāi)為20個(gè)時(shí)間片段。每一個(gè)輸入包含一個(gè)特征值（那一時(shí)刻的值）。同樣，目標(biāo)也包含20個(gè)輸入，代碼如下，和之前的差不多：

n_steps = 20
n_inputs = 1
n_neurons = 100
n_outputs = 1
X = tf.placeholder(tf.float32, [None, n_steps, n_inputs])
y = tf.placeholder(tf.float32, [None, n_steps, n_outputs])
cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu)
outputs, states = tf.nn.dynamic_rnn(cell, X, dtype=tf.float32)

在每一個(gè)時(shí)刻，我們都有一個(gè)size為100的輸出向量，但是實(shí)際上，我們需要的是一個(gè)輸出值。最簡(jiǎn)單的方法就是用一個(gè)包裝器(Out putProjectionWrapper)把一個(gè)循環(huán)神經(jīng)元包裝起來(lái)。包裝器工作起來(lái)類(lèi)似一個(gè)循環(huán)神經(jīng)元，但是疊加了其他功能。比如它在循環(huán)神經(jīng)元的輸出地方，增加了一個(gè)線性神經(jīng)元的全連接層（這并不影響循環(huán)神經(jīng)元的狀態(tài)）。所有全連接層神經(jīng)元共享同樣的權(quán)重和偏置。如下圖：

包裝一個(gè)循環(huán)神經(jīng)元相當(dāng)簡(jiǎn)單，只需要微調(diào)一下之前的代碼就可以將一個(gè)BasicRNNCell轉(zhuǎn)換成OutputProjectionWrapper，如下：

cell = tf.contrib.rnn.OutputProjectionWrapper(
    tf.contrib.rnn.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu),
    output_size=n_outputs)

到目前為止，我們可以來(lái)定義損失函數(shù)了，跟之前我們做回歸一樣，這里用均方差（MSE）。接下來(lái)再創(chuàng)建一個(gè)優(yōu)化器，這里選擇Adam優(yōu)化器。如何選擇優(yōu)化器，見(jiàn)之前文章：
深度學(xué)習(xí)算法(第5期)----深度學(xué)習(xí)中的優(yōu)化器選擇

learning_rate = 0.001
loss = tf.reduce_mean(tf.square(outputs - y))
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
training_op = optimizer.minimize(loss)
init = tf.global_variables_initializer()

接下來(lái)就是執(zhí)行階段：

n_iterations = 10000
batch_size = 50
with tf.Session() as sess:
    init.run()
    for iteration in range(n_iterations):
        X_batch, y_batch = [...] # fetch the next training batch
        sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
        if iteration % 100 == 0:
            mse = loss.eval(feed_dict={X: X_batch, y: y_batch})
            print(iteration, "\tMSE:", mse)

輸出結(jié)果如下：

0 MSE: 379.586
100 MSE: 14.58426
200 MSE: 7.14066
300 MSE: 3.98528
400 MSE: 2.00254
[...]

一旦模型訓(xùn)練好之后，就可以用它來(lái)去預(yù)測(cè)了：

X_new = [...] # New sequences
y_pred = sess.run(outputs, feed_dict={X: X_new})

下圖顯示了，上面的代碼訓(xùn)練1000次迭代之后，模型的預(yù)測(cè)結(jié)果： 盡管用OutputProjectionWrapper是將RNN的輸出序列降維到一個(gè)值的最簡(jiǎn)單的方法，但它并不是效率最高的。這里有一個(gè)技巧，可以更加高效：先將RNN輸出的shape從[batch_size, n_steps, n_neurons]轉(zhuǎn)換成[batch_size * n_steps, n_neurons]，然后用一個(gè)有合適size的全連接層，輸出一個(gè)[batch_size * n_steps, n_outputs]的tensor，最后將該tensor轉(zhuǎn)為[batch_size, n_steps, n_outputs]。如下圖： 該方案實(shí)施起來(lái)，并不難，這里不需要OutputProjectionWrapper包裝器了，只需要BasicRNNCell，如下：

cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu)
rnn_outputs, states = tf.nn.dynamic_rnn(cell, X, dtype=tf.float32)

然后，我們對(duì)結(jié)果進(jìn)行reshape，全連接層，再reshape，如下：

stacked_rnn_outputs = tf.reshape(rnn_outputs, [-1, n_neurons])
stacked_outputs = fully_connected(stacked_rnn_outputs, n_outputs,
            activation_fn=None)
outputs = tf.reshape(stacked_outputs, [-1, n_steps, n_outputs])

接下來(lái)的代碼和之前的一樣了，由于這次只用了一個(gè)全連接層，所以跟之前相比，速度方面提升了不少。

關(guān)于RNN如何訓(xùn)練并預(yù)測(cè)時(shí)序信號(hào)問(wèn)題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒(méi)有解開(kāi)，可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識(shí)。