我們分析了超過50萬首詩歌，教你用代碼寫詩（附代碼）

本文作者： AI研習(xí)社-譯站

2018-03-08 11:36

導(dǎo)語：我能用代碼寫詩嗎？我可不可以做一個可以寫出原創(chuàng)詩歌的機(jī)器人？為了找出方法，我做了一個實驗。

本文為雷鋒字幕組編譯的技術(shù)博客，原標(biāo)題To a Poem is a Bott the Stranger，作者 Carly Stambaugh。

翻譯 | 于澤平馬雪潔整理 | 凡江編輯 | 吳璇

代碼即詩歌。這是WordPress軟件的哲學(xué)。

作為一位程序員和詩人，我一直很喜歡這句話。我決定換種方式思考這句話。

我想問，我能用代碼寫詩嗎？我可不可以做一個可以寫出原創(chuàng)詩歌的機(jī)器人？為了找出方法，我做了一個實驗。

首先，我知道如果我的機(jī)器人想寫詩，首先要讓它讀詩。2017年，許多作者用WordPress發(fā)表了超過50萬個標(biāo)簽為詩歌的帖子。我聯(lián)系了一些寫了許多詩的詩人，并問他們是否愿意和我一起進(jìn)行一個有趣的實驗：他們是否允許我的機(jī)器人讀他們的作品，讓它可以從中學(xué)習(xí)出詩歌的形式和結(jié)構(gòu)，從而可能學(xué)會自己寫詩？特別感謝這些為了科學(xué)而合作的很棒的作家們！

邊緣之O - Robert Okaji
沃爾夫的詩 - Linda J. Wolff
詩歌，散文與散步 - Frank Hubeny
生命的視角，宇宙和萬物 - Aurangzeb Bozdar

什么是LSTM，它如何生成文本？

我使用一種名為LSTM的神經(jīng)網(wǎng)絡(luò)創(chuàng)建我的機(jī)器人，它也叫作長短期記憶網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)使用“層”將問題分解為許多小問題。

舉個例子，假設(shè)你正在訓(xùn)練一個可以識別正方形的神經(jīng)網(wǎng)絡(luò)?？赡芤粋€層負(fù)責(zé)識別直角，另一個層負(fù)責(zé)識別平行邊。它們同時存在時圖像才是正方形。神經(jīng)網(wǎng)絡(luò)通過訓(xùn)練數(shù)百萬張正方形圖像，從中學(xué)習(xí)到這些層。它可以學(xué)習(xí)到圖像中的哪些方面對于識別正方形是重要的，哪些是不重要的。

現(xiàn)在假設(shè)你用一個神經(jīng)網(wǎng)絡(luò)預(yù)測這個序列的下一個字母：

th_

作為一個普通人，這個任務(wù)真是太簡單了。你會猜e，我打賭，如果你會說英文，你肯定不會猜q。因為你知道在英文中th后面不會接q。前面的字母和預(yù)測的接下來的字母關(guān)聯(lián)性非常強(qiáng)。LSTM可以“記住”以前的狀態(tài)并以此作出當(dāng)前的決定。如果想深入了解LSTM是如何工作的，可以查看這個很贊的帖子，作者是谷歌大腦的Chris Olah。

與許多用LSTM生成文本的例子相同，機(jī)器人生成文本時每一時刻生成一個字符。想要把單詞聚集成有意義的詩句，首先它要學(xué)會如何產(chǎn)生單詞。為了達(dá)到這個目標(biāo)，它需要數(shù)百萬個包含有效單詞的序列例子。有一件好事就是：WordPress有很多詩歌！

準(zhǔn)備數(shù)據(jù)集

我從上面的鏈接中獲得了所有的詩歌。我使用一個很簡單的規(guī)則，通過判斷每個字符\n對應(yīng)多少個單詞判斷文本是否是詩歌。如果文本有許多單詞但字符\n很少，它可能是一段或多段文字的集合。相反地，如果同樣的文本有許多行，那么它是詩歌的可能性更大。

當(dāng)然，這是一個很簡單的方法，我能想出來很多好詩并不符合這樣的測試方法！但為了這個實驗的目的，我特別感興趣的是LSTM是否可以學(xué)習(xí)出如斷行和節(jié)奏等結(jié)構(gòu)特點(diǎn)，以及詩歌中包含的押韻、諧音、頭韻等特點(diǎn)。所以，把訓(xùn)練數(shù)據(jù)限制在有結(jié)構(gòu)的詩歌中是有道理的。

如果一段文本被判斷為一首詩，我把它寫到一個文件中，用++++\n作為前綴，表示一首新詩歌的開始。最終獲得了500KB的訓(xùn)練數(shù)據(jù)。通常，我嘗試訓(xùn)練LSTM時都要用至少1MB的數(shù)據(jù)集，因此我需要尋找更多的詩歌！我在去年發(fā)表的標(biāo)簽為詩歌的公共帖子中隨機(jī)選擇樣本作為特色詩人的補(bǔ)充。如果你在WordPress中點(diǎn)擊過詩歌這一標(biāo)簽，你可能會發(fā)現(xiàn)你對它們很熟悉。我在每一個作者中選擇一個帖子作為詩歌。

訓(xùn)練LSTM網(wǎng)絡(luò)

當(dāng)我獲得1MB的詩歌時，我開始建立LSTM網(wǎng)絡(luò)。我使用Python中的keras工具建立神經(jīng)網(wǎng)絡(luò)，keras的GitHub中有許多例子，可以幫助你學(xué)習(xí)使用幾種不同類型的神經(jīng)網(wǎng)絡(luò)，其中有一個例子就是使用LSTM生成文本。我在這個例子后貼出了我的代碼，并開始嘗試不同的模型配置。模型的目標(biāo)是生成原始的詩歌。在這個例子中，過擬合--將訓(xùn)練數(shù)據(jù)學(xué)習(xí)得太好以至于模型無法概括數(shù)據(jù)的特點(diǎn)--會使生成的文本和輸入文本非常相似。（這就像剽竊一樣，沒有詩人喜歡這樣?。┍苊膺^擬合的一種方式是在網(wǎng)絡(luò)中添加dropout。它迫使在每一步驟中有隨機(jī)權(quán)重下降到0。這有點(diǎn)像強(qiáng)迫網(wǎng)絡(luò)“忘記”一些它剛剛學(xué)到的東西。（為了防止詩人的作品沒有被機(jī)器人復(fù)制，我增加了額外的后期檢查。）

我使用FloydHub的GPU完成訓(xùn)練我的網(wǎng)絡(luò)這一繁重工作。這使我可以用比我的筆記本電腦快10倍的速度訓(xùn)練我的網(wǎng)絡(luò)。我的第一個網(wǎng)絡(luò)使用一個LSTM層，后面接入一個dropout層。這真的產(chǎn)生了像詩歌的文本！它有斷行和闋，幾乎所有的字符組合都是真正的單詞。有時整句話略微一致，事實上，第一個迭代后產(chǎn)生了這句如寶石般精彩的話：

我們分析了超過50萬首詩歌，教你用代碼寫詩（附代碼）

添加LSTM層，在每一層中試驗dropout的參數(shù)，直到最終獲得了下面的模型。最終選擇使用3個LSTM層，因為再增加層數(shù)會讓訓(xùn)練時間變得不合理，而且3層的結(jié)果已經(jīng)很不錯了。

model = Sequential()
model.add(LSTM(300, input_shape=(maxlen, len(chars)), return_sequences=True, dropout=
20, recurrent_dropout=.20))
model.add(LSTM(300, return_sequences=True, dropout=.20, recurrent_dropout=.20))
model.add(LSTM(300, dropout=.20, recurrent_dropout=.20))
model.add(Dropout(.20))
model.add(Dense(len(chars)))
model.add(Activation('softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam')

這是一張圖表，對比了增加不同LSTM層的模型對應(yīng)的損失曲線。

我們分析了超過50萬首詩歌，教你用代碼寫詩（附代碼）

網(wǎng)絡(luò)中LSTM層數(shù)越多，驗證損失下降的速率就越快。

哎呀！尖峰！表明這種情況通常發(fā)生在使用adam作為優(yōu)化器時。注意到在網(wǎng)絡(luò)中增加LSTM層數(shù)時，模型的驗證損失下降得更多，而且下降的速率也更快。這意味著遍歷更少的epoch就可以收斂，但增加LSTM層也增加了每一個epoch的訓(xùn)練時間。網(wǎng)絡(luò)中有一層LSTM時，訓(xùn)練一個epoch需要大約600秒，全部訓(xùn)練結(jié)束需要一夜。然而，3個LSTM層的網(wǎng)絡(luò)訓(xùn)練一個epoch需要7000秒，完成訓(xùn)練需要幾天。因此，驗證損失下降得更快并不意味著更快得到結(jié)果。但在我看來，即使訓(xùn)練時間很長，3個LSTM層的網(wǎng)絡(luò)得到了最好的詩歌。

生成詩歌

為了產(chǎn)生完全原創(chuàng)的文本，也需要改變生成文本的方式。在keras的例子中，這個例子從訓(xùn)練數(shù)據(jù)中選擇一個隨機(jī)的字符序列作為種子，輸入到訓(xùn)練好的網(wǎng)絡(luò)中。我要的是一個可以自己寫詩的機(jī)器人，而不是完成其他詩人的提示！因此，我在文本生成步驟中嘗試了不同的種子。因為我之前在訓(xùn)練集中使用++++\n作為每首詩歌的開始，我認(rèn)為它可以創(chuàng)作出原始的詩歌。然而結(jié)果是\n，_，.和&的無意義的組合。

經(jīng)過一些嘗試和失敗之后，我發(fā)現(xiàn)種子序列需要與訓(xùn)練序列具有相同數(shù)量的字符，這在事后看起來是顯而易見的！最終，我使用300個字符的序列，我將++++\n重復(fù)到300個字符作為種子，機(jī)器人可以通過偶爾將++++\n分開以此生成每一輪詩歌。

劇本產(chǎn)生新一輪詩歌后，進(jìn)行了最后的抄襲檢查。因此，首先在訓(xùn)練集中創(chuàng)建了所有獨(dú)特的4-grams（包含4個詞的短語）的集合，且對機(jī)器人詩歌創(chuàng)建相同集。計算兩集之間的交集。為驗證實驗?zāi)康?，手動檢查了4-grams，以確保在兩個集合中出現(xiàn)的短語為inane。通常情況下，這個交點(diǎn)包含如下內(nèi)容：

我不想要
我不能夠
我想成為
…的聲音

然后重復(fù)這個過程，使用5-grams和6-grams進(jìn)行良好測量。若要使該過程自動化，可能會采取一種基頻法，排除在多個著作中常見的n-gram，認(rèn)為是剽竊的情況。

詩歌！

每個時期輸出模型權(quán)重意味著我們可以在訓(xùn)練期間的幾個點(diǎn)上加載模型快照?；仡欁詈竽Ｐ偷脑缙跁r代，明顯機(jī)器人掉線很快。期望可以將其用于設(shè)計上，訓(xùn)練數(shù)據(jù)最顯著的特征是每行幾個字符。下面是一個例子，訓(xùn)練結(jié)束后生成的詩歌：