編者按：數(shù)據(jù)科學(xué)家Rosebud Anwuri使用R語言分析了告示牌百強(qiáng)單曲榜上的歌曲特征，以揭示過去60年來流行音樂的演變。

你從“年長者”那里最常聽到的關(guān)于現(xiàn)代流行樂的看法是什么？一般來說是這個：“你們的音樂太吵了，缺乏內(nèi)容。”他們喜歡談?wù)摗肮旁纭蹦甏?，有意義的歌曲，有靈魂的歌手，催人淚下的低音吉他。

這兩者差別很大。然而，需要進(jìn)行一些數(shù)據(jù)分析才能得出一般結(jié)論。作為千禧一代和數(shù)據(jù)科學(xué)家，我對此很感興趣?！皞ゴ蟆钡囊魳返臉?biāo)準(zhǔn)真改變了那么多？是聲音、歌詞還是“消息”改變了？如果它們改變了，它們具體是如何改變的？

我將使用告示牌百強(qiáng)單曲榜（Billboard's Hot 100）和Spotify的API作為數(shù)據(jù)來源，仔細(xì)查看流行音樂在過去六十年來的變化，并找出現(xiàn)在的流行音樂和以前的不同之處。

我的方法

在本文中，我所說的“偉大音樂”指進(jìn)入告示牌百強(qiáng)單曲榜的音樂。我在GitHub上找到了相應(yīng)的數(shù)據(jù)集kevinschaich/billboard-top-100-lyrics。這一數(shù)據(jù)集中包含許多有趣的特征，例如情感（Sentiment）、迷霧指數(shù)（估計在第一遍閱讀時理解文本所需的正式教育年限）、單詞數(shù)、重復(fù)單詞/詞組數(shù)。 此外，Spotify的API提供了一個有趣的接口getaudiofeatures，其中提供了很多音樂特征，例如響度、樂器性（使用樂器的程度）、活力、現(xiàn)場性（現(xiàn)場是否有觀眾）、語音性、時長等。加上這些，我收集的1950年到2015年的告示牌百強(qiáng)單曲，總共有30項特征。

這些特征的描述可以在GitHub倉庫的README文件和Spotify的API文檔中查到，我也會在后文解釋其中的部分特征。

我最初決定在這個項目中使用Python，某種程度上說，我確實用了Python。在我數(shù)據(jù)收集的第一次迭代的時候，我使用了Python的pandas和spotipy這兩個庫。

然而，隨著項目的進(jìn)行，我重新審視了我所用的方法，找到了一個更有趣的數(shù)據(jù)集。為此，我轉(zhuǎn)而使用R來完成這一項目，主要是因為R提供的tidyr::gather()函數(shù)（用pandas合并數(shù)據(jù)真是讓我心煩意亂）。

我用R和Python寫的代碼，以及我最終整理的數(shù)據(jù)集，均可通過GitHub訪問：RosebudAnwuri/TheArtandScienceofData/The Making of Great Music 和我的其他項目相比，我在收集數(shù)據(jù)方面花的時間很少，這是因為，和我的其他項目不同，有人花時間準(zhǔn)備了可以直接使用的數(shù)據(jù)集。我之所以分享整理的數(shù)據(jù)集，同樣也是希望能為其他人提供方便。

讓我們開始吧！

1. 六十年來的主要變化

通過聚類算法，我們可以根據(jù)歌曲的特征找到音樂家及其作品的相似性/聚類。

我們找到了兩個藝術(shù)家聚類——弦樂愛好者（The String Lovers）和詩論家（The Poetics）。這兩個名稱的由來是影響聚類的最重要因素：樂器性（Instrumentalness）和語音性（Speechiness）。

弦樂愛好者的樂器性數(shù)值高，而語音性數(shù)值低。這意味著，這一階段的藝術(shù)家相比語言，更傾向于樂器。

詩論家正好與此相反。

大部分弦樂愛好者出現(xiàn)在上世紀(jì)90年代前的百強(qiáng)榜上。

大部分詩論家出現(xiàn)在上世紀(jì)90年代后的百強(qiáng)榜上。

上世紀(jì)90年代看起來是一個關(guān)鍵時期。如我們所見，弦樂愛好者和詩論家這兩個聚類在上世紀(jì)90年代幾乎平分秋色。

2. 樂器使用下降主要是因為搖滾樂隊不再流行

在上世紀(jì)60年代后期到21世紀(jì)早期，樂隊極為流行，數(shù)量和單獨(dú)的藝術(shù)家一樣多。

在21世紀(jì)之前，對每一年而言，樂隊數(shù)量越多，當(dāng)年的平均樂器性的數(shù)值就越高。

然而，在21世紀(jì)以來，樂隊數(shù)對樂器的使用基本上毫無影響。

除了兩個離散值，從上圖我們可以看到，樂隊數(shù)和樂器使用沒什么關(guān)系。這很有趣，因為正如我之前提到過的，在21世紀(jì)早期，樂隊仍然很流行。

所以，發(fā)生了什么？

我相信你已經(jīng)猜到了。樂隊的類型變化了。

在上世紀(jì)90年代之前，大約60%的樂隊是搖滾樂隊——典型的搖滾樂隊由一名主唱和一組樂器手組成。

然而，21世紀(jì)以來，搖滾樂隊的百分比顯著下降了，為流行樂隊（Pop bands）騰出了空間，流行樂隊通常完全由歌手組成，例如天命真女（Destiny's Child）、小野貓（Pussycat Dolls）、五美（Fifth Harmony）、單向（One Direction）。

3. 詩論家聚群的興盛也許部分歸因于嘻哈的興起

除了語音值的提升（用詞的增加），詩論家聚群使用復(fù)合詞的幾率是弦樂愛好者聚群的兩倍以上（例如，Jay-Z喜歡用opulence而不是wealth），用詞的音節(jié)數(shù)也更多。這讓我們馬上聯(lián)想到了一種音樂流派：嘻哈（Hip-Hop）。

我們看到，嘻哈在上圖的四項統(tǒng)計中均排第一，難怪嘻哈在上世紀(jì)90年代成為主流流行樂——和詩論家聚群的興盛相呼應(yīng)。

4. 盡管音樂風(fēng)格大變，過去六十年流行歌曲的主題始終是愛情

我使用主題建模算法得出了這一結(jié)論。顧名思義，該算法搜索給定文本的主題。

在我們的例子中，文本為告示牌百強(qiáng)單曲的歌詞。

讓我們看看主題是如何隨著年代而改變的：

乍看起來，主題和風(fēng)格一樣，都在上世紀(jì)90年代發(fā)生了交替。然而，讓我們看看這兩個主題（Topic 1和Topic 2）的具體內(nèi)容：

我們看到，這兩個主題其實大同小異。過去60年的百強(qiáng)單曲，大部分都是“Yeah, I love my baby”（耶！我愛我的寶貝！）

主要的差別在于，上世紀(jì)90年代之前的歌曲可能更“直接”一點，正如你在上圖中看到的“gonna”（將要）。而上世紀(jì)90年代之后的歌曲看起來要間接一點，用“wanna”（想要）取代了“gonna”（將要）。

比較“安靜”的流派在詩論家時代絕跡了

這多多少少確認(rèn)了我們比以前更偏愛大聲的音樂。

各個流派的平均響度

五個最安靜的流派是——爵士（Jazz）、搖擺樂（Swing）、民謠（Folk）、藍(lán)調(diào)（Blues）、迪斯科（Disco）。

在詩論家時代，這些流派在百強(qiáng)榜上絕跡了，除了爵士樂還靠Norah Jones勉強(qiáng)存活。

這些意味著什么？

總結(jié)一下：

上世紀(jì)90年代是流行音樂極其重要的時期。

今日流行樂的形態(tài)，與搖滾樂隊的衰弱和嘻哈的興起有很大關(guān)系。

過去六十年來，愛情是流行樂永恒的主題，不過不同時期的音樂對這一主題的演繹有一些微妙的不同。

是的，現(xiàn)代藝術(shù)家可能更大聲，但這是因為我們有話要說 :)

獎勵邁克爾·杰克遜，盡管主要活躍于上世紀(jì)80年代，屬于詩論家聚群！他領(lǐng)先了時代！

結(jié)語

為了更好地演示這個項目的數(shù)據(jù)，我基于chart.js創(chuàng)建了一個面板

http://bit.ly/music-dashboard

目前我還沒有做好移動端適配，所以推薦在電腦上使用。

現(xiàn)在這個面板有兩個標(biāo)簽頁，第一個藝術(shù)家標(biāo)簽頁（Artist Dashboard）可以讓你查看藝術(shù)家的歌曲特征的平均值。

第二個對比標(biāo)簽頁（Comparison Dashboard）可以讓你比較2-3位藝術(shù)家的歌曲特征。

我所說的詩論家時代正是當(dāng)前的時代，因此如果我們有2016年到2018年的數(shù)據(jù)（特別是陷阱音樂的興起），上面的有些見解可能會改變。不過，我認(rèn)為大體上不會有太大的變動。

評測歌曲的“政治覺悟”（politically-aware）會很有意思。我可能會在Twitter上（@RosebudAnwuri）發(fā)布這一結(jié)果。

我在創(chuàng)建這個項目的時候獲得了很多樂趣，我希望你閱讀的時候也獲得了同樣的樂趣。