- 音樂數據分析
- 陳根方
- 2319字
- 2023-07-07 18:44:06
第三節 音樂人工智能應用
人工智能在音樂藝術領域有著廣泛的應用,其中算法作曲是人工智能的較早應用之一。早在1956年,Lejaren Hiller出版了算法作曲作品—弦樂四重奏《Illiac組曲》,從而揭開了人工智能在音樂藝術領域的應用前景。現在,利用深度學習技術進行音樂創作的探索研究正在展開,2017年,多倫多大學的儲航(音)等利用深度學習的卷積神經網絡(Convolutional Neural Networks)的方法,從100小時的MIDI音樂格式里面進行學習,然后采樣訓練好的模型來生成音樂[11]。
音樂檢索是利用有限的音樂信息獲取更多相關音樂信息的過程,通過提供文本、音頻片段或實例等有限的音樂信息,獲取更多與提供的音樂信息相同或相似的音樂信息,常見的音樂檢索有基于文本關鍵詞檢索、基于音樂情感分類檢索、基于哼唱的音樂檢索和基于實例的音樂檢索,檢索的結果有文本、樂譜、音頻或音序等形式。其中基于哼唱的音樂檢索是音樂檢索的重要研究內容,哼唱檢索中常用的技術有旋律輪廓、基頻和能量、隱馬爾科夫模型(HMM)、動態閾值調整、相似度度量方法、樹法、遺傳算法、平滑音高序列法、動態時間規整(DTW)、多層檢索法等。[12]
樂譜音樂信息的自動識別研究,即光學樂譜識別(Optical Music Recognition, OMR),它利用掃描儀等數字化設備,將紙質樂譜以圖像的形式輸入到計算機,經過圖像處理與識別,把樂譜圖像自動轉化為標準的音樂格式文件。它綜合利用了人工智能、圖像工程、模式識別、MIDI技術、數學形態學、音樂理論等方面的知識。樂譜識別研究起源于1966年MIT的研究人員對五線譜樂譜進行的音樂信息識別[13],經過半個多世紀的研究,取得了大量的研究成果,OMR技術為紙質樂譜數字化提供了一個新的途徑,有著極為廣泛的應用前景,其中在計算機輔助音樂教學、音樂統計學和數字音樂圖書館建設等方面得到或將得到較好的應用。
音頻是信息的重要載體,是音樂傳播的主要方式之一,數字音頻中攜帶的音樂信息,可以轉換為其他音樂媒體,從識別的結果看,包括文本、數字樂譜和數字音序。音頻識別研究有三十多年的研究歷史[14],主要針對音樂音頻和語音音頻進行識別和分類,音頻轉換為文本的研究對象有樂器音頻識別、中國民歌分類識別、中國戲曲唱腔分類識別、音樂流派分類識別等;轉換為樂譜(或音序)的研究對象有音高分類識別、節奏識別等。在音頻識別中,常用的數據特征有能量譜、過零率、Mel頻率倒譜系數、線性預測系數LPC、小波系數等。在音頻識別中常用的人工智能方法有神經網絡、最近鄰算法、決策量化樹、高斯混合模型(GMM)、最近特征線(Nearest Feature Line, NFL)、支持向量機等。
音樂是情感的藝術,基于內容的情感感知和識別是智能音樂學的一個重要方向,也是從數字音頻到“情感表示”模型的轉換過程,[15]常見的音樂“情感表示”模型有Thayer的二維情感模型、Dorai和Venkatesh的節拍和清晰度二維模型、Hevner的情感環模型等。情感感知與分類的常見技術有多模型分類器、模糊法、個性特征、感知模型、GMM模型、HMM模型、SVM模型等。情感識別的對象為數字音頻或數字音序,相比較而言,數字音序中的音樂信息有明確的音高、節拍和強度,而數字音頻中攜帶的信息較多,因此,數字音序的情感感知效果依賴于音樂理論的運用,而數字音頻的情感感知效果則更依賴于音頻特征的選擇。
音樂智能分析是指從大量的音樂數據中通過算法搜索隱藏于其中有用信息的過程。分析過程通常通過統計、在線分析處理、情報檢索、機器學習、專家系統(依靠過去的經驗法則)和模式識別等諸多方法來實現上述目標。音樂是時間的藝術,音樂資料浩如煙海,大量資料可以在信息時代被利用,在音樂大數據中進行信息挖掘,特別是從大量的樂曲中提煉出個性化、適合特定用戶的樂曲,是音樂推薦的主要研究目的。[16]
數字水印技術是將一些標識信息(數字水印)直接嵌入數字載體(包括多媒體、文檔、軟件等)中,并不影響原載體的使用價值。版權保護是水印技術重要的應用場景,可利用版權認證來保護原數字載體的權益。在研究音樂作品版權保護的問題時,音頻、樂譜、文本等不同媒體是常用的數字載體,針對不同的媒體格式,開發出大量不同的水印技術。有一些技術已應用于MP3音頻的版權保護。
3D打印技術是近幾年非常熱的研究領域,這是一種累積制造技術,即擁有快速成型技術的機器。[17]它以數字模型文件為基礎,運用特殊蠟材、粉末狀金屬或塑料等可黏合材料,通過打印一層層的黏合材料來制造三維的物體。利用3D打印技術打印的樂器有電聲吉他、鼓、長笛、鋼琴、黃鐘笛、電簫等,其中我國有學者在黃鐘笛、電簫的3D打印上進行了有益的嘗試。
智能音箱是利用人機語音交互技術,面向家居場景提供搜索、聽歌、購物、社交等服務的智能硬件。[18]2014年11月,Amazon公司公布了全球首款智能音箱Echo,迄今其全球銷量超過1000萬臺。五年來,大量的智能音箱先后出現,如Rokid Alien、天貓精靈X1、蘋果Home Pad、Google Home、聯想智能音箱、叮當智能音箱A1等產品上市。
音樂機器人(Musical Robot)是通過程序輸入(數字或機械)而實現自動演奏音樂的仿真機器。[19]音樂機器人歷史悠久,從最早的八音盒到豐田公司的小提琴演奏手歷經二百多年的發展,在世界上有影響力的有鋼琴機器人、小提琴機器人、長笛機器人、風笛機器人、馬林巴機器人等,我國科研工作者在葫蘆絲演奏機器人、揚琴演奏機器人、豎笛研究機器人、鋼琴演奏機器人、鼓樂演奏機器人和民族樂隊演奏機器人等方面進行了探索研究和實踐嘗試。
在新時代,人工智能和大數據等信息技術直接影響和改變了人類社會,人類的科學研究也步入了第四范式時期—數據密集型研究時期,和第一范式的實驗法、第二范式的理論演化法和第三范式的計算仿真模擬法不同,第四范式以海量數據為材料,利用人工智能和算法技術,通過超級計算能力分析海量數據,從中發現和挖掘出數據間的關聯規則,由此來獲得新的知識。音樂數據是大數據的一個重要媒體類型,音樂數據的智能分析將為音樂藝術的研究提供新的思路。