復(fù)活唐音，是一味怎樣的菜？

啟功先生說，唐詩都是嚷出來的。

但大唐盛世的風(fēng)流才子們，坐在一起嚷嚷，這畫風(fēng)顯然十分違和。所以更準(zhǔn)確地說，唐詩是唱出來的。

王之渙與高適、王昌齡共飲，最后聽歌女唱《涼州詞》的故事家喻戶曉;李白的《戰(zhàn)城南》《將進酒》等都是直接化用漢樂府;劉禹錫的《竹枝詞》直接就是南方山野民歌。

這些詩人都用邏輯告訴我們，唐詩是有曲的，能唱的。那么問題來了，1300多年過去了，這些唐曲今安在?

最近華為Mate 20 Pro研發(fā)團隊和上海音樂學(xué)院趙維平教授等研究人員合作，完成了一次嘗試：通過AI技術(shù)和華為Mate 20 Pro提供的終端AI算力，聯(lián)手“再現(xiàn)”了唐詩背后消失的音符，讓唐曲在耳邊回響。

這里想為大家講解一下這道“唐味大菜”的做法。或許很多朋友都曾有這樣的疑問：AI聽起來很厲害，實際到底能干嘛?

答案呢，也許就在《春江花月夜》的某個韻腳里。

唐音在哪里?

夏天到了，喜歡古音律的小伙伴們準(zhǔn)備出門尋找食材。通常來說他們會發(fā)現(xiàn)，唐代音律簡直比松茸還難采。

中國一直是個注重音律，且善于記載音律的國度。新石器時代出土的編鐘，其實就是對當(dāng)時古人所感知音律的“石制內(nèi)存”。而早在《管子》中，就已經(jīng)有了對“宮商”概念的記載和準(zhǔn)確描述。

歷朝歷代關(guān)于音律的記載并不少。但唯獨到了唐朝，這個繁盛的朝代或許是因為包容性太強，不喜歡一板一眼記錄音律這種事。最終唐代音韻變成了一個“文獻黑洞”。隋有“劉焯律”，五代有“王樸律”，唐代應(yīng)用特定音律的制度卻少有記載，幾乎只能從民間音樂、西域中亞音樂中搜尋一星半點盛唐的影子。

還有一種可能，就是從中古時期的文獻里尋找唐音。由于缺乏直接文獻記載，學(xué)術(shù)界往往只能依靠古曲譜來恢復(fù)唐音。“近代以琴律考證各代律制的研究頗有成效。但目前尚無傳世的唐代琴譜，只有南朝的梁丘明所傳之《碣石調(diào)·幽蘭》譜系唐人所抄，可算唐譜。這是目前唯一唐代實際用律的佐證?！?

這個《碣石調(diào)·幽蘭》可就厲害了，它不僅是目前唯一存世的唐代曲譜實物，并且還是唯一存世的古曲文字譜。

之所以《碣石調(diào)·幽蘭》是唯一的文字譜，并非因為其他古譜都被毀棄，而是因為自中晚唐之后，曲家開始通用減字譜來記錄琴曲。

所謂減字譜，形式上看像是由漢字減少筆畫后組合而成的復(fù)合字。沒有古琴基礎(chǔ)的人來看，基本就是一張張?zhí)鞎?。這種譜式的基本邏輯，是把一個字塊分為上下兩大部分。上半部表示左手指法及徽位，下半部表示弦次及右手指法。說白了，減字譜是把彈琴的手法用漢字來表示，這種譜只能記指法動作和弦序、徽位，而沒有像歐洲樂譜一樣記錄節(jié)拍和節(jié)奏。所以即使是有音樂基礎(chǔ)的人也很難把握其音樂走向。

相傳，減字譜是由唐代曹柔發(fā)明的，但是也有很多其他傳說，甚至有人將減字譜的專利歸于大名鼎鼎的曹植。明代袁均哲據(jù)南宋田芝翁《太古遺音》輯《太音大全集》中的“字譜”篇，記述了古琴譜的發(fā)展過程：“制譜始于雍門周、張敷，因而別譜不行于后代。趙耶利出譜兩帙，名參古今，尋者易知。先賢制作，意取周備，然其文極繁，動越兩行，未成一句。后曹柔作減字法，尤為易曉也。”

但由于文獻年代甚早，這種“音樂密碼”的真正發(fā)明家已經(jīng)難考。而始于唐，興于宋，至明代開始出現(xiàn)大量整理譜集的減字譜，也就客觀上成為了保存唐音唐曲的希望。想要“重現(xiàn)”唐曲，減字譜和古琴曲也就成為了最合適的原材料。

食材找到了，下一步，是把它放在AI里燉煮一會。

把“減字譜”放到AI湯汁里，煮成酸甜可口的“規(guī)則”

找到了好的食材，想要開始烹飪卻并不容易。想要用減字譜為底料“重構(gòu)唐曲”，第一步是必須讓AI能夠自動識別減字譜。

目前來看，相傳屬于唐代的減字譜數(shù)量并不多。但是這一時期的琴譜，普遍還沒有形成宋代以后相對統(tǒng)一的減字規(guī)律。各琴家可能使用不同的減字規(guī)則，最終形成了各種不同的減字體系。雖然這個時期的指法相對簡單，但命名方式不統(tǒng)一，敘述格式復(fù)雜，給AI留下了不少難題。

在趙維平教授等研究人員的幫助下，華為Mate 20 Pro的研發(fā)團隊，必須抽絲剝繭般完成用AI識別古譜的任務(wù)?？傮w來說，AI識別減字譜，總共分三步：

1、圖像預(yù)處理。減字譜大多屬于影印本，圖像模糊，并且注釋與曲譜常常雜糅交錯，AI很難識別清晰。這個步驟中，需要技術(shù)團隊調(diào)用華為手機上HiAI Engine的文檔檢測、文檔矯正、圖像和文字超分辨率增強等AI能力，保證手機可以清晰地識別每一張古譜并快速地完成古譜文檔的采集和數(shù)字化。而對研發(fā)團隊來說，這是個可以“偷懶”的任務(wù)，因為華為手機包括Mate 20 Pro中內(nèi)置有HiAI Engine，直接調(diào)用開放的相應(yīng)AI能力接口，便可用它來拍攝減字譜達到事半功倍的效果。

2、訓(xùn)練減字譜的譜符檢測和識別模型，構(gòu)建編解碼規(guī)則與字符庫。團隊的最終目標(biāo)，是通過對減字譜進行特征提取，直接轉(zhuǎn)換成簡譜。然而在轉(zhuǎn)化規(guī)則層面，團隊將要面臨一個全新的問題：過往的AI文字識別，主要是通過OCR識別+自然語言理解。但是減字譜不是文字，不能使用通用的OCR識別，因此團隊專門訓(xùn)練了針對減字譜符的檢測和識別AI模型。最終通過構(gòu)建基于減字譜的編解碼規(guī)則，研發(fā)團隊成功完成了這個所有流程中的最大挑戰(zhàn)。

3、基于AI技術(shù)，建立減字譜的翻譯程序。最后，利用訓(xùn)練好的AI模型，研發(fā)團隊得以將大量減字譜快速地轉(zhuǎn)換為現(xiàn)代簡譜。至此，減字譜的AI識別與翻譯工作算告一段落。

把“模型”，翻炒成大唐風(fēng)味的“音樂”

這個年頭，成熟的AI應(yīng)該自己會作曲。

雖然聽起來這完全是難為AI們，但這確實是“重構(gòu)唐曲”的必經(jīng)之路。在得到唐曲曲譜的大量數(shù)字化樣本后，開啟在云端進行大量訓(xùn)練，最終得到了一個能理解唐音唐曲編譯規(guī)則的深度學(xué)習(xí)模型。

之后，研發(fā)團隊將訓(xùn)練好的模型遷移到華為Mate 20 Pro上，僅僅利用端側(cè)AI的算力，來完成本地推理，也就是AI編曲工作。

事實上，AI編曲和作曲近兩年已經(jīng)成為了業(yè)界的熱點。自2017年，美國流行歌手 Taryn Southern 發(fā)表了名為《I am AI》的AI編曲作品后，相關(guān)的算法模型可謂層出不窮。

比如，OpenAI 發(fā)布了 MuseNet。這個模型AI從幾十萬個 MIDI 檔案中學(xué)習(xí)，理解了合聲、節(jié)奏和風(fēng)格等元素，最終可以使用不同樂器不同曲風(fēng)自己作曲。

而在中國科技界，用AI作曲的代表產(chǎn)品之一就是華為Mate 20 Pro。

所謂AI編曲和作曲，本質(zhì)上是運行一個復(fù)雜的AI模型，來對不同的音樂、樂器、節(jié)奏、樂理等規(guī)則進行學(xué)習(xí)和反向輸出。這類任務(wù)，恰好可以證明華為Mate 20 Pro的端側(cè)AI算力。

而通過對古譜中音樂的分析和理解，一段屬于大唐的音樂就被AI“吟唱”了出來。

在視頻中我們可以看到，被聞一多先生譽為“以孤篇壓倒全唐”的《春江花月夜》，最終以歌者的聲音和古譜中“再現(xiàn)”的唐曲，一起出現(xiàn)在耳畔。

一部手機，一整間AI廚房

這里插一段題外話。用AI“重構(gòu)唐曲”的流程跑下來，我們或許可以發(fā)現(xiàn)這樣一個問題：

與一般的AI開發(fā)不同，華為手機的這次AI跨界實驗，基本是依靠華為Mate 20 Pro的本地環(huán)境來進行的。

這當(dāng)然一方面是對HUAWEI HiAI開放能力平臺的檢驗，其中HiAI Foundation的麒麟980提供AI模型推理算力，HiAI Engine提供了各種可直接調(diào)用的AI能力API，HIAI Services提供語音助手和語音識別服務(wù)，同時或許也能看到這樣一個趨勢：越來越多的復(fù)雜AI任務(wù)，將在終端產(chǎn)品中部署和應(yīng)用。在“重構(gòu)唐曲”的案例里，我們可以看到這樣幾個趨勢：

1、華為手機上的HiAI Engine已經(jīng)開放了大量AI能力，比如語音識別、文字識別、語義理解等等，這些能力可以讓AI應(yīng)用更簡單快速地被開發(fā)出來，成為開發(fā)者的助力，未來還會有更多的AI能力開放出來。

2、基于隱私保護的需要，應(yīng)用中涉及的用戶數(shù)據(jù)更應(yīng)該留在本地?！爸貥?gòu)唐曲”的案例中，最終需要研發(fā)人員完成一段朗誦。雖然一般意義上來說聲音并不屬于隱私數(shù)據(jù)，但其最好還是留在本地，避免上傳云端帶來不必要的麻煩，因此會有越來越多的AI模型會部署在端側(cè)。

3、端側(cè)AI模型加速，需要保證實時性體驗。試想一下，如果我們歌唱了一段唐詩，但是配樂版本卻遲遲無法呈現(xiàn)，就會導(dǎo)致體驗不佳。為保證實時性體驗，移動端AI模型加速也是必不可少的，HIAI Foundation提供的NPU算力可支撐AI模型在移動端高效運算。

這三大趨勢，并不僅僅表現(xiàn)于“重構(gòu)唐曲”的案例中，隨著越來越多的移動端更加智慧化，HUAWEI HiAI開放能力平臺將賦能更多AI場景，助力開發(fā)者快速開發(fā)和部署AI應(yīng)用。

味道，還在形外

最后，或許我們有必要聊一聊，“重構(gòu)唐曲”這件事，在引起大家無盡的“盛唐遐思”之外，還有哪些實際用處。

整個“重構(gòu)唐曲”項目，給學(xué)術(shù)界留下了快速的減字譜識別和轉(zhuǎn)換系統(tǒng)，以及直觀的古曲研究應(yīng)用。接下來，這些AI應(yīng)用將長期供相關(guān)領(lǐng)域的研究者使用。

推而廣之，還有大量學(xué)術(shù)應(yīng)用亟待類似技術(shù)的落地。減字譜識別帶來的“非文字符號識別”，也可以應(yīng)用于少數(shù)民族文獻、金石文獻，以及特殊文獻的識別和翻譯中。比如將蘇州碼子轉(zhuǎn)換為財經(jīng)金融資料等等。而文獻識別-語音生成的技術(shù)邏輯，則可以在“重構(gòu)唐曲”之外，作用于現(xiàn)歷代語音、音韻和音樂。

目前這個階段，大多數(shù)終端用戶都認為AI和聲音的結(jié)合，只能做語音識別和語義理解。然而從“重構(gòu)唐曲”的案例中看，識別古譜、推理旋律、“再現(xiàn)”消失的音樂——還有更多AI與聲音的潛力等待挖掘。

歸根結(jié)底，華為Mate 20 Pro研發(fā)團隊是在做這么一件事：把AI和那些天馬行空的奇妙想法聯(lián)系在一起。無論是熱帶雨林里，故紙堆中，還是生活里的點點滴滴，AI都能完成一些令人意想不到的任務(wù)。

所謂拋磚引玉，亦可拋唐曲而引眾聲。AI需要由萬千聰明的頭腦去開發(fā)，億萬有趣的靈魂去享受。

“重構(gòu)唐曲”這道菜的背后，移動AI的真味在于：每個人，每件事，都可以關(guān)乎AI。