在「天工」大模型發(fā)布一周年之際，昆侖萬維重磅宣布，「天工 3.0」基座大模型與「天工 SkyMusic」音樂大模型正式開啟公測。

自從 AI 讓人類實現(xiàn)音樂創(chuàng)作自由后，連吵架都變得有趣了起來。

前段時間，X 平臺知名 AI 博主 Aran Komatsuzaki 自己寫了一首歌，專門用來表達(dá)對另一位 AI 科學(xué)家 ——Gary Marcus 的不滿，還用當(dāng)前大火的 Suno 把它生成了出來。要知道，過去，這些大佬們的口水戰(zhàn)主要就是發(fā)個帖子，然后你來我往地跟帖。這次，Aran Komatsuzaki 的做法可謂是玩出了新花樣，不知道是不是從「謝帝謝帝我要 diss 你」得到的靈感。

和 Aran Komatsuzaki 一樣，國內(nèi)外很多懂音樂、不懂音樂的人都在試玩 Suno 等 AI 音樂創(chuàng)作工具，生成了很多非常有意思的音樂作品。

不過，有很多網(wǎng)友反映，Suno 有時生成中文不太穩(wěn)定，會出現(xiàn)中文歌曲帶有英文感、生僻字唱錯等問題。

                                  ^{B 站網(wǎng)友針對 Suno 生成的一首中文歌發(fā)表的評論。視頻地址：https://b23.tv/gVqTUOu}

那么，有沒有一個 AI 音樂生成模型專門針對中文做過優(yōu)化呢？

昆侖萬維今日面向全社會開放公測的「天工 SkyMusic」就是這樣一個模型。它生成的中文人聲發(fā)音清晰、正宗、無異響，沒有出現(xiàn)「百老匯式中文歌」等水土不服的情況。而且，它不僅針對普通話做了優(yōu)化，粵語、成都話、北京話等方言語種也照顧到了。

那么，和 Suno 比，天工 SkyMusic 表現(xiàn)如何呢？橫向測評的數(shù)據(jù)顯示，在人聲和 BGM 音質(zhì)、人聲自然度、發(fā)音可懂度等幾個指標(biāo)上，天工 SkyMusic 都更勝一籌，綜合性能超越 Suno V3，成為中國首個音樂 AIGC 的 SOTA 模型，也讓中國的自研大模型技術(shù)第一次在 AIGC 領(lǐng)域領(lǐng)跑全球。

如此優(yōu)異的表現(xiàn)自然離不開強(qiáng)大的基座模型，即昆侖萬維在同一時間發(fā)布并開源的大模型「天工 3.0」。該模型擁有 4000 億參數(shù)，超越了 3140 億參數(shù)的 Grok-1，是全球最大的開源 MoE 大模型。

在 MMBench 等多項權(quán)威多模態(tài)測評結(jié)果中，「天工 3.0」超越 GPT-4V，全球領(lǐng)先。

在這個基座模型的加持下，天工 SkyMusic 對歌曲的理解更為深刻。它能夠通過歌詞控制情緒變化，并實現(xiàn)如顫音、歌劇、吟唱等多種歌唱技巧，使生成的音樂作品情感更加豐富且貼合情境。

那么，這個模型具體怎么用？技術(shù)路線是怎樣的？它背后的「天工 3.0」又有何創(chuàng)新之處？我們一個一個來看。

首個國產(chǎn)音樂 SOTA 模型的無限玩法

其實，用天工 SkyMusic 生成歌曲是非常簡單的：你只需要輸入歌名、歌詞，選擇參考曲目，它就能生成風(fēng)格、唱腔與之類似的歌。

如果你不想自己寫歌詞，也可以試試輸入框右下角的「AI 寫詞」功能。它可以從第一句開始寫，每次只生成一句，不滿意的句子可以及時刪掉，直至整首歌創(chuàng)作完成。

當(dāng)然，你也可以嘗試用「天工 3.0」來寫歌，比如這首《機(jī)器之心》就是我們用「天工 3.0」寫出來的：

接下來就是選擇參考歌曲，這也是天工 SkyMusic 的獨特之處，即能夠按照示例音源生成音樂。

在這一步，天工 SkyMusic 提供了很多參考曲目，你可以從中挑選，也可以選擇上傳歌曲文件。在這里，我們上傳了一首洛天依的歌曲，看看生成效果如何：這種按照示例音源生成音樂的能力極大地豐富了天工 SkyMusic 的玩法。在用戶作品展示區(qū)域，我們看到，光是《新造的人》（電影《周處除三害》插曲）就有古風(fēng)搖滾、DJ 等五個版本。 在試用過程中我們還發(fā)現(xiàn)，其實，天工 SkyMusic 生成的音樂涵蓋了說唱、民謠、放克、古風(fēng)、電子等多種曲風(fēng)。下一步，團(tuán)隊還計劃讓用戶根據(jù)哼出來的旋律生成歌曲，這將對專業(yè)人士有很大幫助。 

目前，天工 SkyMusic 已全面開放，下載「天工」APP 就可以體驗。這是國內(nèi)目前唯一公開可用的 AI 音樂生成大模型，它的出現(xiàn)填補(bǔ)了國內(nèi) AIGC 工具在這一領(lǐng)域的空白。

雖然這個模型還處于起步階段，但已經(jīng)讓很多人感受到了音樂創(chuàng)作的樂趣。大家用它去改造神曲、二創(chuàng)金曲、改寫古詩詞助力教育…… 開發(fā)出了各種音樂創(chuàng)作新方向。

自研類 Sora 架構(gòu)，技術(shù)路線圖已公開

天工 SkyMusic 是一個端到端的音樂生成模型，因此我們用起來感覺非常簡單。但是，整個模型的開發(fā)卻沒有那么簡單。

首先從技術(shù)路線來說，天工 SkyMusic 選擇了大模型音樂音頻生成路線，這意味著它直接學(xué)習(xí)并生成音頻波形，而不是采用符號音樂生成路線（如 MIDI）來生成樂譜。這種方法允許樂器、人聲、旋律、音量、音符等元素的一體化端到端生成，從而提供更直接、更高質(zhì)量的音樂創(chuàng)作體驗。但是，這個方向也更難，需要高昂的算力和資金，因此做的人非常少。

而且，在這個方向中，下決心去攻克「人聲 Song」領(lǐng)域的人更少，大部分研究集中于無人聲的 BGM 領(lǐng)域，因為前者幾乎沒有任何開放的資料或開源模型可供參考。

頂著這些壓力，昆侖萬維做了無數(shù)次研發(fā)實驗，投入了大量算力，構(gòu)建了包含 2000 萬首歌曲的數(shù)據(jù)集（人類有史以來最大的音樂數(shù)據(jù)集），終于探索出了一個效果好、可復(fù)現(xiàn)的方案。而且，他們還把這個方案的技術(shù)原理圖公開了。

^{天工 SkyMusic 技術(shù)原理圖：Large-scale Transformer 負(fù)責(zé)譜曲，來學(xué)習(xí) Music Patches 的上下文依賴關(guān)系，同時完成音樂可控性；Diffusion Transformer 負(fù)責(zé)演唱，通過 LDM 讓 Music Patches 被還原成高質(zhì)量音頻。這套模型架構(gòu)在處理視頻、音頻和音樂時效果極佳。}

從圖中可以看出，天工 SkyMusic 的框架是類 Sora 的 DiT 技術(shù)路徑，不過研發(fā)時間是在 Sora 問世之前，因此不可避免地要踩很多坑。

對于產(chǎn)業(yè)來說，這張原理圖非常寶貴，因為市面上沒有任何可用的 AI 音樂大模型企業(yè)公開自己的技術(shù)路徑，包括 SUNO，昆侖萬維是唯一一個。

強(qiáng)大的背后基座 —— 天工 3.0

天工 SkyMusic 的成功離不開它背后的基座模型 —— 天工 3.0。它最核心的升級體現(xiàn)在「獨立思考」方面。這在該模型新增的多輪搜索與綜合工具調(diào)用、圖表繪制、研究模式、增強(qiáng)模式等功能中均有所體現(xiàn)。

給定一個數(shù)據(jù)統(tǒng)計任務(wù)，它不僅能夠幫你把數(shù)據(jù)都收集齊全，還能自己寫代碼、調(diào)用各種函數(shù)來繪制圖表。各個中間步驟被拆解得條理清晰，后續(xù)的執(zhí)行也基本不需要人去干預(yù)，甚至連「避免標(biāo)簽重疊」、「文本居中顯示」這類細(xì)節(jié)都被考慮到了。這就是「獨立思考」能力的體現(xiàn)。

這種「獨立思考」能力的提升離不開「天工 3.0」在語義理解、邏輯推理等方面的優(yōu)化。與上一代「天工 2.0」MoE 大模型相比，「天工 3.0」在模型語義理解、邏輯推理以及通用性、泛化性、不確定性知識、學(xué)習(xí)能力等領(lǐng)域擁有驚人的性能提升，其模型技術(shù)知識能力提升超過 20%，數(shù)學(xué) / 推理 / 代碼 / 文創(chuàng)能力提升超過 30%。

以搜索任務(wù)為例。在「搜索增強(qiáng)」模式中，給出一個簡單的搜索請求，「天工 3.0」不僅會給出一段概括性的回答，還會把一些重要信息提煉成圖表。

在「研究」模式中，它還會提供一個「深入研究」模塊，去展開討論搜索 Query 中未提到的延伸問題，讓你有一種在讀論文的感覺。最后，它還把這些信息整理成了思維導(dǎo)圖，方便迅速查閱。

在語義理解、邏輯推理能力均大幅提升的基礎(chǔ)上，「天工 3.0」還針對模型獨立規(guī)劃、調(diào)用、組合外部工具及信息的能力進(jìn)行了專項訓(xùn)練。通過獨立規(guī)劃以及調(diào)用、組合外部工具及信息，它可以幫你精準(zhǔn)高效地完成產(chǎn)業(yè)研究、產(chǎn)品橫評、信息分析等各類復(fù)雜需求。

這種獨立思考的能力對于人工智能大模型至關(guān)重要。首先，這種能力使得 AI 能夠在缺乏直接指令的情況下進(jìn)行自主推理，提高其處理復(fù)雜問題的能力；其次，獨立思考的 AI 模型能夠進(jìn)行創(chuàng)新性的解決方案設(shè)計，滿足個性化和場景化的需求；最后，這種能力促使 AI 在遇到新奇或變化的環(huán)境時，通過自我學(xué)習(xí)和適應(yīng)來持續(xù)優(yōu)化其性能。這三個方面的累積作用，極大地推動了 AI 技術(shù)的應(yīng)用廣度和深度，使其在多種實際應(yīng)用中表現(xiàn)出更高的智能和效率。

「天工 3.0」包含了 AI 音樂、AI 搜索、AI 寫作、AI 繪畫等多項大模型能力，談到 4000 億參數(shù) MoE 大模型「天工 3.0」與天工 SkyMusic 背后的關(guān)系時，昆侖萬維董事長兼 CEO 方漢解釋說，「大家知道 AI 底座大模型是 AIGC 堅實的基礎(chǔ)，尤其是文本大模型。文生圖、文生音樂和文生視頻（這些 AIGC 模型）的能力基礎(chǔ)都是文本大模型。如果文本模型能力不夠強(qiáng)，AIGC 能力就會受到很大限制?！?/p>

這種作用在「天工 3.0」的 AI 繪畫等能力上也有所體現(xiàn)?！柑旃?3.0」新增了圖片尺寸擴(kuò)展、圖片定向調(diào)整、墊圖生圖、墊圖進(jìn)化、墊圖擴(kuò)圖等全新功能，實測效果優(yōu)秀。

「我們的 4000 億大模型是給我們所有的面向 C 端的產(chǎn)品提供支撐的底座大模型。我的底座大模型做得越好，我的音樂、游戲、視頻以及動漫產(chǎn)品就會做得更好。所以我們做底座大模型是有非常強(qiáng)的動力的?！狗綕h說到。

實現(xiàn)通用人工智能，

讓每個人更好地塑造和表達(dá)自我

在關(guān)于 AGI 的愿景中，我們經(jīng)常聽一些AI企業(yè)高管提到，他們想要用 AI 工具來提高人類社會的生產(chǎn)力和效率。因此，他們大多專注于模型智力的擴(kuò)展和增強(qiáng)。但在方漢看來，這其中忽略了一個重要問題，即如何用 AI 幫助人們更好地理解和表達(dá)情感。

在天工 SkyMusic 的音樂作品區(qū)，我們看到了很多這樣的例子：學(xué)生即將畢業(yè)的離愁、青年愛而不得的神傷、中年人養(yǎng)家糊口的疲憊都通過歌聲表達(dá)了出來。這是真正的「以歌明志」。

而對于方言的支持則更像一種文化平權(quán)，這是方漢非常看重的一點。未來，他們希望把更多語種加進(jìn)去，讓每一個小語種人群都可以輕松創(chuàng)作出屬于自己的文化內(nèi)容。

「在 AIGC 領(lǐng)域，我們宏偉的目標(biāo)是希望全世界每一個人都能平等地去創(chuàng)作內(nèi)容。我們想要降低所有人的創(chuàng)作門檻，讓大家都能更好地塑造和表達(dá)自我?！狗綕h表示。

最近，這些內(nèi)容還被寫入了昆侖萬維的最新使命中。

其實，這種做法在商業(yè)上也是有意義的?！敢坏┤巳硕伎梢詣?chuàng)作音樂之后，我相信任何一個公共場所，比如說每個餐廳、每個酒吧都可以創(chuàng)作出屬于自己的背景音樂，來滿足自己的業(yè)務(wù)需要?！狗綕h解釋說。

隨著未來持續(xù)的優(yōu)化完善，天工 SkyMusic 會逐漸演變成一個專業(yè)且易用的全民音樂創(chuàng)作平臺。

當(dāng)然，昆侖萬維的發(fā)力方向不只是音樂。以「天工 3.0」為基礎(chǔ)，他們已經(jīng)形成了六大 AI 業(yè)務(wù)矩陣。未來，這些矩陣將組成一個 AI UGC 平臺。

這個平臺不僅能夠幫助普通人表達(dá)自我，還能幫助那些想用 AI 創(chuàng)作內(nèi)容的創(chuàng)作者完成 IP 創(chuàng)作的全閉環(huán)。這個閉環(huán)以「好的故事（IP）」為核心，跨越文本、漫畫、音樂和視頻等多種形式，消費(fèi)者的內(nèi)容消費(fèi)也都在這一個平臺上完成，這是昆侖萬維構(gòu)建的商業(yè)邏輯。

「我們的本質(zhì)是讓更多人參加到創(chuàng)作者隊伍里面去。前提是你要會講一個好的故事。如果你能夠創(chuàng)作一個好的 IP，那么就能創(chuàng)作內(nèi)容。可以預(yù)見到的是，所有內(nèi)容行業(yè)都將被重做一遍。創(chuàng)作者人數(shù)將以百倍擴(kuò)充，能夠消費(fèi)的內(nèi)容也是以百倍擴(kuò)充。人類將進(jìn)入一個新時代，這也是我們提出『All in AGI 與 AIGC』戰(zhàn)略的邏輯?！狗綕h說到。

這個時代將被塑造成什么樣子？我們拭目以待。