“小河彎彎向南流，流到香江去看一看……”

歌聲響起處，大屏幕上五彩斑斕的3D音畫隨著旋律“起舞”，晶瑩欲滴的珠子不斷幻變出城市、海港、船帆，還有月色和燈火，水母在玫瑰色的天空中游弋，巨大的海浪捲出彩虹……

一場別開生面的音樂會14日在香港大會堂音樂廳舉行，擔任指揮的是香港浸會大學交響樂團音樂總監潘明倫。在真人樂團的現場伴奏下，300多個虛擬人聲合唱一曲《東方之珠》，配上由人工智能為歌曲創作的3D音畫，瑰麗奇幻，氣勢恢宏。

“這應該是全球首場同類的人機合作表演。”人工智能專家、浸會大學副校長郭毅可說，“人和機器共同創作和完成一個藝術作品，我們做到了。”

這是浸會大學“香港人機共生藝術創造平台技術建設”項目拿出的第一份成績單。這一項目去年獲得香港特區政府撥款5200多萬港元，開展為期5年的藝術科技研究。

組建人工智能“合唱團”

今年是香港回歸祖國25周年，項目團隊首先想到了歌曲《東方之珠》。 “用人機交互的方式進行再創作，以此送上我們的祝福。”負責該項目的郭毅可說。

第一個挑戰是“組建”320個虛擬歌手組成的人工智能“合唱團”。

通過收集專業歌手的錄音歌曲，他們提取和分解了聲樂的主要特點，開發了聲樂的生成模型，成功創建了一個四聲部的合唱，同時通過8個人的人聲採樣，生成320個具有全新音色的虛擬歌手，“組建”成團。

虛擬歌手們開始“唱”得並不好，會唱錯、唱不上高音甚至破音跑調。 “聲音就是頻率，教它們學唱歌不算太難，就是需要不斷地通過調整頻率進行改善。”郭毅可說。

第二個挑戰是表演時的人機互動。在舞台上，指揮和樂團是真人，虛擬歌手們要學會“聽”指揮的指令，做到與交響樂團的現場演奏無縫銜接，而這並非易事。

記者在彩排現場看到，指揮潘明倫脫去了西裝，他的腰上、肩上、手臂和手腕處都綁著裝有傳感器的綁帶，他不時停下指揮，與台下的技術團隊進行溝通磨合。

傳感器的作用是把指揮的肢體動作“同聲傳譯”給人工智能合唱系統。 “難點也在於此，指揮的手勢不是固定的，需要有個模糊邏輯讓系統學習。開始挺亂的，現在越練越好了。”郭毅可說。

經過長達半年的科研攻關和人機磨合，浸大的人工智能合唱團成功地完成了與真人交響樂團的合作。

人工智能眼裡的“東方之珠”

最大的突破來自人工智能的“創作”。配合歌曲意境，人工智能自主創作的3D音畫，用天馬行空的想像力和表現力向人類描述了它眼中的“東方之珠”。

在這段時長約4分鐘的3D音畫裡，人工智能共生成近3000張圖像，且畫面之間邏輯順暢，並與《東方之珠》的歌詞和旋律相匹配。 “根據歌詞內容不斷變化，動態生成各種場景。鏡頭設計了一個虛擬的飛行視角，其速度和高度隨旋律而變化，音量高就飛得高；節奏快，速度也會加快。”郭毅可說。

剛開始的時候，團隊只是讓人工智能根據歌詞生成一幅幅畫，將它們簡單連接。隨著探索的深入，他們開始嘗試讓人工智能“創作”三維視頻。 “這需要對歌詞內容系統地理解，而且邏輯必須連貫，並且自動生成。這個時候我們的創新就開始了。”郭毅可說。

要做到這一點，首先要讓機器學會理解歌詞的文字內涵，人“教會”機器了解一些相對應的關係，比如香江代表著香港，“珠”的意像要成為貫穿音畫的主線等，在此基礎上讓機器自主想像，自行創作。而在機器完成創作後，具備不具備美感和意義則需要人來反饋，並幫助它修正。

“這就是人機交互的創作。”郭毅可說，“我們開發了一個人工智能驅動的媒體藝術家模型，‘東方之珠’音畫是我們向超級人工智能藝術家目標邁出的重要一步。”

讓科技賦能藝術

在以往的人工智能藝術創作中，一個傳統的思路是機器模仿人。郭毅可對此並不認同。他認為，在藝術創作領域，人工智能有自己獨特的創造能力。隨著人機交互技術的進步，它的創作可以跟人不一樣，也可以被人理解和欣賞，並可能隨著人對美學的需求而不斷改進。

“科學上的突破往往最先來自於觀念，我認為我們中國人有這個能力，不在人家的話語體系裡轉圈圈。我們這次的創新在於理念變了，由此找到了新的突破點。”郭毅可說。

《東方之珠》音畫第一版，整個圖像投影在一顆珠子上，然後珠子一層層打開，到“流到香江去看一看”時，突然幻變成了一朵紫荊花。 “我們都驚呆了，‘香江’的概念居然會以一朵紫荊花的形態展現，非常奇妙，這就是機器的創造力。”他說。

如果相信機器能夠創造，那麼未來的藝術會是什麼樣？這個問題令郭毅可和他的團隊興奮。郭毅可認為，科技賦能藝術，人機達成更多的互動與交流，為藝術的發展帶來全新的可能。

下一步，人機互動要向更深層次探索，比如連接意識、情感。 “我們可以把美感編碼，讓機器認識美感，然後讓美感成為它創作的一部分，這是我們研究的一個重要方向。”郭毅可說。

郭毅可希望將來能人機合作創作一部歌劇，將編、導、演、唱集成展現。 “探索無止境，沒有什麼是不可能的。”他說。

來源：新華社