未來經營 #VTuber 只要專注在企劃和劇本,其他讓AI幫你一鍵生成?
今晚,想來場臨時音樂會?讓 AI 虛擬音樂家幫你實現! | DQ 地球圖輯隊這套「虛擬音樂家系統」簡單來說就是運用AI,當真人演奏時,除了同步合奏外,還會生成螢幕上演奏者的虛擬動畫身影。

你或許會想,這不就是高級一點的卡拉OK伴唱機嗎?(下收)

研之有物 文/林承勳;美術/林洵安
-----
掌握世界大小事,就從追蹤地球圖輯隊開始!
@DQnews | Linktree
latest #6
但比起傳統機器伴奏,新科技讓演奏者不需「配合伴唱」,而是程式控制伴唱「配合演奏者」,所以演奏者可以自由詮釋樂曲。

為了配合真人演出的現場發揮與不確定性,自動伴奏的運算必須又快又準,而這正是研究中較具挑戰性的部分。
比方說,要怎麼知道演奏開始了,並做到 #不放槍#不搶拍 ?自動伴奏系統在確認演奏開始之後,又要怎麼因應每位音樂家的演奏風格,追蹤真人演奏進度,並自動觸發、演奏相應聲部?
目前團隊已將偵測到觸發伴奏的平均延遲控制在0.1秒左右,但音樂心理學已證實,就算是沒經過專業訓練的一般人,0.1秒的誤差聽起來仍非常明顯。

「延遲0.01秒可以勉強不引起業餘人士注意;但面對專業音樂家時,可能要到0.001秒左右才能過關。」
立即下載
由於現場音樂表演是影音的雙重享受,所以除了擁有自動伴奏的聲音,還需要將這段演奏形象化。真人音樂家演奏時,例如拉琴的手勢,10個音樂家可以有10種不同的習慣,沒有一套固定標準。

那要怎麼讓AI學習並輸出不違和的虛擬音樂家動態肢體影像?這種跨感官的轉換,儼然是個進階挑戰!
以上摘錄還有很多沒談到的, #自動伴奏 #VirtualMusician #DTW #UNet #selfattention ...... 歡迎點進噗首文章觀看看看看看
back to top