GMA29金曲國際論壇》虛實共構的音樂體驗

2018金曲國際音樂節「國際論壇」當中第六場主題為「虛實共構的音樂體驗」,由主題為引言人:國立臺北科技大學互動設計系專任教授曹筱玥開場,邀請遊樂製品技術總監陳品辰、HTC VR 技術指導廖茂詠、美國 Music Everywhere 共同創辦人蕭富彥共同為VR、AR市場作解說。

引言人曹筱玥現職臺北科技大學「互動設計系」專任教授暨「點子工場」中心主任、「臺灣科技藝術教育協會」副理事長,對於虛擬實境結合教育的推廣不遺餘力。她首先分享什麼是VR、AR。例如電影《一級玩家》在VR與真實世界中不斷切換,VR中最重要的工具就是頭戴式顯示器,可以帶人到無法重製的場景中進行體驗,有點像是「傳送門」的概念。AR擴增實境則像是「真實世界的延伸」,像寶可夢就是AR的應用,可以結合或延伸實體世界的體驗。

二年前,她曾經參與在威尼斯影展中獲得互動最佳體驗大獎的作品《沙中房間》,在八個場景中進行故事與互動。音樂配樂及口白由Laurie Anderson擔綱,導演則是台灣的黃心健。曾在北美館展出,讓參觀者體驗了不同的高度、視野、心情與故事。

遊樂製品技術總監陳品辰:VR領域最大問題在於內容

虛實整合在演唱會中如何呈現?遊樂製品技術總監陳品辰具有多種實務經驗,包含舞台技術、機關、數位控制、木工與鐵工、電影攝影與燈光、剪輯與後期、繪畫、圖學與光學技巧、機器視覺原理。而AR、VR因為多了一個維度,所以內容製作和一般大家熟知的不同。他在現場分享如何用點雲(point cloud)將林俊傑的演唱會轉換為VR,並示範如何用HTC開發的工具,以較低成本達成效果。他強調,VR領域目前最大的問題是如何將內容搬到AR、VR這種新型態裡面。

HTC VR技術指導廖茂詠:應開始布局產業生熊系

HTC VR技術指導廖茂詠曾製作《土星之謎》,《面對台灣的真相》等立體IMax動畫影片。作品還有《永遠的鄧麗君特展》浮空投影等作品。他認為VR內容可以用在音樂、影視、互動等不同領域,現在最重要的是要開始布局整體生態。目前大多數都是新創小企業,缺乏一個足夠大的推手,讓商業模式能夠藉由內容集成達到營運、商轉。而去年HTC就和蔡明亮導演合作一部VR電影,長度是少見的長達55分鐘,做為商業營運的測試。

聲音的虛實整合,可以透過360度環場的混音方式,雖然在1960年代就有這樣的技術,但始終沒有受到重視。如果將這個立體音收音的技術放進來,最關鍵的問題在於「該怎麼用」,這種特殊的收音可以形成真實環境的聲音模式,因此可以應用在VR當中。

Music Everywhere共同創辦人蕭富彥:克服轉換問題降低使用門檻

Music Everywhere 創意長蕭富彥則是AR產品設計師,他指出Music Everywhere創立的目的是,希望喚醒每個人心中的音樂家,解決很多人學習音樂在第一年就放棄的問題,並推出唯一系統性從事音樂教學的AR。把彈奏鋼琴的資訊直接投在鋼琴上面,不必再把螢幕上的資訊轉換到鋼琴,模糊掉虛擬與現實的界線。裡面還有虛擬的樂手與學習者互動,透過人物、角色與對白設計,增加學習音樂時的體驗與樂趣,這個產品相當直觀、有趣,因此獲得 HoloLens 開發者大賽國際冠軍。下一步還想開發在IPhone上學習彈鋼琴,設備更便宜、普遍,可以有效減低使用者對於AR的陌生感。

未來挑戰:市場規模、價格、新創困境

AR、VR在技術與內容都還在發展中,做為市場先驅必須要面對許多不同的挑戰。陳品辰說,以他們的工作型態而言,每一場演唱會都是一個獨特的編程,相對場地狀況而作不同的規劃。但實際上的情況是,通常只有不到一週的時間做準備測試,準備時間又牽涉市場大小,這是結構上無法改變的限制。目前他們已經開始做「pre-visualize」,希望能以虛擬的方式先行測試技術問題,在現場時就能把心力聚焦於美學方面的設計,這是對於未來的期望。

廖茂詠則指出,以2C的市場來看,現在面對最大的問題在於VR內容不夠多,但這也因為VR頭罩價格仍然很高,使用者不多,形成「雞生蛋、蛋生雞」的問題。因此一方面要儘可能降低設備的售價,讓更多人可以購買,當設備降到消費者能夠接受的程度時,內容自然會隨之增加,這也是HTC正在努力的方向。

文字整理:Nana/樂手巢編輯部

資料來源:台視