索尼前沿虛擬制作技術(shù)讓經(jīng)典芭蕾舞劇《天鵝湖》再煥生機

    索尼PCL的創(chuàng)意設(shè)施“清澄白河BASE”，是一個充分活用索尼技術(shù)的視頻制作工作室。 近日，該工作室制作了一部基于經(jīng)典芭蕾舞劇《天鵝湖》的短片 ，并將其發(fā)布在索尼官方社交平臺上。我們與負(fù)責(zé)策劃和制作這部視頻的團(tuán)隊進(jìn)行了對話，了解了這部作品背后的創(chuàng)作過程。

△菅野尚子(右)，索尼公司技術(shù)研發(fā)實驗室

    內(nèi)容技術(shù)研發(fā)本部空間影像技術(shù)開發(fā)部;

    大賀英資(左)，

    索尼PCL視覺解決方案本部內(nèi)容創(chuàng)作部

    在這部短片中，芭蕾舞者們在平靜的、霧氣彌漫的湖邊模仿天鵝的動作，優(yōu)雅地同步舞動，四周環(huán)繞著茂密的森林。觀眾可能會好奇，傳統(tǒng)的芭蕾舞是如何在這樣自然開闊的環(huán)境中上演的。事實上，整部影片是在清澄白河BASE的虛擬制作影棚內(nèi)拍攝的。

    虛擬制作（VP）是一種電影拍攝方法，它將虛擬場景投射到LED屏幕上，并同時拍攝前方的真實演員或物體，實時合成真實與虛擬的畫面。 參與該項目的工程師菅野久子解釋道：“索尼的許多最新技術(shù)都被應(yīng)用于打破現(xiàn)實與虛擬之間的界限中，使最終的作品看起來更加真實�！�

    索尼前沿技術(shù)應(yīng)用于

    經(jīng)典芭蕾舞劇《天鵝湖》

    導(dǎo)演大賀英資表示，制作基于《天鵝湖》的電影靈感來源于他在百老匯以及其他舞臺劇中看到的前沿技術(shù)應(yīng)用。

    “我們將這次挑戰(zhàn)看作展示清澄白河BASE在視頻制作方面的技術(shù)水平的一種方式，同時也看看如何通過虛擬制作（VP）和體積捕捉等技術(shù)，將大家熟知的傳統(tǒng)舞臺劇轉(zhuǎn)變?yōu)橐环N全新的形式。 ”

△推遠(yuǎn)的鏡頭(使用體積捕捉技術(shù))

△拉近的鏡頭(使用虛擬制作技術(shù))

    索尼對這場演出制作進(jìn)行了特別規(guī)劃，將影像技術(shù)融入表演的每個元素。 例如，在一個奇幻鏡頭(如上所示)中，攝像機聚焦于穿越霧靄的舞者。大賀解釋道：“我們希望在攝像機穿過晨霧時，從使用體積捕捉技術(shù)拍攝的3D CG舞者切換到在LED屏幕前跳舞的真人舞者，達(dá)到一種自然的效果�！�

    體積捕捉技術(shù)通過在影棚天花板和墻壁上安裝超過100個攝像機，從多個角度捕捉對象，并將圖像轉(zhuǎn)換為3D數(shù)字?jǐn)?shù)據(jù)，從而實現(xiàn)高質(zhì)量的3D CG影像重現(xiàn)。與傳統(tǒng)技術(shù)不同的是，這項技術(shù)能夠自由地呈現(xiàn)那些未被攝像機直接捕捉的視角。

    大賀說：“在拍攝這個場景時，我希望將攝像機的運動設(shè)計得盡可能宏大和廣闊，以展示舞臺上無法實現(xiàn)的縱深感�！绷硪环矫�，如果攝像機的運動幅度過大，虛擬制作需要的LED屏幕就無法覆蓋整個背景圖像。因此，需要插入使用體積捕捉技術(shù)生成的舞者的3D CG影像，以實現(xiàn)逼真的視覺效果。

△清澄白河BASE的VP影棚(上)

    和體積捕捉影棚(下)。

    體積捕捉影棚于2022年安裝在VP影棚旁邊，

    2023年VP影棚得到了升級，

    增加了擴展的LED屏幕等

    菅野表示：“清澄白河BASE是少數(shù)幾個VP影棚和體積捕捉影棚位于同一樓層、緊鄰而設(shè)的工作室之一�！边@種優(yōu)勢也在《天鵝湖》的拍攝中得到了充分利用。

    索尼中國資訊

    受藝術(shù)家反饋啟發(fā)的

    實時摳像技術(shù)開發(fā)

    除了VP和體積捕捉技術(shù)之外，這部短片還融合了索尼的新技術(shù)——實時摳像（Live Keying）。 這種技術(shù)廣泛應(yīng)用于現(xiàn)場音樂會舞臺制作中，能夠?qū)崟r隔離圖像中的物體，并將其即時顯示在背景LED屏幕上，無論是在影棚還是舞臺上。

△菅野尚子，索尼公司技術(shù)研發(fā)實驗室

    內(nèi)容技術(shù)研發(fā)本部空間影像技術(shù)開發(fā)部

    傳統(tǒng)的視頻處理技術(shù)在背景圖像發(fā)生劇烈變化或主體大幅移動的情況下，通常難以準(zhǔn)確提取人物輪廓。然而，索尼的實時摳像技術(shù)通過索尼的特殊傳感器，使這一目標(biāo)成為可能。

    作為該技術(shù)開發(fā)者之一，菅野強調(diào)：“實時摳像技術(shù)特別適合用于背景圖像生動變化的VP制作�！�

△通過使用實時摳像技術(shù)，

    舞者在LED屏幕前表演的視覺數(shù)據(jù)

    被實時捕捉并投射攝到屏幕上

    開發(fā)這一技術(shù)的動力來自菅野收到的一位藝術(shù)家的需求。她工作的一部分就是陪同藝術(shù)家前往演出現(xiàn)場，為演唱會提供技術(shù)支持，她經(jīng)常在現(xiàn)場收到藝術(shù)家和工作人員的反饋和要求�！霸谂啪毱陂g，我聽到一位藝術(shù)家隨口提到，‘如果能做到像實時摳像技術(shù)那樣的效果就好了’，這讓我開始了這項技術(shù)的研發(fā)�！�

    菅野解釋說，將這項技術(shù)融入《天鵝湖》視頻制作的決定，源于她希望“更多的現(xiàn)場音樂表演能使用實時摳像技術(shù)，并且希望增加更多將該技術(shù)與VP共同使用的案例”。

    技術(shù)帶來全新的

    現(xiàn)場溝通方式

    在視頻制作中，所有參與拍攝的工作人員需要共享導(dǎo)演所構(gòu)想的視覺圖像。

    大賀表示，在這次制作中使用VP技術(shù)，也讓他能夠輕松地將自己的創(chuàng)作構(gòu)想實時傳達(dá)給舞者�！霸趥鹘y(tǒng)情況下，當(dāng)我們計劃在背景中使用CG圖像時，需要使用綠幕拍攝。然而，使用LED屏幕實時顯示背景圖像，演員更容易直觀地理解場景內(nèi)容，也有助于他們更好地進(jìn)入角色�！�

△大賀英資，

    索尼PCL視覺解決方案本部內(nèi)容創(chuàng)作部

    大賀表示，許多舞者都評論說，使用這種技術(shù)幫助他們更好地完成了表演。

    在CG拍攝中，最常提到的困難之一就是燈光調(diào)整。在視頻編輯過程中，必須將現(xiàn)實拍攝的圖像與CG圖像的光線角度和亮度進(jìn)行匹配，以實現(xiàn)畫面的一致。然而，由于負(fù)責(zé)拍攝的工作人員不一定熟悉CG，往往需要花費大量時間調(diào)整真實圖像和CG圖像的燈光。

    大賀解釋道：“即使我們改變舞者的燈光，實時摳像技術(shù)也能讓我們將舞者的圖像實時投射到背景的LED屏幕上。這減少了CG后期處理的需求，并大大提高了效率。 ”

    在清澄白河BASE， 貼近創(chuàng)作者，

    實現(xiàn)他們的創(chuàng)作愿景

    雖然這些前沿技術(shù)減少了拍攝的障礙，大賀回憶道，他也感受到了因高度自由而帶來的不知所措�！拔夷軌蛟诂F(xiàn)場和技術(shù)開發(fā)人員討論拍攝中的各種困難，讓我們能夠巧妙地使用技術(shù)來實現(xiàn)我設(shè)想的畫面效果。”他補充道：“這是只有索尼才能承擔(dān)的項目。”

    對于菅野來說，她從工程師的角度表達(dá)了自己的熱情：“我希望繼續(xù)通過直臨現(xiàn)場，直接聽取創(chuàng)作者的聲音，提供有助于創(chuàng)作的技術(shù)�！�

    展望未來，大賀表示：“我愿意將與公司外部創(chuàng)作者合作視頻制作時獲得的經(jīng)驗，用來與索尼的工程師一起在清澄白河BASE開發(fā)更好的解決方案�！�