2018年10月16日，卡內(nèi)基梅隆大學的研究人員日前提出了一種無人監(jiān)督的視頻重定向技術：Recycle-GAN。這是一種基于數(shù)據(jù)的方法，可以將內(nèi)容從一個域轉(zhuǎn)換至另一個域，同時保留域的原生樣式。比方說約翰·奧利佛的發(fā)言內(nèi)容轉(zhuǎn)換至史蒂芬·科拜爾，然后生成屬于史蒂芬·科拜爾風格的內(nèi)容/發(fā)言。

　　卡內(nèi)基梅隆大學研究團隊的方法結(jié)合了空間與時間信息，以及用于內(nèi)容轉(zhuǎn)換和風格保存的對抗性丟失。在這項研究中，團隊首先研究使用了時空約束相較于空間約束的優(yōu)勢。然后，他們演示了針對空間與時間信息問題的方法，如面部到面部的轉(zhuǎn)換，花到花，風和云合成，日出和日落。

　　1. 面部到面部

　　研究團隊采用了各個公眾人物的公開視頻來執(zhí)行面部到面部的轉(zhuǎn)換任務。他們采用通過OpenPose生成的面部關鍵點來提取面部。示例視頻中的公眾人物包括馬丁·路德·金，奧巴馬，特朗普，約翰·奧利佛和史蒂芬·科拜爾等。

　　視頻顯示了針對各個公眾人物進行面部到面部轉(zhuǎn)換的隨機示例。在沒有任何輸入調(diào)整或手動監(jiān)督的情況下，研究團隊的方法可以捕捉公眾人物的風格表達。舉個例子，約翰·奧利佛在微笑時會露出酒窩，唐納德·特朗普的標志性嘴形等。

　　2. 身體到身體

　　以上示例專注于面部。在下面的示例中，研究團隊將相同的技術應用于身體重定向。

　　視頻是從到馬丁·路德·金到奧巴馬的轉(zhuǎn)換。低分辨率的輸入-輸出導致面部精細細節(jié)的缺失(如嘴部移動)。生成高分辨率的輸出可以幫助生成精細的細節(jié)。

　　3. 花到花

　　從面部和其他傳統(tǒng)轉(zhuǎn)換擴展開來，研究團隊把目光放了花朵身上。他們采用了各種花朵，并從公開的視頻中提取它們的延時定格。延時定時能夠演示不同花朵的綻放，但不存在任何同步。研究團隊利用他們的方法來對齊內(nèi)容，即令花朵一起綻放或枯萎。

　　他們使用了蒲公英花來比較Recycle-GAN與Cycle-GAN。從視頻中可以看到，Recycle-GAN可以在兩個域中學習適當?shù)膶�應關系。

　　4. 基于重定向技術的視頻操縱

　　研究人員通過兩種情況下的視頻重定向來演示他們的自動視頻操縱方法：視頻中合成云和風;在不同的視頻中制作日出和日落。

　　4.1 云與風的合成

　　研究人員的方法可以用于合成包含所需環(huán)境條件的新視頻(比方說云和風)，不需要實際地重新進行捕捉。他們采用來自所需環(huán)境條件的給定視頻和視頻數(shù)據(jù)來作為實驗中的兩個域，然后使用條件性視頻和訓練的轉(zhuǎn)換模型來生成所需的輸出。

　　對此這個實驗，研究團隊采集了各種風與云條件的視頻數(shù)據(jù)，例如平靜的一天或刮風的日子。借助開發(fā)的視頻重定向方法，他們可以將平靜的一天轉(zhuǎn)變?yōu)楣物L的日子，或者是將刮風的日子轉(zhuǎn)變?yōu)槠届o的一天，同時不會改變場景的美學。

　　視頻展示了研究團隊模擬環(huán)境條件的嘗試。他們可以根據(jù)需要進行調(diào)節(jié)，并在不改變場景美學的情況下合成條件。

　　4.2 日出與日落

　　作為人類，我們傾向于對齊抽象概念，并思考/想象如果我們在另外某個位置來觀察事物時的情景。例如，你可能在紐約大西洋沿岸看到日落，并且可能開始想象加利福尼亞日落的情景;或者你可能正漫步于匹茲堡的街道，并可能開始想象在巴黎街頭漫步的感覺。

　　受這一思維過程的啟發(fā)，研究人員從各種網(wǎng)絡視頻中提取出日出和日落數(shù)據(jù)，并演示了他們的方法是如何用于視頻處理和內(nèi)容對齊。這類似于云與風合成實驗中的設置。