乾明 發自 凹非寺 量子位 報道 | 公眾號 QbitAIGAN，又有瞭新“玩法”。最近，一個能夠將視頻直接轉化成漫畫的工具，引發瞭很大關註。它的效果是這樣的：Twitter上不少學者去圍觀，體驗的效果是這樣的：有網友評價稱，“漫威感”撲面而來。效果直逼漫威？目前，Demo已經放出，量子位以《復仇者聯盟3》中的一個片段為例，測試瞭一下實際效果，得到瞭這樣的一幅圖。畫面看上去的確非常驚艷，但是……如果不看原視頻，隻看這個漫畫，你知道它講的是啥嗎？……現在給出正確答案：體驗Demo時，可以自己上傳視頻，也可以選擇YouTube中的視頻。當然，他們也提供瞭一些樣本視頻，可以直接體驗。如上圖所示，在生成Demo時，還有一些選項，能夠影響生成的漫畫。這些選項分別可以控制視頻中幀的選擇、每一幀的提取方法、圖像評估方法，以及漫畫的風格遷移模型。這基本上也呈現出瞭項目團隊的大致思路：使用基於強化學習的關鍵幀提取算法，提取視頻中有意義且有代表性的幀，然後對關鍵幀進行評估，確認主要的畫面之後，再進行使用GAN進行風格遷移，形成漫畫風格。在風格遷移方面，研究團隊對當前已經發表的漫畫風格遷移模型進行瞭研究，最後基於CartoonGAN的方法，利用MS COCO數據集訓練出瞭自己的ComixGAN模型，作為Demo中的默認模型。上手資料齊全這個項目，來自於波蘭華沙理工大學。Demo網站提供瞭API接口。GitHub上也有源代碼。當然，論文也出來瞭。不過，特別吐槽的一點是，這個Demo網站不穩定到讓人吐血，動不動就崩潰，有些時候直接罷工。如果你對這個項目感興趣，且有足夠的“耐心”，下面的傳送門請收好：論文：https://arxiv.org/abs/1812.03473Demo地址：https://comixify.ii.pw.edu.pl/GitHub：https://github.com/maciej3031/comixify— 完 —誠摯招聘量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。量子位 QbitAI · 頭條號簽約作者վ’ᴗ’ ի 追蹤AI技術和產品新動態
本文出自快速备案，转载时请注明出处及相应链接。
