2016至今～vtuber的發展趨勢的小小研究

可能很多人接觸Vtuber的時候，都是從youtube上面，實際上讓二次元人物成為直播主，應該回溯到Niconico平台上，然而若要以虛擬偶像步入人們生活中，那這段歷史就很悠久。

現今最流行的虛構偶像形象，多半都是日系動漫角色，而不是1950年代的花栗鼠，
這種形象的追逤，我認為應該可以回顧到超時空要塞系列上面，
為什麼說超時空要塞呢?
看過超時空要塞整系列的應該知道，超時空要塞幾乎每代都會有唱歌的偶像角色，我第一次看超時空要塞是frontier，非常喜歡這部，因此有往前去理解其他代。
這是一部長年以來，執著於歌手整合到動畫中，並形成虛擬偶像的作品，每次作品都有新的歌，有不少也是經典，後面持續翻唱，或許超時空要塞並不是第一個這麼做的，但是整部作品的這項特色讓我覺得可以是作為一提。
以時間來說，1980年至今也是夠長遠了。
超時空要塞第一代虛構的歌手，也被視作虛擬歌手的人物叫做リン・ミンメイ

圖源自: appget

後面其實還有不少系列作品值得一提，
例如戰姬絕唱
マリア×風鳴 翼（CV：日笠陽子×水樹奈々）『星天ギャラクシィクロス』ライブ映像

youtube跟NicoNico這類影視平台的出現，同時自然也就有專門做影片的人，而不例外的包含動動漫人物。
當時臉部追蹤技術大多不完整，所以綜合各種技術都朝向簡化，例如使用動漫靜態圖片，並且使用Adobe After Effects透過Starglow或者讓圖中星空閃爍之類的，至多做成投影片動畫 ，實際上你也想像的出來，一整個團隊可能不需要超過10人就能運作，而且到近年，收益還是明確的由youtube過來，所以這類公司的出現由如雨後春筍，而且很多都是非常優異的人才，他們的歌喉完全不輸現役舞台上的歌星，或許背後中之人無論人品或者長相上的問題，都無礙於他們展現自我，分享最美好的聲音。
我覺得不錯有幾位，我將其分為兩類，翻唱 與 原創分享如下～

翻唱為主

1. 鹿乃(Kano)
   鹿乃是個日本歌手，蘿莉與天使的歌喉讓他成名。
   從2015年就開始活躍，非常長的時間並沒有在youtube創立帳號，而是在niconico，因此本人的帳號的觀看人數還不如搬運工。
   第一首讓我喜歡上的 Kano (鹿乃) - Yoake to Hotaru (夜明けと蛍)
   
   另外一首也覺得不錯
   ただ君に晴れ / ヨルシカ(cover)【鹿乃／花寄女子寮】
2. RIOT MUSIC這團體底下的凪原涼菜
   圖片形象明確，且我認為這是個非常有實力的歌手，他在 創聖のアクエリオン (Genesis of Aquarion) - AKINO，讓人感受到他的高音爆發力。
   
3. DAZBEE
   雖然已經露面過，但是她的唱腔也算是讓不少人沉迷的~是千萬次播放量的歌手，非常擅長唱帶有中古英格蘭風格的樂曲，例如
   Scarborough Fair
   忘れじの言の葉 (安次嶺希和子)
   
4. 獅子神レオナ
   這是一個明確有Vtuber造型，並且歌唱得不錯的Vtuber，而且模型也做得不錯，在MV上除了翻唱也有原唱，不過比較受歡迎的是翻唱歌劇。
   【鬼滅の刃】LiSA - 紅蓮華 / 獅子神レオナ
   
5. MiCosmiC☆baby
   圖片形象明確，這也是一個擁有潛在實力的歌手，他的 炎-hoｍura-LISA-鬼滅の刃-kimetunoyaiba無限列車編-mugenressyahen 唱得滿有感情的~只是粉絲數有點少~
   
   
   

原創為主

1. ClariS (アリス☆クララ)
   這是一個2009就開始存在的雙人女子團體，直到2017年才第一次，唱過很多歌曲，而且廣為人知。
   例如 《我的妹妹哪有這麼可愛！》的irony跟數部動畫，不過他們並沒有在youtube上面火紅過，所以就沒有影片了，但因為她們發跡的方式是不露臉，所以可以了解一下，也算是很早期的虛擬偶像。
   
   源自:KKBOX
2. EGOIST
   相對於ClariS，EGOIST算是晚三年出來的歌手，以虛擬偶像來說雖然不是先例，不過我認為他值得一提的地方是嘗試結合動畫《罪惡王冠》的角色楪祈而形成團體(*wiki)，其實你在看罪惡王冠時候，就不難發現動畫組嘗試結合一個不存在真人形象的歌手到角色上，因為團體很新，所以觀眾在不清楚原唱是誰，長相怎樣的情況下，得到一個對虛擬偶像的評價，以前的虛擬偶像經常知道中之人是誰，例如OOO是水樹奈奈，所以某觀眾看到這角色就很興奮這樣，雖然劇情評價十分兩極，但是這種嘗試確實達到一定效果，而且創造出話題。
   
   EGOIST - Namae No Nai Kaibutsu (Music Video)
   
   圖源自: atctwn
3. 三月のパンタシア (三月的Phantasia)
   這是一個團體，主唱是Mia，人物形象是繪畫出來的，這團體雖然在youtuber人數訂閱不高，但是他的創作應該很多人知道，有很多作品都有使用他們的歌，例如
   《衛宮さんちの今日のごはん》、《Re:Creators》、《亜人ちゃんは語りたい》的ED，《毎日♪ 衛宮さんちの今日のごはん》遊戲中的音樂，他唱的歌主要都是有種收斂、安穩的尾曲，雖然youtube上面放的又是另一種...
   三月のパンタシア 『煙』
   
4. 美波 (シンガーソングライター)
   雖然有個很漂亮的演員也叫美波，但事實這位創作歌手完全沒有露臉過(*wiki)，這算是很早期就出來，從2017年就開始創作，最有名的是下面這首，美波「聲嘶力竭」
   
5. ウォルピス社
   這個團體資料非常不足，只知道是從niconico發跡，在youtube也有一定的人數，雖然按照自我介紹，是男歌手，不過從歌聲的性別、聲線跟各作品唱法，可能是一個團體。
   最讓人記憶深刻是下面這首。
   忘れじの言の葉 / ウォルピスカーター -Cover-
   以及
   ウォルピスカーター MV 『在泥濘中綻放』
   
6. ヨルシカ / n-buna Official
   他們是一個團體，但他們並沒有公開全體長相，原因是要消除音樂以外的偏見(*wiki)，換個說法就是，人的形象不是重點，請好好聽我們的聲音~
   在這種狀況下，他們用了各種剪輯方式，也包含了動漫人物，其實可以算是虛擬偶像的一種。
   我記憶最深刻是: ヨルシカ - ただ君に晴れ/僅予以你的晴天 (MUSIC VIDEO)
7. E ve
   從2009就出道的男歌手，在youtube上算是少數破兩百萬訂閱，這位創作者也是不喜歡透漏自己長相的人，因此也找不到他的長相，進而藉由畫作創造了各種曲作的形象，不過他並沒有獨立的虛擬偶像形象。
   擬劇論 - Eve MV
8. YOASOBI
   這是sony底下的一個團體，其實初期還真的只有插畫，本人長什麼樣子真的不知道，不過火紅之後，加上有上紅白歌唱，大家就知道主唱長什麼樣子了，其實人還算可愛，有嬰兒肥，就不是明星樣~
   YOASOBI「夜に駆ける」
9. DAZBEE official
10. 其他還有
    虹河ラキ
    みみめめMIMI
    CHiCO with HoneyWorks

歌手這部分，不難發現原創的訂閱在熱門時期很容易在一兩年內超過50萬，熱門一點就是100~200萬很常見，尤其是沒有綁定動漫的風格，例如YOASOBI。
但是如果是翻唱，通常20萬就是頂部，無論唱得好壞。
這也是為什麼多半歌手型vtuber，youtube首頁都會放自己特質的音樂，有可能是youtube推送的關鍵，例如牽扯到tf-idf的文字探勘原則等等，或者這本來就是觀眾最愛，如果有企業勢，這是公司必要注意的行銷課題。

你可以發現，後期出現的虛擬偶像，也就是Vtuber在追蹤技術不斷更新後，

互動也就越來越頻繁，

這顯然是另一個技術較勁的存在，

是該了解一下這門技術。

我們前面談了許多虛擬偶像的發展，最後到Vtuber，

全世界主要看影片的串流平台至今，我覺得可以談的就下面四家為主，其他平台或許是新市場，就看人開發了~

1. 2005 - Youtube
   2005的發跡就是分享影片的便利性，當時實際上還有其他能放影片並且觀看的平台，但是youtube很不一樣在於她並不會強迫需要會員，看影片方便很多，此外她的金主還真不少，google買去後，雖然她的即時串流與聊天室(Charts)的發展較晚，但是反而發展出其他優勢，例如VP9的影片技術抓到畫質與流量平衡點，影片推薦技術，自動翻譯上字幕等技術。
2. 2006 - ニコニコ動画 (Niconico)
   Niconico最知名的就是彈目與聊天室，正因為這兩項功能，讓很多迷音與影片能激發共鳴，而早期的虛擬偶像，幾乎都是從這邊發跡，後面詳談。
3. 2009 - bilibili
   bilibili源自中國，他除了模仿Niconico的彈目，有不少影片也是從youtube或Niconico偷搬運過去，不過bilibili反之也有不少youtube上面沒有的，例如Unity或Unreal就放了不少中文教學在上面，其他也有不少學習或技術影片中文化都放在那，這問題點在於歐美人知道華語圈最大市場在中國那，但是同時中國又有大量管控。
4. 2011 - twitch
   twitch雖然很後期加入，但是他專注於直播遊戲或其他項目這點，是引起各家重視直播的先驅。

或者瘋狂洗板

就算事隔十年，我仍然能感受到當時的熱烈討論，然而有此優勢的Niconico不斷的衰敗，實際上各界有各種說法，不過就我個人實際感受是，他有三大敗點:

1. Unreal
   2009年的Unreal 3名聲更進一步的水漲船高~
   他的UDK (其實就是IDE) 是放出來獲得不錯的好評，
   而在Unreal 4帶來更加完善的開發UDK跟各項友善開發套件下，
   Unreal使用潮大爆發，如今能製作遊戲主機、PC與手機等遊戲，
   而Unreal 5在PS5發表後，他們的光追技術就讓人感到不可思議，
   我自己是有拿他們演示的專案古代山谷與駭客任務，
   是真的不錯，不過我發現電腦RAM至少要64GB會比較穩定，
   顯卡只需要RTX3060甚至1080Ti就行了。
   
   我自己認為他最讓人驚豔的是藍圖（blueprints）這項功能，
   藍圖是一種近四VPL(Virsul Programming Language)概念的產物，
   這項技術1998年就存在，但幾乎在2013年漸漸無聲，
   問題點多半是完善程度與後續維護，
   不過在藍圖發展下，其中把C++轉變成如此好用的介面，是超乎想像的，
   Unreal還有一些令人驚豔的東西，例如Metahuman Creator，
   Unreal都朝向Real發展，而且都非常強大，我認為不該猶豫從什麼軟體學習，
   因為Unreal一定是每個遊戲開發者都要摸過的基礎。
   
   我個人認為unreal是可以做vtuber，
   不過不會是主流，
   主要有兩點
   (1) 入門門檻較高：
   雖然藍圖非常好用，但是有不少底層調整你還是要C++，台灣跟日本這方面的人才都去硬體相關的產業，所以你如果是草創公司，會招不太到人才，對公司自然門檻就很高。
   (2) 大材小用：
   實際上vtubuer ”目前階段“ 大多數要克服的，顯然不是大環境造景與貼圖處理，而是低模與設備連接，這時候反而是unity比較實用，其中c#在整合API的時候，也比起C++來得有優勢。
   
   
2. Unity
   2014的Unity是一個重要的進展階段，它對於虛擬偶像的影響在於AR的應用層面。
   Unity早期開發是難以入手，但後來卻變成較為友善的遊戲引擎，
   嗯，其實她bug繼承了windows軟體開發的缺點，其實有不少不穩定的表現，
   不過還是有不少人在用，
   主要原因是除了個人開發的免費版功能完整，他擁有強大的開發能力，能製作遊戲主機、PC與手機等遊戲，大致上他的物件導向也做得非常優異，Package manager也提供不斷更新的元件。
   另外還有個原因是，若要入門做遊戲大致上你只需要C#跟建模基本概念，剩下的聲音跟元件能透過Unity Asset Store購買，不過Unity在開發介面上還是與Unreal有段距離，例如近似藍圖這類功能，必須仰賴第三方如Netprints，而Netprints並不完善，但有提供一部分開源碼，需要公司裡面有另一群人自己調整，因此有優有劣 => 後來Unity也增加了bolt功能，總算接近Unreal一步了。
   
   無論如何，2017年後可以說是Unit快速發展的年代，其他可以搭配的工具已經多到無法計數，諸如VRoid或3tene整理出的.vrm可能直接用，有這些基礎下，讓初學者能很快入手。
   如果做過Unity遊戲，應該會經歷過一個基礎的階段，例如VRM匯入使用，在2014年還不完善，但那時候Unity就提供免費3D角色，優妮蒂  ユニティちゃん
   
   
   知名的Hololive CEO Yagoo，他就曾經展示過一些開發的東西，而他用的就是利用Unity跟優妮蒂為基礎開發
   
   
   
   一般單純要做到Vtuber人臉動作這塊，大多需要的是 AR Face 的基本技術，如果要能3D化並到處走動，就是需要 SLAM技術的帶入，通常有對應的函式庫可以套用，套用起來也不是難的事情，真正困難的都是微調，例如Tracking 失敗時，如何讓觀眾不會看到眼睛歪斜或一直跳動的Vtuber等等，當然函式庫也會一直更新，或許很多問題也會自動解決，但如果要商業化應用，那勢必要當下解決。
   以上說的這塊，顯然Hololive的技術是有在認真更新與調整，相對於很多公司只是非常單純管理金流與片面行銷，Hololive底下成員直播過程中，因為影像完成度很高，隨時都能剪下來作為迷因梗使用。

題外話一：手繪、CG電繪與3D建模，該怎麼學?
Vtuber勢必會包含到人物的CG繪製與3D建模問題，
手繪是指鉛筆與水彩，電繪則指使用Procreate、SAI或Photoshop等工具繪圖，建模則是做3D圖像。
其實有不少人認為3D建模之前需要擅長手繪，
不過我個人經驗來看，工具只是工具，並沒有絕對的承先啟後，
最還是兩點
(1) 觀念正確：
請搞懂通用的觀念，例如構圖與顏色，大太陽下，陽光透過大氣會變什麼顏色等等，當然，在動漫繪圖之中，常常有非常扭曲的姿勢與表情等等，骨骼驚奇，所以，慢慢試慢慢學慢慢懂。

(2) 熟能生巧：
工具摸熟，你是大師，實際上紙筆是紙筆，他沒有濾色或者Ctrl+z，兩者是不同的應用，只有熟悉才能畫得好。

題外話二: 各種授權問題
如果你沒辦法自己做，那就會牽扯到外包授權的問題，
兩個方向我自己覺得比較需要注意
1.時效
合約要認真看，有不少圖片授權可能不是永久，這部分要非常注意，
如果你跟一個繪師購買到短期授權，例如刊登幾月幾號之後幾天等等，
那逾期之後你就不能使用，或者要繼續支付金額再繼續使用，反過來說繪師也要保護自己。
2.權力範圍
說到遊戲，可能大家玩遊戲有個經驗，為什麼有不少遊戲跟某經典作品很像，分明是抄襲，但為什麼該經典作品的遊戲公司不提告呢? 甚至對手挑釁都不敢回一句話，這要回歸智慧財產(IP)的問題上，可以切的點真的非常多，不過回歸一句，
設計者 ＝ 實作者 ？
如果專業達到可以分工時，答案是通常偏向否定，你還是要考慮他背後是知名的外包公司如3lateral、Aris、BANDAI、Wizcorp、Silicon Studio、Virtuos與XPEC，其實這些公司都算檯面上可以講出來的，不過檯面下的也不少，尤其中國那邊低成本但又很厲害的不計其數...但各位玩家可能從未聽過一些知名遊戲是從OOXX包商之手出來，反是這些知名遊戲大談自家設計理念時，大家可能認為都是他們做，實際上很多是因為外包公司技術交流下的產物，而這些外包公司也會保有一定權力，除了降低賣給你的價格，也會增加他們公司內部的重複利用。

題外話四: AI與寫程式的趨勢

不過AI的出現完全改變過去最浪費時間的製作元件，雖然我公司以前有用一部分自動化的功能，不過ChatGPT出現又完全改變出另一個局面。

未來繪師與工程師都要接受兩個現實，練功扎實性與個人思考能力之中，你必須更注重思考能力，而不是單純的磨練。

以電腦進行虛擬直播，會增加不少樂趣，詳細推薦看對岸寫的一篇文章。
【虚拟主播教程】使用手机app在电脑上进行3D虚拟直播
寫得非常優秀而且完整，而且確實可行，而且並不複雜，只是自己網路環境要注意。


若你的狀況是:

• 不想使用REALITY
• 想創造自己的模，但錢包空空，Live2D只能用動作有限的Free版
• 完全不會建模軟體但有點創作底，願意自學

很想寫一個長篇教學文，若有空我會另外寫一篇。

Void Studio是一個輕量級Vtuber初期可以用的3D建模工具，他可以快速輸出一個.vrm的doll，這比起你從頭學Blender是快非常之多，如果你極度懶惰，出自己的東西整個過程不用五分鐘

(六) VR設備與VRChat 應該會是未來三年內的Vtuber趨勢
我寫到這邊大約是2021年的東西，
因為工作上有機會接觸一些VR (HTC全系列、最近買的Oculus Quest2 跟Rift s等)，所以我認為VR真的是很有趣的東西，可以多試試，不過短時間內還是不便宜。

VR在Vtuber使用已經不奇怪，因為vtuber如果再做全身的判斷互動時，資金充足就會買動作捕捉服，但如果資金不足時候，你就會選擇使用HTC的Lighthouse，或者MICHICON-PLUS這類工具，當然動態捕捉的技術並不是什麼很複雜的技術，程式中能引用的元件很多，大多麻煩在考驗你的公司程式整合能力。

其中VR因為便宜很多，整合性高，所以至少2021年還是最常見的工具，
另外，一般多數會用在展現互動或演唱會，不過少數成功整合遊戲的也會使用這個工具，
例如のらきゃっと(Nora Cat)在2021年初做了不少測試。

這段是以"工作"的角度去評論，一般觀眾短期內還是用一般螢幕觀看你。
我認為VR會是Vtuber未來趨勢有幾個原因。
VR現有的優勢:

VR五年前(2015)大多還在摸索期，所以有不少款，價格一開始能到4.8萬，即便後來降到2.3萬，還是很雷，非常不建議碰，因為功能不完善，品質也不佳，然而現在，正規VR變得相對便宜不少! 一萬元上下就有不錯的VR了。

像是Oculus可以在台灣買之外，他是用美金計價，不過我買的時候是美金一直下跌的時候，買東西自然就相對以前便宜 ，現在2022年美金又衝回29.5以上，所以買東西還是要看時機。

反正當時剛好Oculus的Adobe Medium讓我眼睛為之一亮，此外一些開發都很需要他的VR眼鏡，所以先後買了Quest 2跟Rift S，因為Quest 2的感應表現很優異，無線與接電腦都表現不錯，所以後買的Rift S會拿來取代VIVE一些工作功能。

計算一下，2021/02/18，Quest 2 64GB $319≒8900、Rift S $349≒9700，已含運費。
實際買下去也確實差不多這個價格，整個過程沒有額外的費用或關稅，但要填清關跟NCC的自用單，不難，FedEx跟網路教學也很多，流程用手機在十分鐘內可以處理掉，當然你如果不想懂也可以花一萬三去露天買，別人會幫你處理好，只是搞懂就能馬上省三千。

若要購買VR，一定要先考慮你現在的電腦，而不是單方面的追求規格而是要統整考量。
我建議初期不清楚VR是什麼的狀況下，可以買Oculus Quest 2 (就是All-in-One，可以獨立使用，也可以連接電腦做為電腦VR使用)，除了非常便宜，當你就算體驗到電腦問題時，還有退路可以用。

電腦建議：
如果你沒買一體式或者接電腦才需要擔心

1. CPU
   雖然，VR都是靠顯卡為主，不過長期用下來，發現他還是會占用CPU一定比例運算，而且不少，但最差建議使用R5 2600或I7 8700K以上，如果要穩定，至少R7 3700X或I9 10900K會比較可靠。雖然幾年前用過 I7 6700跟I7 3770，也能動，但是4C8T實在很明顯，容易受到環境效能不足而讓你畫面延遲，例如突然WIN10更新。
2. GPU
   牽扯到你的眼鏡單片解析度跟Hz是否能發揮得好，VR系統會在你性能不足的時候自動降低解析或Hz，也可能從軟體表現作改變。
   實際上，大多數1060 3GB跟RX470 4GB還是能玩VR不少東西，只是偶而介面的系統反應的速度與體驗會是比手機(S835以上)裝VR差，畢竟解析度落差不小。
   VRAM建議至少8GB，要不然常有卡頓，若有FFP之類的技術為了彌補會讓你可視角變得很小。
   以下僅供參考:
   (1) 1440px起，如Oculus Rift s：最差要1070，而且會跑得算辛苦， 2060最大缺點是VRAM只有6GB容易遇到頓，整體建議建議2070 或RX 5700以上。
   (2) 1700px起，如HTC Cosmos Elite：建議最差至少要2080，但實際穩定可能3070以上，可以肯定我是用2080Ti才能看起來比較穩一點。
   (3) 1920px起，如Oculus Quest 2：2021年，擁有的3070跟2080Ti能玩，但按照畫面比例，會建議拿接近頂的3080(10GB)或RX6800，可能有些遊戲這兩張會完全榨乾不夠用。
   另外追光表現確實也會對實感有差異，以上概念2021以前。
3. 網路
   無論玩遊戲或者網路互動，網路延遲是很糟糕的感受，他比起你的CPU或者GPU更直接的造成不舒適。
4. RAM跟SSD
   影響比較不會這麼直接，但是也能造成卡頓。
   建議RAM 16GB，SSD則別太差。

規格討論：

(1) 品牌
品牌實在很多，不過我個人還是比較推薦買Oculus或HTC，主要還是看你功能，如果要lighthouse功能，就建議買HTC，如果單純娛樂互動，Oculus基本功能都有等等。

(2) 頭戴

(4) 額外設備

有些資料可以去VRROOM或者一些討論網站看

VR其實功能是很強大的，無論做為Vtuber或者各類AR互動開發的人，
我個人是建議要擁有VR設備，此外機種自然就是

(三) 語音相關AI
這方面我研究不多，
通常都是模擬其他人聲音為主要目的，包含說話聲音、說話節奏與感覺。不過實際應用上面，最早出現明確成效的還是處理語音回音跟進階版降噪，人類聲音近期才比較有研究，只是我覺得2021年都還是半調子。

文字語音合成(TTS)：

實際上，現在有很多文字說話的AI工具在透過一些技術讓說話平滑而人性。
通常這類發展都是基於無障礙，
但無障礙意味著沒有什麼商業價值，因此早期發展算是有點隨便，
近代進階應用就是使用API轉換，例如Ｍicrosoft Azure的文字轉換語音
https://azure.microsoft.com/zh-tw/services/cognitive-services/text-to-speech/#features


變聲：
變聲也是文字語音合成必備的後段處理，
其實變聲器的概念很多種，早期變聲器是使用程式撰寫的演算法來改變聲音的頻率，
不過近年變聲方法已經有不少改變，
主要關鍵還是在於聲音調整的自動化為主，而不是單純依賴演算法硬變聲音，
其中Morphvox我認為算有用到少量AI的概念，主要在配對那段。


(四) 動態捕捉
這項技術通常跟人臉一起討論，但我會拆開主因是這個技術成熟度顯然沒有人臉高，
然而他卻相對於人臉超級重要，想想看如果你今天能用一支手機判斷你的細部動作，
那你在家中也能模擬操縱一些儀器，就像電影關鍵報告一樣。

2022年這項技術雖然精準度有限，但是你拿來應付動漫人物非常足夠，也不是什麼高大貴的東西，實際上google lab就有不少東西可以玩，通常也會放在github上面，例如:
較早期的Move Mirror
https://experiments.withgoogle.com/move-mirror

其他推薦關注的網站
GOOGLE AI BLOG