主題
最近在試著把之前繪製的 live2D 角色訓練成 Lora，算是在做一些技術測試~ 同時，受到 neuro-sama 新皮的啟發，就決定來盤點一下手上現有的資源(皮+角色設定+chatGPT指令+找可用的聲源)，之後看看有沒有大佬或公司會開源一套可行的AI-vtuber系統或平台，到時候就可以把手頭上已經訓練好的資源套入.......畢竟，總感覺從現在才開始學程式有點來不及了(:з」∠)
現階段AI繪圖也好、Live2D也好，都偏向當個人休閒在玩，同時從這邊作為出發點來讓自己學習一些新技術~~ 不過，因為暫時沒打算走向營利，所以在採購設備或軟體上就比較卡
.....明明買模型的時候就管不住手，但買軟體或設備時就意外精明，自己還真是矛盾的集合體(。-`ω´-)
.....明明買模型的時候就管不住手，但買軟體或設備時就意外精明，自己還真是矛盾的集合體(。-`ω´-)Lora方面的訓練，我是看"杰克艾米立"的教學，其中考慮到不想讓插件已經一堆的SD更加冗，我的訓練軟體是選用"kohya_ss(安裝連結:https://github.com/bmaltais/kohya_ss)"；其中，訓練相關的設定內容都跟杰克艾米立影片相同，唯一不同的地方在於安裝部分原作者在今年6月有做了介面，安裝時直接通過介面去選擇想要的安裝方式，系統就會"自動安裝(沒有進度條!!!!!!)".......
..........唉，當初我安裝時就是沒有注意到原作者改介面，還去看之前其他人寫的安裝教學，然後花了三個小時處理各種錯誤......後來才發現只要我放著不管，30分鐘就安裝好
只能說─不要相信自己，要相信那個相信我們會"等待"的作者呀!!!!!
只能說─不要相信自己，要相信那個相信我們會"等待"的作者呀!!!!!安裝完後，是可以直接從 setup中開啟kohya_ss的網頁介面(4)，系統跑完後會自動開啟介面(這可比SD輕鬆呀)
安裝完後，後面相關的參數設定+訓練資料準備(512*512)+打tag都可以參考"杰克艾米立"的影片或是 b站"也贺YeHeAI"的影片，文章後面主要展示我目前的訓練結果與跑SD的側視圖
一開始我是先測試 LyCORIS 的 LoCon與LoHa，訓練庫我是用25張去跑(沒有打tag)；素材部分因為有 這個角色模型有live 2D，所以我是用 live2D (Vtube studio)去拍表情(23)跟全身照(2)，訓練庫如下.....不得不說，用 live2d來生訓練素材真的快XD 就是比較廢臉部肌肉
Locon的部分我跑25*40重複*3 Epoch(3,000步)，而LoHa則是25*100重複*5Epoch (12,500步)，兩者都是每1 Epoch 紀錄一次模型與做，取樣與SD(model.cpkt)跑出來的結果如下:
LoCon:
LoHa:
恩~以角色細節的還原度來說，LoCon還原得更好，頭髮的細節跟分色都有做出來，但訓練過度容易影響到背景，感覺千步左右就有不錯的效果；相反的，LoHa對於角色的理解不太行，就算訓練到萬步還是無法還原角色細節，但LoHa背景的干擾相對較少~ 或許，之後可以融合上面兩種 Lora，來達到高角色還原+不影響背景之效果( ^∀^)
在上面的基礎上，後續也針對LoCon的訓練條件做了不同的測試，包含用SD生成tag+手動調整.....不過呀─SD你給我繪製的角色打上1 boy的tag不能忍，至少也要是tomboy吧(`皿´) Σ（ﾟдﾟlll）:欸，你在意的是這個喔????
不過呀，我發現打了 tag後的幾次訓練結果都沒有一開始的好，這有點進入玄學的領域了....後續有簡化了tag+調低訓練步數，但效果都很一般(prompt都跟前面一樣)
LoCon_tag_3000步: 背景一個被Lora吃掉
LoCon_tag_600步_10 Epoch:
頭髮的分色一個飄+服裝的顏色全都不對呀........(๑ ◔﹃ ◔๑)
真的搞不懂AI是如何根據tag學習的ತωತ 另外，感覺10 Epoch 間對角色的還原度並沒有顯著改善(這個意思是tag加速了學習?).....但，背景的細節倒是越來越簡單了
總之，Lora的訓練過程各種不確定(素材品質+tag用詞+kohya_ss可以調的參數太多)，但系統又不像SD可以生成XYZ去對比，整個過程基本上就是不斷的等待跟試錯，其實滿折磨人的~~ 不如SD跑圖有趣就是ΘωΘ
其次，kohya_ss採樣生成的示意圖效果滿差，除非是很嚴重的問題(比如我下面第一次跑的結果)
不然基本上生出來的Lora都還是要丟去SD測試效果，才能知道到底能不能用......特別，採樣生成的圖越接近提供的素材圖，反而越難用，變成只能生成跟素材圖類似的圖......那我直接用 live2D去拍就好啦
原圖我自己畫的耶XDDDDD
原圖我自己畫的耶XDDDDD最後，再來些風格繪吧~ 跟之前一樣是用不同的 checkpoint 跑出來的效果，其中有些 checkpoint跟我最開始訓練的 LoCon 風格很搭耶，甚至比用母模型(model.cpkt)跑出來的效果更好
(； ･`д･´):這是什麼巫術呀.....
9527
colorbox
Ghostmix
mixProV3
mixProV4(背景穩定度V4要好一些)
Model(NovelAI)
Awpainting(目前感覺跟我 Lora 契合度最高的checkpoint)
manmaruMix(天呀~這個也太可愛了吧!! 好像用這個形象再來做個 live2D喔
)
)
pastelMix (效果炸裂，但跑圖成功率不高呀)
Seekyou_mikan(人物更寫實風，但背景生成有點不太行)
Seekyou_momo(人物更可愛風，且momo的背景比較乾淨_我傾向momo)
ToonyouJP (參數還需要調整，根據作者建議使用起來沒有manmaruMix來的穩定)
WontonColorbox(人物跟光影有很不錯的效果，但部分線條與畫面有點亂)
Cocotifamix(雖然很可愛，但不太搭XDDD 有點太老成的感覺 )
)
總之，又是大滿足的一天，有些沒放上來的跑圖結果一樣也會放在我的P站(https://www.pixiv.net/artworks/109319056)..... 然後，跑完 ai繪圖再過頭來看我自己的電繪原圖......腦中只有這個想法
