LoRA訓練
SDXL真人訓練能力佳
訓練資料
20以上
臉部特寫/半身照優先
全身照1/4以下
年齡、妝容差異不能過大
尺寸不限
如何打上標籤?
提詞標籤優劣:
精準的自然語法標籤
精準的deepBooru標籤
不精準的自然語法標籤
Deepbooru
辨識標籤Add-on: tagger
https://github.com/67372a/stable-diffusion-webui-wd14-tagger.git
刪除或增加標籤BooruDataSet
https://github.com/starik222/BooruDatasetTagManager/releases/tag/v1.6.7
需要移除的標籤tag:
觸發詞:講到某種詞彙時,就會涵蓋風格、形狀、色系等等。例如講到明星XXX時,眼睛、鼻子、臉型、體型、髮型就應該是一致的跑出來。除非某些特徵是希望未來可以被改變的,才需要存在向量中。所也不想要改變的,都要刪除。
例如:人物的服裝、背景都應該被改變
按X進行移除
也可以增添
後續確認每一張圖片中的tag
最後save all changes
觸發提示詞命名:
確認模型中,哪些詞與自己要形成的內容最接近,就以那些為主
基礎模型的選擇
選擇一個與最終模型風格較為接近的模型為起點
例如:SD 1.5很會畫美女圖—》適合訓練與此類別相關的模型
不要選與原始模型訓練資料離太遠的模型
準備訓練資料夾
Kohya GUI
https://colab.research.google.com/github/panguin6010/kohya_ss_google_colab/blob/master/kohya_ss_colab.ipynb#scrollTo=DrAnm1um5vjh
訓練集總數(EX:20)X Repeats (EX:40)= lepoch=800步
Epoch 5 X Repeats 30= 單張150次
常見建議訓練Epoch數:
Fine-tune 微調模型(如LoRA):10~20 Epochs
從零訓練模型:可能上百Epoch或更多
Reference
https://youtu.be/xc_MmF4JjMU?si=uVn3BCuXfVJoo8Ah