LoRA訓練

• SDXL真人訓練能力佳

  • 訓練資料
    • 20以上
    • 臉部特寫/半身照優先
    • 全身照1/4以下
    • 年齡、妝容差異不能過大
    • 尺寸不限
  • 如何打上標籤？
    • 提詞標籤優劣：
      1. 精準的自然語法標籤
      2. 精準的deepBooru標籤
      3. 不精準的自然語法標籤
    • Deepbooru
      • 辨識標籤Add-on: tagger https://github.com/67372a/stable-diffusion-webui-wd14-tagger.git
      • 刪除或增加標籤BooruDataSet https://github.com/starik222/BooruDatasetTagManager/releases/tag/v1.6.7
        • 需要移除的標籤tag:
          • 觸發詞：講到某種詞彙時，就會涵蓋風格、形狀、色系等等。例如講到明星XXX時，眼睛、鼻子、臉型、體型、髮型就應該是一致的跑出來。除非某些特徵是希望未來可以被改變的，才需要存在向量中。所也不想要改變的，都要刪除。
          • 例如：人物的服裝、背景都應該被改變
          • 按X進行移除
          • 也可以增添
          • 後續確認每一張圖片中的tag
          • 最後save all changes
      • 觸發提示詞命名：
        • 確認模型中，哪些詞與自己要形成的內容最接近，就以那些為主
      • 基礎模型的選擇
        • 選擇一個與最終模型風格較為接近的模型為起點
        • 例如：SD 1.5很會畫美女圖—》適合訓練與此類別相關的模型
        • 不要選與原始模型訓練資料離太遠的模型
      • 準備訓練資料夾
        • Kohya GUI https://colab.research.google.com/github/panguin6010/kohya_ss_google_colab/blob/master/kohya_ss_colab.ipynb#scrollTo=DrAnm1um5vjh
        • 訓練集總數（EX:20）X Repeats (EX:40)= lepoch=800步
        • Epoch 5 X Repeats 30= 單張150次
        • 常見建議訓練Epoch數：
          • Fine-tune 微調模型（如LoRA）：10~20 Epochs
          • 從零訓練模型：可能上百Epoch或更多

  Reference

  https://youtu.be/xc_MmF4JjMU?si=uVn3BCuXfVJoo8Ah