LoRAで追加学習 ｜ sd-scriptでLoRAファイルを作成する方法

/notebooks/　（ルートディレクトリ）
└── TrainingData
    ├── reference_image  (素材画像)
    ├── regularized_image  (正則化画像)
    ├── outputs  (出力ファイル)
    └── datasetconfig.toml

https://github.com/toriato/stable-diffusion-webui-wd14-tagger

kero chan, no humans, white background, simple background, solo, open mouth, full body, dinosaur, from side, claws

kero chan, white background, simple background, dinosaur

[general]
[[datasets]]
[[datasets.subsets]]
image_dir = '\notebooks\TrainingData\reference_image'
caption_extension = '.txt'
num_repeats = 1

image_dir = '\notebooks\TrainingData\reference_image'

num_repeats = 1

accelerate launch --num_cpu_threads_per_process 1 train_network.py
 --pretrained_model_name_or_path=X:\YOUR_FAVORITE_MODEL_PATH.safetensors
 --output_dir=D:\TrainingData\outputs
 --output_name=FILE_NAME_HERE
 --dataset_config=D:\TrainingData\datasetconfig.toml
 --train_batch_size=1
 --max_train_epochs=10
 --resolution=512,512
 --optimizer_type=AdamW8bit
 --learning_rate=1e-4
 --network_dim=128
 --network_alpha=64
 --enable_bucket
 --bucket_no_upscale
 --lr_scheduler=cosine_with_restarts
 --lr_scheduler_num_cycles=4
 --lr_warmup_steps=500
 --keep_tokens=1
 --shuffle_caption
 --caption_dropout_rate=0.05
 --save_model_as=safetensors
 --clip_skip=2
 --seed=42
 --color_aug
 --xformers
 --mixed_precision=fp16
 --network_module=networks.lora
 --persistent_data_loader_workers

 --pretrained_model_name_or_path=X:\YOUR_FAVORITE_MODEL_PATH.safetensors

 --output_dir=D:\TrainingData\outputs

 --dataset_config=D:\TrainingData\datasetconfig.toml

 --train_batch_size=1

accelerate launch --num_cpu_threads_per_process 1 train_network.py --pretrained_model_name_or_path=/notebooks/stable-diffusion-webui/models/Stable-diffusion/breakdomain_M2000.safetensors --output_dir=/notebooks/TrainingData/outputs --output_name=FILE_NAME_HERE --dataset_config=/notebooks/TrainingData/datasetconfig.toml --train_batch_size=1 --max_train_epochs=10 --resolution=512,512 --optimizer_type=AdamW8bit --learning_rate=1e-4 --network_dim=128 --network_alpha=64 --enable_bucket --bucket_no_upscale --lr_scheduler=cosine_with_restarts --lr_scheduler_num_cycles=4 --lr_warmup_steps=500 --keep_tokens=1 --shuffle_caption --caption_dropout_rate=0.05 --save_model_as=safetensors --clip_skip=2 --seed=42 --color_aug --xformers --mixed_precision=fp16 --network_module=networks.lora --persistent_data_loader_workers

cd /notebooks/sd-scripts/

accelerate launch --num_cpu_threads_per_process 1 train_network.py --pretrained_model_name_or_path=/notebooks/stable-diffusion-webui/models/Stable-diffusion/breakdomain_M2000.safetensors --output_dir=/notebooks/TrainingData/outputs --output_name=FILE_NAME_HERE --dataset_config=/notebooks/TrainingData/datasetconfig.toml --train_batch_size=1 --max_train_epochs=10 --resolution=512,512 --optimizer_type=AdamW8bit --learning_rate=1e-4 --network_dim=128 --network_alpha=64 --enable_bucket --bucket_no_upscale --lr_scheduler=cosine_with_restarts --lr_scheduler_num_cycles=4 --lr_warmup_steps=500 --keep_tokens=1 --shuffle_caption --caption_dropout_rate=0.05 --save_model_as=safetensors --clip_skip=2 --seed=42 --color_aug --xformers --mixed_precision=fp16 --network_module=networks.lora --persistent_data_loader_workers

/usr/local/lib/python3.10/dist-packages/bitsandbytes/cuda_setup/paths.py:27: UserWarning: WARNING: The following directories listed in your path were found to be non-existent: {PosixPath('/usr/local/lib/python3.10/dist-packages/cv2/../../lib64')}
  warn(
CUDA SETUP: CUDA runtime path found: /usr/local/cuda-11.6/lib64/libcudart.so
CUDA SETUP: Highest compute capability among GPUs detected: 6.1
CUDA SETUP: Detected CUDA version 116
CUDA SETUP: Loading binary /usr/local/lib/python3.10/dist-packages/bitsandbytes/libbitsandbytes_cuda116_nocublaslt.so...
use 8-bit AdamW optimizer | {}
override steps. steps for 10 epochs is / 指定エポックまでのステップ数: 60
running training / 学習開始
  num train images * repeats / 学習画像の数×繰り返し回数: 6
  num reg images / 正則化画像の数: 0
  num batches per epoch / 1epochのバッチ数: 6
  num epochs / epoch数: 10
  batch size per device / バッチサイズ: 1
  gradient accumulation steps / 勾配を合計するステップ数 = 1
  total optimization steps / 学習ステップ数: 60
steps:   0%|                                                                                                                                                                              | 0/60 [00:00<?, ?it/s]
epoch 1/10
steps:  10%|███████████████▎                                                                                                                                         | 6/60 [00:11<01:39,  1.83s/it, loss=0.0698]
epoch 2/10
steps:  20%|██████████████████████████████▍                                                                                                                         | 12/60 [00:20<01:20,  1.68s/it, loss=0.0577]
epoch 3/10
steps:  30%|█████████████████████████████████████████████▌                                                                                                          | 18/60 [00:29<01:08,  1.62s/it, loss=0.0535]
epoch 4/10
steps:  40%|████████████████████████████████████████████████████████████▊                                                                                           | 24/60 [00:38<00:57,  1.60s/it, loss=0.0265]
epoch 5/10
steps:  50%|████████████████████████████████████████████████████████████████████████████                                                                            | 30/60 [00:47<00:47,  1.58s/it, loss=0.0506]
epoch 6/10
steps:  60%|███████████████████████████████████████████████████████████████████████████████████████████▏                                                            | 36/60 [00:56<00:37,  1.57s/it, loss=0.0424]
epoch 7/10
steps:  70%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                             | 42/60 [01:05<00:28,  1.57s/it, loss=0.0388]
epoch 8/10
steps:  80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                              | 48/60 [01:14<00:18,  1.56s/it, loss=0.0404]
epoch 9/10
steps:  90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊               | 54/60 [01:24<00:09,  1.56s/it, loss=0.0353]
epoch 10/10
steps: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 60/60 [01:33<00:00,  1.55s/it, loss=0.0642]
saving checkpoint: /notebooks/TrainingData/outputs/kero_chan01.safetensors
model saved.
steps: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 60/60 [01:35<00:00,  1.60s/it, loss=0.0642]
root@XXXXXXX:/notebooks/sd-scripts# 

saving checkpoint: /notebooks/TrainingData/outputs/kero_chan01.safetensors