LoRAの追加学習に最適なデータセットとパラメータの設定方法 ｜ 東北ずん子で追加学習LoRAを試す

/notebooks/　（ルートディレクトリ）
└── TrainingData
    ├── reference_image  (素材画像)
    ├── regularized_image  (正則化画像)
    ├── outputs  (出力ファイル)
    └── datasetconfig.toml

[general]
[[datasets]]
[[datasets.subsets]]
image_dir = '/notebooks/TrainingData/reference_image'
caption_extension = '.txt'
num_repeats = 2

accelerate launch --num_cpu_threads_per_process 1 train_network.py --pretrained_model_name_or_path=/notebooks/stable-diffusion-webui/models/Stable-diffusion/breakdomain_M2000.safetensors --output_dir=/notebooks/TrainingData/outputs --output_name=zunko_breakdomain_M2000_repeats2_epochs3 --dataset_config=/notebooks/TrainingData/datasetconfig.toml --train_batch_size=1 --max_train_epochs=3 --resolution=512,512 --optimizer_type=AdamW8bit --learning_rate=1e-4 --network_dim=128 --network_alpha=64 --enable_bucket --bucket_no_upscale --lr_scheduler=cosine_with_restarts --lr_scheduler_num_cycles=4 --lr_warmup_steps=500 --keep_tokens=1 --shuffle_caption --caption_dropout_rate=0.05 --save_model_as=safetensors --clip_skip=2 --seed=42 --color_aug --xformers --mixed_precision=fp16 --network_module=networks.lora --persistent_data_loader_workers

/usr/local/lib/python3.10/dist-packages/bitsandbytes/cuda_setup/paths.py:27: UserWarning: WARNING: The following directories listed in your path were found to be non-existent: {PosixPath('/usr/local/lib/python3.10/dist-packages/cv2/../../lib64')}
  warn(
CUDA SETUP: CUDA runtime path found: /usr/local/cuda-11.6/lib64/libcudart.so
CUDA SETUP: Highest compute capability among GPUs detected: 6.1
CUDA SETUP: Detected CUDA version 116
CUDA SETUP: Loading binary /usr/local/lib/python3.10/dist-packages/bitsandbytes/libbitsandbytes_cuda116_nocublaslt.so...
use 8-bit AdamW optimizer | {}
override steps. steps for 3 epochs is / 指定エポックまでのステップ数: 366
running training / 学習開始
  num train images * repeats / 学習画像の数×繰り返し回数: 122
  num reg images / 正則化画像の数: 0
  num batches per epoch / 1epochのバッチ数: 122
  num epochs / epoch数: 3
  batch size per device / バッチサイズ: 1
  gradient accumulation steps / 勾配を合計するステップ数 = 1
  total optimization steps / 学習ステップ数: 366
steps:   0%|                                                                                                                                                                                 | 0/366 [00:00<?, ?it/s]
epoch 1/3
steps:  33%|███████████████████████████████████████████████████▋                                                                                                       | 122/366 [02:39<05:18,  1.31s/it, loss=0.103]
epoch 2/3
steps:  67%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                   | 244/366 [05:24<02:42,  1.33s/it, loss=0.0896]
epoch 3/3
steps: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 366/366 [08:10<00:00,  1.34s/it, loss=0.0806]
saving checkpoint: /notebooks/TrainingData/outputs/zunko_breakdomain_M2000_repeats2_epochs3.safetensors
model saved.
steps: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 366/366 [08:13<00:00,  1.35s/it, loss=0.0806]

[general]
[[datasets]]
[[datasets.subsets]]
image_dir = '/notebooks/TrainingData/reference_image'
caption_extension = '.txt'
num_repeats = 10

accelerate launch --num_cpu_threads_per_process 1 train_network.py --pretrained_model_name_or_path=/notebooks/stable-diffusion-webui/models/Stable-diffusion/breakdomain_M2000.safetensors --output_dir=/notebooks/TrainingData/outputs --output_name=zunko_breakdomain_M2000_repeats10_epochs10 --dataset_config=/notebooks/TrainingData/datasetconfig.toml --train_batch_size=1 --max_train_epochs=10 --resolution=512,512 --optimizer_type=AdamW8bit --learning_rate=1e-4 --network_dim=128 --network_alpha=64 --enable_bucket --bucket_no_upscale --lr_scheduler=cosine_with_restarts --lr_scheduler_num_cycles=4 --lr_warmup_steps=500 --keep_tokens=1 --shuffle_caption --caption_dropout_rate=0.05 --save_model_as=safetensors --clip_skip=2 --seed=42 --color_aug --xformers --mixed_precision=fp16 --network_module=networks.lora --persistent_data_loader_workers

/usr/local/lib/python3.10/dist-packages/bitsandbytes/cuda_setup/paths.py:27: UserWarning: WARNING: The following directories listed in your path were found to be non-existent: {PosixPath('/usr/local/lib/python3.10/dist-packages/cv2/../../lib64')}
  warn(
CUDA SETUP: CUDA runtime path found: /usr/local/cuda-11.6/lib64/libcudart.so
CUDA SETUP: Highest compute capability among GPUs detected: 6.1
CUDA SETUP: Detected CUDA version 116
CUDA SETUP: Loading binary /usr/local/lib/python3.10/dist-packages/bitsandbytes/libbitsandbytes_cuda116_nocublaslt.so...
use 8-bit AdamW optimizer | {}
override steps. steps for 10 epochs is / 指定エポックまでのステップ数: 6100
running training / 学習開始
  num train images * repeats / 学習画像の数×繰り返し回数: 610
  num reg images / 正則化画像の数: 0
  num batches per epoch / 1epochのバッチ数: 610
  num epochs / epoch数: 10
  batch size per device / バッチサイズ: 1
  gradient accumulation steps / 勾配を合計するステップ数 = 1
  total optimization steps / 学習ステップ数: 6100
steps:   0%|                                                                                                                                                                              | 0/6100 [00:00<?, ?it/s]
epoch 1/10
steps:  10%|██████████████▉                                                                                                                                      | 610/6100 [13:41<2:03:13,  1.35s/it, loss=0.0849]
epoch 2/10
steps:  20%|█████████████████████████████▌                                                                                                                      | 1220/6100 [27:28<1:49:53,  1.35s/it, loss=0.0813]
epoch 3/10
steps:  30%|████████████████████████████████████████████▍                                                                                                       | 1830/6100 [41:13<1:36:11,  1.35s/it, loss=0.0841]
epoch 4/10
steps:  40%|███████████████████████████████████████████████████████████▏                                                                                        | 2440/6100 [54:57<1:22:26,  1.35s/it, loss=0.0751]
epoch 5/10
steps:  50%|█████████████████████████████████████████████████████████████████████████                                                                         | 3050/6100 [1:08:42<1:08:42,  1.35s/it, loss=0.0777]
epoch 6/10
steps:  58%|█████████████████████████████████████████████████████████████████████████████████████▌                                                              | 3526/6100 [1:19:24<57:58,  1.35s/it, loss=0.0769]steps:  60%|████████████████████████████████████████████████████████████████████████████████████████▊                                                           | 3660/6100 [1:22:27<54:58,  1.35s/it, loss=0.0738]
epoch 7/10
steps:  70%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌                                            | 4270/6100 [1:36:11<41:13,  1.35s/it, loss=0.0698]
epoch 8/10
steps:  80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                             | 4880/6100 [1:49:54<27:28,  1.35s/it, loss=0.0701]
epoch 9/10
steps:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 5490/6100 [2:03:38<13:44,  1.35s/it, loss=0.0713]
epoch 10/10
steps: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6100/6100 [2:17:24<00:00,  1.35s/it, loss=0.0703]
saving checkpoint: /notebooks/TrainingData/outputs/zunko_breakdomain_M2000_repeats10_epochs10.safetensors
model saved.
steps: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6100/6100 [2:17:26<00:00,  1.35s/it, loss=0.0703]