Stable Diffusion
[/spoiler]
Цитата: see3 от 07.03.2023, 06:55Сергей, Замечания по процессу:
Важно качество сэмлов, обработать их вначале гигапикселом, аккуратно обрезать (если на единичных фото сильно расставлены руки, то можно и их обрезать, для лучшей композиции), убрать шум и тп. Обрезать до 512, квадрат не нужно. Но и >3000 нужно понизить.
В аннотациях к семплам лучше дописать, приближение, угол, детализацию кожи (если она заметна - detailed skin).
Спойлер
Если в аннотациях много тэгов через запятые и первая часть не ключевая, то shuffle_caption хорошо.
Learning rate можно поднять (не более x10) для лучшего запоминания лица и т.д. - но возможна перетренировка сети, симптомы - например появляются отчётливые лица на всём фоновом (см. архив который я раньше выкладывал). Лёгкая перетренировка нормально.
Для начала можно включить автоподбор Learning rate, два варианта: DAdaptation, learning_rate: 1, constant, "text_encoder_lr": "0.5", "unet_lr": "1"
Или "optimizer": "Adafactor", "lr_scheduler": "adafactor", "text_encoder_lr": "0.5", "unet_lr": "1", "optimizer_args": "scale_parameter=True relative_step=True warmup_init=False weight_decay=2"
И посмотреть какие LR они будут ставить, потом плясать от них (автоподбор замедляет и не панацея от подбора).
В новых версиях параметр Adam 8 bit убрали - он не нужен, всё определяется "optimizer": "AdamW" / AdamW8bit (AdamW лучше качество, намного больше памяти)
BF16 / FP16 определяется видеокартой, 3ххх серия поддерживает BF16 (поточнее).
В новой версии kohya gui добавили вызов графиков tenzorboard - по ним в какой-то степени можно наблюдать за процессом, смотреть текущие параметры (lr).
train_batch_size если сэмплов много (>30) можно и 3,4 (больше памяти) с одновременным понижением повторов (вместо 100).
Корзины (bucket) хорошо, шаг корзин 16/32/64 (сравнить по графикам). random_crop хорошо (когда разнообразие по приближению семплов/их размерам), bucket_no_upscale тоже хорошо, игнорирует настройки макс разрешения, больше памяти.
Если на графике с какого-то момента подъём (в среднем), то либо где-то косяк, либо попробовать поставить на это место stop_text_encoder_training (в %)
Реальных людей лучше тренировать на 1.5 / f222 (поустойчивее геометрия/анатомия).
Для реальных людей clip_skip 1
caption_dropout_rate борется с перетренировкой, хорошо (0.1)
noise_offset лучше баланс света/тени, убивает перетренировку, убивает узнаваемость, убивает геометрию лица, убивает анатомию. Хз что с ним, можно подобрать (в пред. архиве он как раз менялся, 0 / 1e-3 / 1e-2 / 0.013 и тд до 0.1)
Насчёт lora - ещё появляется LoCon (в 2 раза больше параметров чем lora), посмотрим.
Есть подробное руководство по подготовке/параметрам, на японском, https://github.com/kohya-ss/sd-scripts/blob/main/train_README-ja.md
Подскажите, с того времени вы не открыли для себя "идеальный" вариант настроек для тренировки через Лору. Я последние дни пробовал разное, но пока всё ближе к стандарту. И нет ли подробного руководства не на японском?) Его гугл не переводит. Особенно интересуют разные настройки для оптимизаторов и с их отсутствием. Пока что, Адам лучше без вариантов. Но, может мы чего не знаем?
