Version 0.6.6

Minor fixes.

細かいバグ修正などを行いました。

Version 0.6.5

Updates on 15 Jun. 2023, 2023/06/15

• Prodigy optimizer is supported in each training script. It is a member of D-Adaptation and is effective for DyLoRA training. PR #585 Please see the PR for details. Thanks to sdbds!

  • Install the package with pip install prodigyopt. Then specify the option like --optimizer_type="prodigy".

• Arbitrary Dataset is supported in each training script (except XTI). You can use it by defining a Dataset class that returns images and captions.

  • Prepare a Python script and define a class that inherits train_util.MinimalDataset. Then specify the option like --dataset_class package.module.DatasetClass in each training script.
  • Please refer to MinimalDataset for implementation. I will prepare a sample later.

• The following features have been added to the generation script.

  • Added an option --highres_fix_disable_control_net to disable ControlNet in the 2nd stage of Highres. Fix. Please try it if the image is disturbed by some ControlNet such as Canny.
  • Added Variants similar to sd-dynamic-propmpts in the prompt.
    • If you specify {spring|summer|autumn|winter}, one of them will be randomly selected.
    • If you specify {2$$chocolate|vanilla|strawberry}, two of them will be randomly selected.
    • If you specify {1-2$$ and $$chocolate|vanilla|strawberry}, one or two of them will be randomly selected and connected by and.
    • You can specify the number of candidates in the range 0-2. You cannot omit one side like -2 or 1-.
    • It can also be specified for the prompt option.
    • If you specify e or E, all candidates will be selected and the prompt will be repeated multiple times (--images_per_prompt is ignored). It may be useful for creating X/Y plots.
    • You can also specify --am {e$$0.2|0.4|0.6|0.8|1.0},{e$$0.4|0.7|1.0} --d 1234. In this case, 15 prompts will be generated with 5*3.
    • There is no weighting function.

• 各学習スクリプトでProdigyオプティマイザがサポートされました。D-Adaptationの仲間でDyLoRAの学習に有効とのことです。 PR #585 詳細はPRをご覧ください。sdbds氏に感謝します。

  • pip install prodigyopt としてパッケージをインストールしてください。また --optimizer_type="prodigy" のようにオプションを指定します。

• 各学習スクリプトで任意のDatasetをサポートしました（XTIを除く）。画像とキャプションを返すDatasetクラスを定義することで、学習スクリプトから利用できます。

  • Pythonスクリプトを用意し、train_util.MinimalDatasetを継承するクラスを定義してください。そして各学習スクリプトのオプションで --dataset_class package.module.DatasetClass のように指定してください。
  • 実装方法は MinimalDataset を参考にしてください。のちほどサンプルを用意します。

• 生成スクリプトに以下の機能追加を行いました。

  • Highres. Fixの2nd stageでControlNetを無効化するオプション --highres_fix_disable_control_net を追加しました。Canny等一部のControlNetで画像が乱れる場合にお試しください。
  • プロンプトでsd-dynamic-propmptsに似たVariantをサポートしました。
    • {spring|summer|autumn|winter} のように指定すると、いずれかがランダムに選択されます。
    • {2$$chocolate|vanilla|strawberry} のように指定すると、いずれか2個がランダムに選択されます。
    • {1-2$$ and $$chocolate|vanilla|strawberry} のように指定すると、1個か2個がランダムに選択され and で接続されます。
    • 個数のレンジ指定では0-2のように0個も指定可能です。-2や1-のような片側の省略はできません。
    • プロンプトオプションに対しても指定可能です。
    • {e$$chocolate|vanilla|strawberry} のようにeまたはEを指定すると、すべての候補が選択されプロンプトが複数回繰り返されます（--images_per_promptは無視されます）。X/Y plotの作成に便利かもしれません。
    • --am {e$$0.2|0.4|0.6|0.8|1.0},{e$$0.4|0.7|1.0} --d 1234のような指定も可能です。この場合、5*3で15回のプロンプトが生成されます。
    • Weightingの機能はありません。

Updates on 8 Jun. 2023, 2023/06/08

• Fixed a bug where clip skip did not work when training with weighted captions (--weighted_captions specified) and when generating sample images during training.
• 重みづけキャプションでの学習時（--weighted_captions指定時）および学習中のサンプル画像生成時にclip skipが機能しない不具合を修正しました。

Updates on 6 Jun. 2023, 2023/06/06

• Fix train_network.py to probably work with older versions of LyCORIS.
• gen_img_diffusers.py now supports BREAK syntax.
• train_network.pyがLyCORISの以前のバージョンでも恐らく動作するよう修正しました。
• gen_img_diffusers.py で BREAK 構文をサポートしました。

Updates on 3 Jun. 2023, 2023/06/03

• Max Norm Regularization is now available in train_network.py. PR #545 Thanks to AI-Casanova!

  • Max Norm Regularization is a technique to stabilize network training by limiting the norm of network weights. It may be effective in suppressing overfitting of LoRA and improving stability when used with other LoRAs. See PR for details.
  • Specify as --scale_weight_norms=1.0. It seems good to try from 1.0.
  • The networks other than LoRA in this repository (such as LyCORIS) do not support this option.

• Three types of dropout have been added to train_network.py and LoRA network.

  • Dropout is a technique to suppress overfitting and improve network performance by randomly setting some of the network outputs to 0.
  • --network_dropout is a normal dropout at the neuron level. In the case of LoRA, it is applied to the output of down. Proposed in PR #545 Thanks to AI-Casanova!
    • --network_dropout=0.1 specifies the dropout probability to 0.1.
    • Note that the specification method is different from LyCORIS.
  • For LoRA network, --network_args can specify rank_dropout to dropout each rank with specified probability. Also module_dropout can be specified to dropout each module with specified probability.
    • Specify as --network_args "rank_dropout=0.2" "module_dropout=0.1".
  • --network_dropout, rank_dropout, and module_dropout can be specified at the same time.
  • Values of 0.1 to 0.3 may be good to try. Values greater than 0.5 should not be specified.
  • rank_dropout and module_dropout are original techniques of this repository. Their effectiveness has not been verified yet.
  • The networks other than LoRA in this repository (such as LyCORIS) do not support these options.

• Added an option --scale_v_pred_loss_like_noise_pred to scale v-prediction loss like noise prediction in each training script.

  • By scaling the loss according to the time step, the weights of global noise prediction and local noise prediction become the same, and the improvement of details may be expected.
  • See this article by xrg for details (written in Japanese). Thanks to xrg for the great suggestion!

• Max Norm Regularizationがtrain_network.pyで使えるようになりました。PR #545 AI-Casanova氏に感謝します。

  • Max Norm Regularizationは、ネットワークの重みのノルムを制限することで、ネットワークの学習を安定させる手法です。LoRAの過学習の抑制、他のLoRAと併用した時の安定性の向上が期待できるかもしれません。詳細はPRを参照してください。
  • --scale_weight_norms=1.0のように --scale_weight_norms で指定してください。1.0から試すと良いようです。
  • LyCORIS等、当リポジトリ以外のネットワークは現時点では未対応です。

• train_network.py およびLoRAに計三種類のdropoutを追加しました。

  • dropoutはネットワークの一部の出力をランダムに0にすることで、過学習の抑制、ネットワークの性能向上等を図る手法です。
  • --network_dropout はニューロン単位の通常のdropoutです。LoRAの場合、downの出力に対して適用されます。PR #545 で提案されました。AI-Casanova氏に感謝します。
    • --network_dropout=0.1 などとすることで、dropoutの確率を指定できます。
    • LyCORISとは指定方法が異なりますのでご注意ください。
  • LoRAの場合、--network_argsにrank_dropoutを指定することで各rankを指定確率でdropoutします。また同じくLoRAの場合、--network_argsにmodule_dropoutを指定することで各モジュールを指定確率でdropoutします。
    • --network_args "rank_dropout=0.2" "module_dropout=0.1" のように指定します。
  • --network_dropout、rank_dropout 、 module_dropout は同時に指定できます。
  • それぞれの値は0.1~0.3程度から試してみると良いかもしれません。0.5を超える値は指定しない方が良いでしょう。
  • rank_dropoutおよびmodule_dropoutは当リポジトリ独自の手法です。有効性の検証はまだ行っていません。
  • これらのdropoutはLyCORIS等、当リポジトリ以外のネットワークは現時点では未対応です。

• 各学習スクリプトにv-prediction lossをnoise predictionと同様の値にスケールするオプション--scale_v_pred_loss_like_noise_predを追加しました。

  • タイムステップに応じてlossをスケールすることで、 大域的なノイズの予測と局所的なノイズの予測の重みが同じになり、ディテールの改善が期待できるかもしれません。
  • 詳細はxrg氏のこちらの記事をご参照ください：noise_predictionモデルとv_predictionモデルの損失 - 勾配降下党青年局 xrg氏の素晴らしい記事に感謝します。

Updates on 31 May 2023, 2023/05/31

• Show warning when image caption file does not exist during training. PR #533 Thanks to TingTingin!

  • Warning is also displayed when using class+identifier dataset. Please ignore if it is intended.

• train_network.py now supports merging network weights before training. PR #542 Thanks to u-haru!

  • --base_weights option specifies LoRA or other model files (multiple files are allowed) to merge.
  • --base_weights_multiplier option specifies multiplier of the weights to merge (multiple values are allowed). If omitted or less than base_weights, 1.0 is used.
  • This is useful for incremental learning. See PR for details.

• Show warning and continue training when uploading to HuggingFace fails.

• 学習時に画像のキャプションファイルが存在しない場合、警告が表示されるようになりました。 PR #533 TingTingin氏に感謝します。

  • class+identifier方式のデータセットを利用している場合も警告が表示されます。意図している通りの場合は無視してください。

• train_network.py に学習前にモデルにnetworkの重みをマージする機能が追加されました。 PR #542 u-haru氏に感謝します。

  • --base_weights オプションでLoRA等のモデルファイル（複数可）を指定すると、それらの重みをマージします。
  • --base_weights_multiplier オプションでマージする重みの倍率（複数可）を指定できます。省略時またはbase_weightsよりも数が少ない場合は1.0になります。
  • 差分追加学習などにご利用ください。詳細はPRをご覧ください。

• HuggingFaceへのアップロードに失敗した場合、警告を表示しそのまま学習を続行するよう変更しました。

Updates on 25 May 2023, 2023/05/25

• D-Adaptation v3.0 is now supported. PR #530 Thanks to sdbds!
  • --optimizer_type now accepts DAdaptAdamPreprint, DAdaptAdanIP, and DAdaptLion.
  • DAdaptAdam is now new. The old DAdaptAdam is available with DAdaptAdamPreprint.
  • Simply specifying DAdaptation will use DAdaptAdamPreprint (same behavior as before).
  • You need to install D-Adaptation v3.0. After activating venv, please do pip install -U dadaptation.
  • See ...

Version 0.6.4

Updated at 3 May 2023, 2023/05/03

• When saving v2 models in Diffusers format in training scripts and conversion scripts, it was found that the U-Net configuration is different from those of Hugging Face's stabilityai models (this repository is "use_linear_projection": false, stabilityai is true). Please note that the weight shapes are different, so please be careful when using the weight files directly. We apologize for the inconvenience.

  • Since the U-Net model is created based on the configuration, it should not cause any problems in training or inference.
  • Added --unet_use_linear_projection option to convert_diffusers20_original_sd.py script. If you specify this option, you can save a Diffusers format model with the same configuration as stabilityai's model from an SD format model (a single *.safetensors or *.ckpt file). Unfortunately, it is not possible to convert a Diffusers format model to the same format.

• Lion8bit optimizer is supported. PR #447 Thanks to sdbds!

  • Currently it is optional because you need to update bitsandbytes version. See "Optional: Use Lion8bit" in installation instructions to use it.

• Multi-GPU training with DDP is supported in each training script. PR #448 Thanks to Isotr0py!

• Multi resolution noise (pyramid noise) is supported in each training script. PR #471 Thanks to pamparamm!

  • See PR and this page Multi-Resolution Noise for Diffusion Model Training for details.

• 学習スクリプトや変換スクリプトでDiffusers形式でv2モデルを保存するとき、U-Netの設定がHugging Faceのstabilityaiのモデルと異なることがわかりました（当リポジトリでは "use_linear_projection": false、stabilityaiはtrue）。重みの形状が異なるため、直接重みファイルを利用する場合にはご注意ください。ご不便をお掛けし申し訳ありません。

  • U-Netのモデルは設定に基づいて作成されるため、通常、学習や推論で問題になることはないと思われます。
  • convert_diffusers20_original_sd.pyスクリプトに--unet_use_linear_projectionオプションを追加しました。これを指定するとSD形式のモデル（単一の*.safetensorsまたは*.ckptファイル）から、stabilityaiのモデルと同じ形状の重みファイルを持つDiffusers形式モデルが保存できます。なお、Diffusers形式のモデルを同形式に変換することはできません。

• Lion8bitオプティマイザがサポートされました。PR #447 sdbds氏に感謝します。

  • bitsandbytesのバージョンを更新する必要があるため、現在はオプションです。使用するにはインストール手順の「オプション：Lion8bitを使う」を参照してください。

• 各学習スクリプトでDDPによるマルチGPU学習がサポートされました。PR #448 Isotr0py氏に感謝します。

• Multi resolution noise (pyramid noise) が各学習スクリプトでサポートされました。PR #471 pamparamm氏に感謝します。

  • 詳細はPRおよびこちらのページ Multi-Resolution Noise for Diffusion Model Training を参照してください。
  • --multires_noise_iterations に数値を指定すると有効になります。6~10程度の値が良いようです。
  • --multires_noise_discount に0.1~0.3 程度の値（LoRA学習等比較的データセットが小さい場合のPR作者の推奨）、ないしは0.8程度の値（元記事の推奨）を指定してください（デフォルトは 0.3）。

Version 0.6.3

Updated at 30 Apr. 2023, 2023/04/30

• Added Chinese translation of DreamBooth guide and LoRA guide. PR #459 Thanks to tomj2ee!
• Added documentation for image generation script gen_img_diffusers.py (Japanese version only).
• 中国語版のDreamBoothガイドとLoRAガイドが追加されました。 PR #459 tomj2ee氏に感謝します。
• 画像生成スクリプト gen_img_diffusers.pyの簡単なドキュメントを追加しました（日本語版のみ）。

Updated at 26 Apr. 2023, 2023/04/26

• Added Chinese translation of training guide. PR #445 Thanks to tomj2ee!
• tag_images_by_wd14_tagger.py can now get arguments from outside. PR #453 Thanks to mio2333!
• 学習に関するドキュメントの中国語版が追加されました。 PR #445 tomj2ee氏に感謝します。
• tag_images_by_wd14_tagger.pyの引数を外部から取得できるようになりました。 PR #453 mio2333氏に感謝します。

Updated at 25 Apr. 2023, 2023/04/25

• Please do not update for a while if you cannot revert the repository to the previous version when something goes wrong, because the model saving part has been changed.

• Added --save_every_n_steps option to each training script. The model is saved every specified steps.

  • --save_last_n_steps option can be used to save only the specified number of models (old models will be deleted).
  • If you specify the --save_state option, the state will also be saved at the same time. You can specify the number of steps to keep the state with the --save_last_n_steps_state option (the same value as --save_last_n_steps is used if omitted).
  • You can use the epoch-based model saving and state saving options together.
  • Not tested in multi-GPU environment. Please report any bugs.

• --cache_latents_to_disk option automatically enables --cache_latents option when specified. #438

• Fixed a bug in gen_img_diffusers.py where latents upscaler would fail with a batch size of 2 or more.

• モデル保存部分を変更していますので、何か不具合が起きた時にリポジトリを前のバージョンに戻せない場合には、しばらく更新を控えてください。

• 各学習スクリプトに--save_every_n_stepsオプションを追加しました。指定ステップごとにモデルを保存します。

  • --save_last_n_stepsオプションに数値を指定すると、そのステップ数のモデルのみを保存します（古いモデルは削除されます）。
  • --save_stateオプションを指定するとstateも同時に保存します。--save_last_n_steps_stateオプションでstateを残すステップ数を指定できます（省略時は--save_last_n_stepsと同じ値が使われます）。
  • エポックごとのモデル保存、state保存のオプションと共存できます。
  • マルチGPU環境でのテストを行っていないため、不具合等あればご報告ください。

• --cache_latents_to_diskオプションが指定されたとき、--cache_latentsオプションが自動的に有効になるようにしました。 #438

• gen_img_diffusers.pyでlatents upscalerがバッチサイズ2以上でエラーとなる不具合を修正しました。

Version 0.6.2

Updated at 23 Apr. 2023, 2023/4/23:

• Fixed to log to TensorBoard when --logging_dir is specified and --log_with is not specified.
• --logging_dirを指定し--log_withを指定しない場合に、以前と同様にTensorBoardへログ出力するよう修正しました。

Updated at 22 Apr. 2023, 2023/4/22:

• Added support for logging to wandb. Please refer to PR #428. Thank you p1atdev!

  • wandb installation is required. Please install it with pip install wandb. Login to wandb with wandb login command, or set --wandb_api_key option for automatic login.
  • Please let me know if you find any bugs as the test is not complete.

• You can automatically login to wandb by setting the --wandb_api_key option. Please be careful with the handling of API Key. PR #435 Thank you Linaqruf!

• Improved the behavior of --debug_dataset on non-Windows environments. PR #429 Thank you tsukimiya!

• Fixed --face_crop_aug option not working in Fine tuning method.

• Prepared code to use any upscaler in gen_img_diffusers.py.

• wandbへのロギングをサポートしました。詳細は PR #428をご覧ください。p1atdev氏に感謝します。

  • wandb のインストールが別途必要です。pip install wandb でインストールしてください。また wandb login でログインしてください（学習スクリプト内でログインする場合は --wandb_api_key オプションを設定してください）。
  • テスト未了のため不具合等ありましたらご連絡ください。

• wandbへのロギング時に --wandb_api_key オプションを設定することで自動ログインできます。API Keyの扱いにご注意ください。 PR #435 Linaqruf氏に感謝します。

• Windows以外の環境での--debug_dataset の動作を改善しました。PR #429 tsukimiya氏に感謝します。

• --face_crop_augオプションがFine tuning方式で動作しなかったのを修正しました。

• gen_img_diffusers.pyに任意のupscalerを利用するためのコード準備を行いました。

Updated at 19 Apr. 2023, 2023/4/19:

• Fixed lora_interrogator.py not working. Please refer to PR #392 for details. Thank you A2va and heyalexchoi!
• Fixed the handling of tags containing _ in tag_images_by_wd14_tagger.py.
• lora_interrogator.pyが動作しなくなっていたのを修正しました。詳細は PR #392 をご参照ください。A2va氏およびheyalexchoi氏に感謝します。
• tag_images_by_wd14_tagger.pyで_を含むタグの取り扱いを修正しました。

Updated at 17 Apr. 2023, 2023/4/17:

• Added the --recursive option to each script in the finetune folder to process folders recursively. Please refer to PR #400 for details. Thanks to Linaqruf!
• finetuneフォルダ内の各スクリプトに再起的にフォルダを処理するオプション--recursiveを追加しました。詳細は PR #400 を参照してください。Linaqruf 氏に感謝します。

Updated at 14 Apr. 2023, 2023/4/14:

• Fixed a bug that caused an error when loading DyLoRA with the --network_weight option in train_network.py.
• train_network.pyで、DyLoRAを--network_weightオプションで読み込むとエラーになる不具合を修正しました。

Updated at 13 Apr. 2023, 2023/4/13:

• Added support for DyLoRA in train_network.py. Please refer to here for details (currently only in Japanese).

• Added support for caching latents to disk in each training script. Please specify both --cache_latents and --cache_latents_to_disk options.

  • The files are saved in the same folder as the images with the extension .npz. If you specify the --flip_aug option, the files with _flip.npz will also be saved.
  • Multi-GPU training has not been tested.
  • This feature is not tested with all combinations of datasets and training scripts, so there may be bugs.

• Added workaround for an error that occurs when training with fp16 or bf16 in fine_tune.py.

• train_network.pyでDyLoRAをサポートしました。詳細はこちらをご覧ください。

• 各学習スクリプトでlatentのディスクへのキャッシュをサポートしました。--cache_latentsオプションに 加えて、--cache_latents_to_diskオプションを指定してください。

  • 画像と同じフォルダに、拡張子 .npz で保存されます。--flip_augオプションを指定した場合、_flip.npzが付いたファイルにも保存されます。
  • マルチGPUでの学習は未テストです。
  • すべてのDataset、学習スクリプトの組み合わせでテストしたわけではないため、不具合があるかもしれません。

• fine_tune.pyで、fp16およびbf16の学習時にエラーが出る不具合に対して対策を行いました。

Version 0.6.1

Updates at 8 Apr. 2023, 2023/4/8:

• Added support for training with weighted captions. Thanks to AI-Casanova for the great contribution!

  • Please refer to the PR for details: PR #336
  • Specify the --weighted_captions option. It is available for all training scripts except Textual Inversion and XTI.
  • This option is also applicable to token strings of the DreamBooth method.
  • The syntax for weighted captions is almost the same as the Web UI, and you can use things like (abc), [abc], and (abc:1.23). Nesting is also possible.
  • If you include a comma in the parentheses, the parentheses will not be properly matched in the prompt shuffle/dropout, so do not include a comma in the parentheses.

• 重みづけキャプションによる学習に対応しました。 AI-Casanova 氏の素晴らしい貢献に感謝します。

  • 詳細はこちらをご確認ください。PR #336
  • --weighted_captions オプションを指定してください。Textual InversionおよびXTIを除く学習スクリプトで使用可能です。
  • キャプションだけでなく DreamBooth 手法の token string でも有効です。
  • 重みづけキャプションの記法はWeb UIとほぼ同じで、(abc)や[abc]、(abc:1.23)などが使用できます。入れ子も可能です。
  • 括弧内にカンマを含めるとプロンプトのshuffle/dropoutで括弧の対応付けがおかしくなるため、括弧内にはカンマを含めないでください。

Updates at 6 Apr. 2023, 2023/4/6:

• Added a feature to upload model and state to HuggingFace. Thanks to ddPn08 for the contribution! PR #348

  • When --huggingface_repo_id is specified, the model is uploaded to HuggingFace at the same time as saving the model.
  • Please note that the access token is handled with caution. Please refer to the HuggingFace documentation.
  • For example, specify other arguments as follows.
    • --huggingface_repo_id "your-hf-name/your-model" --huggingface_path_in_repo "path" --huggingface_repo_type model --huggingface_repo_visibility private --huggingface_token hf_YourAccessTokenHere
  • If public is specified for --huggingface_repo_visibility, the repository will be public. If the option is omitted or private (or anything other than public) is specified, it will be private.
  • If you specify --save_state and --save_state_to_huggingface, the state will also be uploaded.
  • If you specify --resume and --resume_from_huggingface, the state will be downloaded from HuggingFace and resumed.
    • In this case, the --resume option is --resume {repo_id}/{path_in_repo}:{revision}:{repo_type}. For example: --resume_from_huggingface --resume your-hf-name/your-model/path/test-000002-state:main:model
  • If you specify --async_upload, the upload will be done asynchronously.

• Added the documentation for applying LoRA to generate with the standard pipeline of Diffusers. training LoRA (Japanese only)

• Support for Attention Couple and regional LoRA in gen_img_diffusers.py.

  • If you use AND to separate the prompts, each sub-prompt is sequentially applied to LoRA. --mask_path is treated as a mask image. The number of sub-prompts and the number of LoRA must match.

• モデルおよびstateをHuggingFaceにアップロードする機能を各スクリプトに追加しました。 PR #348 ddPn08 氏の貢献に感謝します。

  • --huggingface_repo_idが指定されているとモデル保存時に同時にHuggingFaceにアップロードします。
  • アクセストークンの取り扱いに注意してください。HuggingFaceのドキュメントを参照してください。
  • 他の引数をたとえば以下のように指定してください。
    • --huggingface_repo_id "your-hf-name/your-model" --huggingface_path_in_repo "path" --huggingface_repo_type model --huggingface_repo_visibility private --huggingface_token hf_YourAccessTokenHere
  • --huggingface_repo_visibilityにpublicを指定するとリポジトリが公開されます。省略時またはprivate（などpublic以外）を指定すると非公開になります。
  • --save_stateオプション指定時に--save_state_to_huggingfaceを指定するとstateもアップロードします。
  • --resumeオプション指定時に--resume_from_huggingfaceを指定するとHuggingFaceからstateをダウンロードして再開します。
    • その時の --resumeオプションは --resume {repo_id}/{path_in_repo}:{revision}:{repo_type}になります。例: --resume_from_huggingface --resume your-hf-name/your-model/path/test-000002-state:main:model
  • --async_uploadオプションを指定するとアップロードを非同期で行います。

• LoRAの文書に、LoRAを適用してDiffusersの標準的なパイプラインで生成する方法を追記しました。

• gen_img_diffusers.py で Attention Couple および領域別LoRAに対応しました。

  • プロンプトをANDで区切ると各サブプロンプトが順にLoRAに適用されます。--mask_path がマスク画像として扱われます。サブプロンプトの数とLoRAの数は一致している必要があります。

Version 0.6.0

Updates at 4 Apr. 2023, 2023/4/4:

• The learning rate and dim (rank) of each block may not work with other modules (LyCORIS, etc.) because the module needs to be changed.

• Fix some bugs and add some features.

  • Fix an issue that .json format dataset config files cannot be read. issue #351 Thanks to rockerBOO!
  • Raise an error when an invalid --lr_warmup_steps option is specified (when warmup is not valid for the specified scheduler). PR #364 Thanks to shirayu!
  • Add min_snr_gamma to metadata in train_network.py. PR #373 Thanks to rockerBOO!
  • Fix the data type handling in fine_tune.py. This may fix an error that occurs in some environments when using xformers, npz format cache, and mixed_precision.

• Add options to train_network.py to specify block weights for learning rates. PR #355 Thanks to u-haru for the great contribution!

  • Specify the weights of 25 blocks for the full model.
    • No LoRA corresponds to the first block, but 25 blocks are specified for compatibility with 'LoRA block weight' etc. Also, if you do not expand to conv2d3x3, some blocks do not have LoRA, but please specify 25 values ​​for the argument for consistency.
  • Specify the following arguments with --network_args.
  • down_lr_weight : Specify the learning rate weight of the down blocks of U-Net. The following can be specified.
    • The weight for each block: Specify 12 numbers such as "down_lr_weight=0,0,0,0,0,0,1,1,1,1,1,1".
    • Specify from preset: Specify such as "down_lr_weight=sine" (the weights by sine curve). sine, cosine, linear, reverse_linear, zeros can be specified. Also, if you add +number such as "down_lr_weight=cosine+.25", the specified number is added (such as 0.25~1.25).
  • mid_lr_weight : Specify the learning rate weight of the mid block of U-Net. Specify one number such as "down_lr_weight=0.5".
  • up_lr_weight : Specify the learning rate weight of the up blocks of U-Net. The same as down_lr_weight.
  • If you omit the some arguments, the 1.0 is used. Also, if you set the weight to 0, the LoRA modules of that block are not created.
  • block_lr_zero_threshold : If the weight is not more than this value, the LoRA module is not created. The default is 0.

• Add options to train_network.py to specify block dims (ranks) for variable rank.

  • Specify 25 values ​​for the full model of 25 blocks. Some blocks do not have LoRA, but specify 25 values ​​always.
  • Specify the following arguments with --network_args.
  • block_dims : Specify the dim (rank) of each block. Specify 25 numbers such as "block_dims=2,2,2,2,4,4,4,4,6,6,6,6,8,6,6,6,6,4,4,4,4,2,2,2,2".
  • block_alphas : Specify the alpha of each block. Specify 25 numbers as with block_dims. If omitted, the value of network_alpha is used.
  • conv_block_dims : Expand LoRA to Conv2d 3x3 and specify the dim (rank) of each block.
  • conv_block_alphas : Specify the alpha of each block when expanding LoRA to Conv2d 3x3. If omitted, the value of conv_alpha is used.

• 階層別学習率、階層別dim(rank)についてはモジュール側の変更が必要なため、当リポジトリ内のnetworkモジュール以外（LyCORISなど）では現在は動作しないと思われます。

• いくつかのバグ修正、機能追加を行いました。

  • .json形式のdataset設定ファイルを読み込めない不具合を修正しました。 issue #351 rockerBOO 氏に感謝します。
  • 無効な--lr_warmup_steps オプション（指定したスケジューラでwarmupが無効な場合）を指定している場合にエラーを出すようにしました。 PR #364 shirayu 氏に感謝します。
  • train_network.py で min_snr_gamma をメタデータに追加しました。 PR #373 rockerBOO 氏に感謝します。
  • fine_tune.py でデータ型の取り扱いが誤っていたのを修正しました。一部の環境でxformersを使い、npz形式のキャッシュ、mixed_precisionで学習した時にエラーとなる不具合が解消されるかもしれません。

• 階層別学習率を train_network.py で指定できるようになりました。PR #355 u-haru 氏の多大な貢献に感謝します。

  • フルモデルの25個のブロックの重みを指定できます。
    • 最初のブロックに該当するLoRAは存在しませんが、階層別LoRA適用等との互換性のために25個としています。またconv2d3x3に拡張しない場合も一部のブロックにはLoRAが存在しませんが、記述を統一するため常に25個の値を指定してください。
      ---network_args で以下の引数を指定してください。
  • down_lr_weight : U-Netのdown blocksの学習率の重みを指定します。以下が指定可能です。
    • ブロックごとの重み : "down_lr_weight=0,0,0,0,0,0,1,1,1,1,1,1" のように12個の数値を指定します。
    • プリセットからの指定 : "down_lr_weight=sine" のように指定します（サインカーブで重みを指定します）。sine, cosine, linear, reverse_linear, zeros が指定可能です。また "down_lr_weight=cosine+.25" のように +数値 を追加すると、指定した数値を加算します（0.25~1.25になります）。
  • mid_lr_weight : U-Netのmid blockの学習率の重みを指定します。"down_lr_weight=0.5" のように数値を一つだけ指定します。
  • up_lr_weight : U-Netのup blocksの学習率の重みを指定します。down_lr_weightと同様です。
  • 指定を省略した部分は1.0として扱われます。また重みを0にするとそのブロックのLoRAモジュールは作成されません。
  • block_lr_zero_threshold : 重みがこの値以下の場合、LoRAモジュールを作成しません。デフォルトは0です。

• 階層別dim (rank)を train_network.py で指定できるようになりました。

  • フルモデルの25個のブロックのdim (rank)を指定できます。階層別学習率と同様に一部のブロックにはLoRAが存在しない場合がありますが、常に25個の値を指定してください。
  • --network_args で以下の引数を指定してください。
  • block_dims : 各ブロックのdim (rank)を指定します。"block_dims=2,2,2,2,4,4,4,4,6,6,6,6,8,6,6,6,6,4,4,4,4,2,2,2,2" のように25個の数値を指定します。
  • block_alphas : 各ブロックのalphaを指定します。block_dimsと同様に25個の数値を指定します。省略時はnetwork_alphaの値が使用されます。
  • conv_block_dims : LoRAをConv2d 3x3に拡張し、各ブロックのdim (rank)を指定します。
  • conv_block_alphas : LoRAをConv2d 3x3に拡張したときの各ブロックのalphaを指定します。省略時はconv_alphaの値が使用されます。

• 階層別学習率コマンドライン指定例 / Examples of block learning rate command line specification:

  --network_args "down_lr_weight=0.5,0.5,0.5,0.5,1.0,1.0,1.0,1.0,1.5,1.5,1.5,1.5" "mid_lr_weight=2.0" "up_lr_weight=1.5,1.5,1.5,1.5,1.0,1.0,1.0,1.0,0.5,0.5,0.5,0.5"

  --network_args "block_lr_zero_threshold=0.1" "down_lr_weight=sine+.5" "mid_lr_weight=1.5" "up_lr_weight=cosine+.5"

• 階層別学習率tomlファイル指定例 / Examples of block learning rate toml file specification

  network_args = [ "down_lr_weight=0.5,0.5,0.5,0.5,1.0,1.0,1.0,1.0,1.5,1.5,1.5,1.5", "mid_lr_weight=2.0", "up_lr_weight=1.5,1.5,1.5,1.5,1.0,1.0,1.0,1.0,0.5,0.5,0.5,0.5",]

  network_args = [ "block_lr_zero_threshold=0.1", "down_lr_weight=sine+.5", "mid_lr_weight=1.5", "up_lr_weight=cosine+.5", ]

• 階層別dim (rank)コマンドライン指定例 / Examples of block dim (rank) command line specification:

  --network_args "block_dims=2,4,4,4,8,8,8,8,12,12,12,12,16,12,12,12,12,8,8,8,8,4,4,4,2"

  --network_args "block_dims=2,4,4,4,8,8,8,8,12,12,12,12,16,12,12,12,12,8,8,8,8,4,4,4,2" "conv_block_dims=2,2,2,2,4,4,4,4,6,6,6,6,8,6,6,6,6,4,4,4,4,2,2,2,2"

  --network_args "block_dims=2,4,4,4,8,8,8,8,12,12,12,12,16,12,12,12,12,8,8,8,8,4,4,4,2" "block_alphas=2,2,2,2,4,4,4,4,6,6,6,6,8,6,6,6,6,4,4,4,4,2,2,2,2"

• 階層別dim (rank)tomlファイル指定例 / Examples of block dim (rank) toml file specification

  network_args = [ "block_dims=2,4,4,4,8,8,8,8,12,12,12,12,16,12,12,12,12,8,8,8,8,4,4,4,2",]

  network_args = [ "block_dims=2,4,4,4,8,8,8,8,12,12,12,12,16,12,12,12,12,8,8,8,8,4,4,4,2", "block_alphas=2,2,2,2,4,4,4,4,6,6,6,6,8,6,6,6,6,4,4,4,4,2,2,2,2",]

Version 0.5.4

Updates at 1 Apr. 2023, 2023/4/1:

• Fix an issue that merge_lora.py does not work with the latest version.
• Fix an issue that merge_lora.py does not merge Conv2d3x3 weights.
• 最新のバージョンでmerge_lora.py が動作しない不具合を修正しました。
• merge_lora.py で no module found for LoRA weight: ... と表示され Conv2d3x3 拡張の重みがマージされない不具合を修正しました。

Updates at 31 Mar. 2023, 2023/3/31:

• Fix an issue that the VRAM usage temporarily increases when loading a model in train_network.py.
• Fix an issue that an error occurs when loading a .safetensors model in train_network.py. #354
• train_network.py でモデル読み込み時にVRAM使用量が一時的に大きくなる不具合を修正しました。
• train_network.py で .safetensors 形式のモデルを読み込むとエラーになる不具合を修正しました。#354

Updates at 30 Mar. 2023, 2023/3/30:

• Support P+ training. Thank you jakaline-dev!

  • See #327 for details.
  • Use train_textual_inversion_XTI.py for training. The usage is almost the same as train_textual_inversion.py. However, sample image generation during training is not supported.
  • Use gen_img_diffusers.py for image generation (I think Web UI is not supported). Specify the embedding with --XTI_embeddings option.

• Reduce RAM usage at startup in train_network.py. #332 Thank you guaneec!

• Support pre-merge for LoRA in gen_img_diffusers.py. Specify --network_merge option. Note that the --am option of the prompt option is no longer available with this option.

• P+ の学習に対応しました。jakaline-dev氏に感謝します。

  • 詳細は #327 をご参照ください。
  • 学習には train_textual_inversion_XTI.py を使用します。使用法は train_textual_inversion.py とほぼ同じです。た
    だし学習中のサンプル生成には対応していません。
  • 画像生成には gen_img_diffusers.py を使用してください（Web UIは対応していないと思われます）。--XTI_embeddings オプションで学習したembeddingを指定してください。

• train_network.py で起動時のRAM使用量を削減しました。#332 guaneec氏に感謝します。

• gen_img_diffusers.py でLoRAの事前マージに対応しました。--network_merge オプションを指定してください。なおプロンプトオプションの --am は使用できなくなります。

Version 0.5.3

Updates at 28 Mar. 2023, 2023/3/28:

• Fix an issue that the training script crashes when max_data_loader_n_workers is 0.
• max_data_loader_n_workers が0の時に学習スクリプトがエラーとなる不具合を修正しました。

Updates at 27 Mar. 2023, 2023/3/27:

• Fix issues when --persistent_data_loader_workers is specified.

  • The batch members of the bucket are not shuffled.
  • --caption_dropout_every_n_epochs does not work.
  • These issues occurred because the epoch transition was not recognized correctly. Thanks to u-haru for reporting the issue.

• Fix an issue that images are loaded twice in Windows environment.

• Add Min-SNR Weighting strategy. Details are in #308. Thank you to AI-Casanova for this great work!

  • Add --min_snr_gamma option to training scripts, 5 is recommended by paper.

• Add tag warmup. Details are in #322. Thanks to u-haru!

  • Add token_warmup_min and token_warmup_step to dataset settings.
  • Gradually increase the number of tokens from token_warmup_min to token_warmup_step.
  • For example, if token_warmup_min is 3 and token_warmup_step is 10, the first step will use the first 3 tokens, and the 10th step will use all tokens.

• Fix a bug in resize_lora.py. Thanks to mgz-dev! #328

• Add --debug_dataset option to step to the next step with S key and to the next epoch with E key.

• Fix other bugs.

• --persistent_data_loader_workers を指定した時の各種不具合を修正しました。

  • --caption_dropout_every_n_epochs が効かない。
  • バケットのバッチメンバーがシャッフルされない。
  • エポックの遷移が正しく認識されないために発生していました。ご指摘いただいたu-haru氏に感謝します。

• Windows環境で画像が二重に読み込まれる不具合を修正しました。

• Min-SNR Weighting strategyを追加しました。 詳細は #308 をご参照ください。AI-Casanova氏の素晴らしい貢献に感謝します。

  • --min_snr_gamma オプションを学習スクリプトに追加しました。論文では5が推奨されています。

• タグのウォームアップを追加しました。詳細は #322 をご参照ください。u-haru氏に感謝します。

  • データセット設定に token_warmup_min と token_warmup_step を追加しました。
  • token_warmup_min で指定した数のトークン（カンマ区切りの文字列）から、token_warmup_step で指定したステップまで、段階的にトークンを増やしていきます。
  • たとえば token_warmup_minに 3 を、token_warmup_step に 10 を指定すると、最初のステップでは最初から3個のトークンが使われ、10ステップ目では全てのトークンが使われます。

• resize_lora.py の不具合を修正しました。mgz-dev氏に感謝します。#328

• --debug_dataset オプションで、Sキーで次のステップへ、Eキーで次のエポックへ進めるようにしました。

• その他の不具合を修正しました。

Updates at 21 Mar. 2023, 2023/3/21:

• Add --vae_batch_size for faster latents caching to each training script. This batches VAE calls.
  • Please start with2 or 4 depending on the size of VRAM.
• Fix a number of training steps with --gradient_accumulation_steps and --max_train_epochs. Thanks to tsukimiya!
• Extract parser setup to external scripts. Thanks to robertsmieja!
• Fix an issue without .npz and with --full_path in training.
• Support extensions with upper cases for images for not Windows environment.
• Fix resize_lora.py to work with LoRA with dynamic rank (including conv_dim != network_dim). Thanks to toshiaki!
• latentsのキャッシュを高速化する--vae_batch_size オプションを各学習スクリプトに追加しました。VAE呼び出しをバッチ化します。
  -VRAMサイズに応じて、2 か 4 程度から試してください。
• --gradient_accumulation_steps と --max_train_epochs を指定した時、当該のepochで学習が止まらない不具合を修正しました。tsukimiya氏に感謝します。
• 外部のスクリプト用に引数parserの構築が関数化されました。robertsmieja氏に感謝します。
• 学習時、--full_path 指定時に .npz が存在しない場合の不具合を解消しました。
• Windows以外の環境向けに、画像ファイルの大文字の拡張子をサポートしました。
• resize_lora.py を dynamic rank （rankが各LoRAモジュールで異なる場合、conv_dim が network_dim と異なる場合も含む）の時に正しく動作しない不具合を修正しました。toshiaki氏に感謝します。

Version 0.5.2

Updates at 19 Mar. 2023, 2023/3/19:

• Add a function to load training config with .toml to each training script. Thanks to Linaqruf for this great contribution!

  • Specify .toml file with --config_file. .toml file has key=value entries. Keys are same as command line options. See #241 for details.
  • All sub-sections are combined to a single dictionary (the section names are ignored.)
  • Omitted arguments are the default values for command line arguments.
  • Command line args override the arguments in .toml.
  • With --output_config option, you can output current command line options to the .toml specified with--config_file. Please use as a template.

• Add --lr_scheduler_type and --lr_scheduler_args arguments for custom LR scheduler to each training script. Thanks to Isotr0py! #271

  • Same as the optimizer.

• Add sample image generation with weight and no length limit. Thanks to mio2333! #288

  • ( ), (xxxx:1.2) and [ ] can be used.

• Fix exception on training model in diffusers format with train_network.py Thanks to orenwang! #290

• 各学習スクリプトでコマンドライン引数の代わりに.toml ファイルで引数を指定できるようになりました。Linaqruf氏の多大な貢献に感謝します。

  • --config_file で .toml ファイルを指定してください。ファイルは key=value 形式の行で指定し、key はコマンドラインオプションと同じです。詳細は #241 をご覧ください。
  • ファイル内のサブセクションはすべて無視されます。
  • 省略した引数はコマンドライン引数のデフォルト値になります。
  • コマンドライン引数で .toml の設定を上書きできます。
  • --output_config オプションを指定すると、現在のコマンドライン引数を--config_file オプションで指定した .toml ファイルに出力します。ひな形としてご利用ください。

• 任意のスケジューラを使うための --lr_scheduler_type と --lr_scheduler_args オプションを各学習スクリプトに追加しました。Isotr0py氏に感謝します。 #271

  • 任意のオプティマイザ指定と同じ形式です。

• 学習中のサンプル画像出力でプロンプトの重みづけができるようになりました。また長さ制限も緩和されています。mio2333氏に感謝します。 #288

  • ( )、 (xxxx:1.2) や [ ] が使えます。

• train_network.py でローカルのDiffusersモデルを指定した時のエラーを修正しました。orenwang氏に感謝します。 #290

Updates at 11 Mar. 2023, 2023/3/11:

• Fix svd_merge_lora.py causes an error about the device.
• svd_merge_lora.py でデバイス関連のエラーが発生する不具合を修正しました。