niji-diffusion-xl-base-1.0

モデルの説明アニメ調に寄せた「SDXL(stable-diffusion-xl-base-1.0)」モデルです。内容は「niji-v5」データセットでLoRAファインチューニングしてマージしたモデルです。使用例niji-diffusion-xl-base-1.0.safetensorsとstable-diffusion-webuiで以下のパラメータで画像生成します。※合計13000枚ぐらい100枚しか学習していないのでPromptに複数書くとnijiの絵じゃなくなります。Negative promptに複数書くのは大丈夫っぽいです。Prompt:masterpiece, best quality, high quality, absurdres, 1girl, flower Negative prompt:worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry PNG info:Steps: 28, Sampler: Euler a, CFG scale: 7, Seed: 1, Size: 1536x1024, Model hash: 791d0c791e, Model: sd_xl_niji_1.0, Clip skip: 2, ENSD: 31337, Token merging ratio: 0.5, Eta: 0.67, Version: v1.5.1 Prompt:1girl Prompt:1girl, tokyo Prompt:1girl, steampunk Prompt:1girl, fantasy モデルの作り方「かんたん☆コピー機学習法（きっと初級編）」を参考に、「ぼかし（blur）」のLoRA DreamBoothをして、そのLoRAモデルをSDXLモデルにマイナスでマージします。1で作ったモデルに、niji-v5から背景や髪が詳細に描かれている絵などを100枚選びLoRAファインチューニングして、そのLoRAモデルをSDXLモデルにマージします。今後のモデルの改善LoRAモデルとして配布できるようにしたいです。 というのは、512dim(rank)で学習したらLoRAモデルが3GBのファイルサイズになってしまったため、今回はSDXLモデルにマージしています。感想うまく調整できず何度もやり直して大変でした。あとで作り方を動画にしたいです。謝辞モデル、学習データや学習ツールを作成および配布してくださった方々に心から感謝申し上げます。ライブラリsd-scripts 4072f723c12822e2fa1b2e076cc1f90b8f4e30c9bitsandbytes 0.39.1Pytorch 2.0.0+cu117xformers 0.0.19ライセンスCreativeML Open RAIL++-M License