Create readme.md
Browse files- FineTuningTest/readme.md +59 -0
FineTuningTest/readme.md
ADDED
@@ -0,0 +1,59 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
現ディレクトリに存在するファイルは、[kohya版Fine Tuning](https://github.com/kohya-ss/sd-scripts)を用いて、設定をSeedを含めて同一の学習を行ったModelと、
|
2 |
+
Seed以外が同一の学習を用いたModelを用い、その出力した画像の差異を確認した際に用いたものです。
|
3 |
+
|
4 |
+
# 手順
|
5 |
+
[DeDeDe](https://huggingface.co/nakayama/DeDeDe)にて示しているDDD_pre2.ckptに、[DeDeDeDataset](https://huggingface.co/datasets/nakayama/DeDeDeDataset)にある画像とキャプションを用い、
|
6 |
+
以下の設定で学習を行った。
|
7 |
+
|
8 |
+
```
|
9 |
+
py finetune\prepare_buckets_latents.py train_data meta_clean.json meta_lat.json DDD_pre2.ckpt
|
10 |
+
--batch_size 12
|
11 |
+
--max_resolution 768,768
|
12 |
+
--max_bucket_reso 1280
|
13 |
+
--flip_aug
|
14 |
+
--mixed_precision no
|
15 |
+
|
16 |
+
accelerate launch --num_cpu_threads_per_process 16 fine_tune.py --pretrained_model_name_or_path=DDD_pre2.ckpt
|
17 |
+
--in_json meta_lat.json
|
18 |
+
--train_data_dir=train_data
|
19 |
+
--output_dir=fine_tuned
|
20 |
+
--shuffle_caption
|
21 |
+
--train_batch_size=4
|
22 |
+
--learning_rate=5e-6
|
23 |
+
--max_train_steps=60000
|
24 |
+
--use_8bit_adam
|
25 |
+
--xformers
|
26 |
+
--mixed_precision=bf16
|
27 |
+
--save_every_n_epochs=1
|
28 |
+
--save_precision=float
|
29 |
+
--clip_skip=2
|
30 |
+
--max_token_length=150
|
31 |
+
--seed=42
|
32 |
+
```
|
33 |
+
|
34 |
+
以上の設定からDDTest_last_1st.ckpt、DDTest_last_2nd.ckptを作成、さらに上記の設定からseedを41に変更したDDTest_last_3rd.ckptも用意した。
|
35 |
+
DeDeTest_*.ckptは、以上三種のモデルに、[DeDeDe](https://huggingface.co/nakayama/DeDeDe)で示した手順4のマージを行ったものである。
|
36 |
+
|
37 |
+
# 出力比較
|
38 |
+
<img src="https://huggingface.co/nakayama/DeDeTestModels/resolve/main/FineTuningTest/img/img01.png" style="max-width:400px;" width="75%"/>
|
39 |
+
<img src="https://huggingface.co/nakayama/DeDeTestModels/resolve/main/FineTuningTest/img/img02.png" style="max-width:400px;" width="75%"/>
|
40 |
+
|
41 |
+
```
|
42 |
+
masterpiece, best quality, masterpiece, asuka langley sitting cross legged on a chair
|
43 |
+
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts,signature, watermark, username, blurry, artist name
|
44 |
+
Steps: 28, Sampler: Euler, CFG scale: 12, Seed: 2870305590, Size: 512x512, Clip skip: 2, ENSD: 31337
|
45 |
+
```
|
46 |
+
|
47 |
+
また、DDTest_last_*.ckptのみを用い、下記Promptを用いて画像をそれぞれseed42~10041までの10000枚作成、[DaFID512](https://github.com/birdManIkioiShota/DaFID-512)を用いて各画像集合間の距離を比較した。
|
48 |
+
|
49 |
+
```
|
50 |
+
masterpiece, best quality,detailed anime style of 1girl
|
51 |
+
Negative prompt: 3d, flat shading, flat color, retro style, 1980s, 1990s, 2000s, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb
|
52 |
+
Steps: 5, Sampler: Euler a, CFG scale: 7.5, Seed: 42, Size: 512x512, Clip skip: 2, ENSD: 31337
|
53 |
+
```
|
54 |
+
|
55 |
+
|---|1st|2nd|3rd|
|
56 |
+
|---|:---|:---|:---|
|
57 |
+
|1st|-|0.0167055713199602|0.2883947343568263|
|
58 |
+
|2nd|-|-|0.2616578791587312|
|
59 |
+
|3rd|-|-|-|
|