nakayama commited on
Commit
083ffb6
1 Parent(s): 5918b92

Create readme.md

Browse files
Files changed (1) hide show
  1. FineTuningTest/readme.md +59 -0
FineTuningTest/readme.md ADDED
@@ -0,0 +1,59 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ 現ディレクトリに存在するファイルは、[kohya版Fine Tuning](https://github.com/kohya-ss/sd-scripts)を用いて、設定をSeedを含めて同一の学習を行ったModelと、
2
+ Seed以外が同一の学習を用いたModelを用い、その出力した画像の差異を確認した際に用いたものです。
3
+
4
+ # 手順
5
+ [DeDeDe](https://huggingface.co/nakayama/DeDeDe)にて示しているDDD_pre2.ckptに、[DeDeDeDataset](https://huggingface.co/datasets/nakayama/DeDeDeDataset)にある画像とキャプションを用い、
6
+ 以下の設定で学習を行った。
7
+
8
+ ```
9
+ py finetune\prepare_buckets_latents.py train_data meta_clean.json meta_lat.json DDD_pre2.ckpt
10
+ --batch_size 12
11
+ --max_resolution 768,768
12
+ --max_bucket_reso 1280
13
+ --flip_aug
14
+ --mixed_precision no
15
+
16
+ accelerate launch --num_cpu_threads_per_process 16 fine_tune.py --pretrained_model_name_or_path=DDD_pre2.ckpt
17
+ --in_json meta_lat.json
18
+ --train_data_dir=train_data
19
+ --output_dir=fine_tuned
20
+ --shuffle_caption
21
+ --train_batch_size=4
22
+ --learning_rate=5e-6
23
+ --max_train_steps=60000
24
+ --use_8bit_adam
25
+ --xformers
26
+ --mixed_precision=bf16
27
+ --save_every_n_epochs=1
28
+ --save_precision=float
29
+ --clip_skip=2
30
+ --max_token_length=150
31
+ --seed=42
32
+ ```
33
+
34
+ 以上の設定からDDTest_last_1st.ckpt、DDTest_last_2nd.ckptを作成、さらに上記の設定からseedを41に変更したDDTest_last_3rd.ckptも用意した。
35
+ DeDeTest_*.ckptは、以上三種のモデルに、[DeDeDe](https://huggingface.co/nakayama/DeDeDe)で示した手順4のマージを行ったものである。
36
+
37
+ # 出力比較
38
+ <img src="https://huggingface.co/nakayama/DeDeTestModels/resolve/main/FineTuningTest/img/img01.png" style="max-width:400px;" width="75%"/>
39
+ <img src="https://huggingface.co/nakayama/DeDeTestModels/resolve/main/FineTuningTest/img/img02.png" style="max-width:400px;" width="75%"/>
40
+
41
+ ```
42
+ masterpiece, best quality, masterpiece, asuka langley sitting cross legged on a chair
43
+ Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts,signature, watermark, username, blurry, artist name
44
+ Steps: 28, Sampler: Euler, CFG scale: 12, Seed: 2870305590, Size: 512x512, Clip skip: 2, ENSD: 31337
45
+ ```
46
+
47
+ また、DDTest_last_*.ckptのみを用い、下記Promptを用いて画像をそれぞれseed42~10041までの10000枚作成、[DaFID512](https://github.com/birdManIkioiShota/DaFID-512)を用いて各画像集合間の距離を比較した。
48
+
49
+ ```
50
+ masterpiece, best quality,detailed anime style of 1girl
51
+ Negative prompt: 3d, flat shading, flat color, retro style, 1980s, 1990s, 2000s, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, inaccurate limb
52
+ Steps: 5, Sampler: Euler a, CFG scale: 7.5, Seed: 42, Size: 512x512, Clip skip: 2, ENSD: 31337
53
+ ```
54
+
55
+ |---|1st|2nd|3rd|
56
+ |---|:---|:---|:---|
57
+ |1st|-|0.0167055713199602|0.2883947343568263|
58
+ |2nd|-|-|0.2616578791587312|
59
+ |3rd|-|-|-|