sonoisa commited on
Commit
3b9c93d
1 Parent(s): c4ef50c

Add JGLUE benchmark result (in progress)

Browse files
Files changed (1) hide show
  1. README.md +16 -4
README.md CHANGED
@@ -35,9 +35,12 @@ https://github.com/sonoisa/t5-japanese
35
 
36
  # ベンチマーク
37
 
38
- livedoorニュースコーパスを用いたニュース記事のジャンル予測タスクの精度は次の通りです。
39
 
40
- 日本語T5 ([t5-base-japanese](https://huggingface.co/sonoisa/t5-base-japanese), パラメータ数は222M)
 
 
 
41
 
42
  | label | precision | recall | f1-score | support |
43
  | ----------- | ----------- | ------- | -------- | ------- |
@@ -73,12 +76,21 @@ livedoorニュースコーパスを用いたニュース記事のジャンル予
73
  | weighted avg | 0.91 | 0.91 | 0.91 | 1100 |
74
 
75
 
76
- ## 免責事項
 
 
 
 
 
 
 
 
 
77
 
78
  本モデルの作者は本モデルを作成するにあたって、その内容、機能等について細心の注意を払っておりますが、モデルの出力が正確であるかどうか、安全なものであるか等について保証をするものではなく、何らの責任を負うものではありません。本モデルの利用により、万一、利用者に何らかの不都合や損害が発生したとしても、モデルやデータセットの作者や作者の所属組織は何らの責任を負うものではありません。利用者には本モデルやデータセットの作者や所属組織が責任を負わないことを明確にする義務があります。
79
 
80
 
81
- ## ライセンス
82
 
83
  [CC-BY SA 3.0](https://creativecommons.org/licenses/by-sa/3.0/deed.ja)
84
 
 
35
 
36
  # ベンチマーク
37
 
38
+ ## livedoorニュース分類タスク
39
 
40
+ livedoorニュースコーパスを用いたニュース記事のジャンル予測タスクの精度は次の通りです。
41
+ Google製多言語T5モデルに比べて、モデルサイズが25%小さく、6ptほど精度が高いです。
42
+
43
+ 日本語T5 ([t5-base-japanese](https://huggingface.co/sonoisa/t5-base-japanese), パラメータ数は222M, [再現用コード](https://github.com/sonoisa/t5-japanese/blob/main/t5_japanese_classification.ipynb))
44
 
45
  | label | precision | recall | f1-score | support |
46
  | ----------- | ----------- | ------- | -------- | ------- |
 
76
  | weighted avg | 0.91 | 0.91 | 0.91 | 1100 |
77
 
78
 
79
+ ## [JGLUEベンチマーク](https://github.com/yahoojapan/JGLUE)
80
+
81
+ - MARC-ja: 準備中
82
+ - JSTS: 準備中
83
+ - JNLI: 準備中
84
+ - JSQuAD: EM=0.900, F1=0.945, [再現用コード](https://github.com/sonoisa/t5-japanese/blob/main/t5_JSQuAD.ipynb)
85
+ - JCommonsenseQA: 準備中
86
+
87
+
88
+ # 免責事項
89
 
90
  本モデルの作者は本モデルを作成するにあたって、その内容、機能等について細心の注意を払っておりますが、モデルの出力が正確であるかどうか、安全なものであるか等について保証をするものではなく、何らの責任を負うものではありません。本モデルの利用により、万一、利用者に何らかの不都合や損害が発生したとしても、モデルやデータセットの作者や作者の所属組織は何らの責任を負うものではありません。利用者には本モデルやデータセットの作者や所属組織が責任を負わないことを明確にする義務があります。
91
 
92
 
93
+ # ライセンス
94
 
95
  [CC-BY SA 3.0](https://creativecommons.org/licenses/by-sa/3.0/deed.ja)
96