Commit
•
648248b
1
Parent(s):
6e47664
Add evaluation results on the samsum config and test split of samsum
Browse filesBeep boop, I am a bot from Hugging Face's automatic model evaluator 👋!\
Your model has been evaluated on the samsum config and test split of the [samsum](https://huggingface.co/datasets/samsum) dataset by
@d0rj
, using the predictions stored [here](https://huggingface.co/datasets/autoevaluate/autoeval-eval-samsum-samsum-e12e62-68887145629).\
Accept this pull request to see the results displayed on the [Hub leaderboard](https://huggingface.co/spaces/autoevaluate/leaderboards?dataset=samsum).\
Evaluate your model on more datasets [here](https://huggingface.co/spaces/autoevaluate/model-evaluator?dataset=samsum).
README.md
CHANGED
@@ -1,7 +1,12 @@
|
|
1 |
---
|
2 |
-
language:
|
3 |
- ru
|
4 |
- en
|
|
|
|
|
|
|
|
|
|
|
5 |
datasets:
|
6 |
- d0rj/samsum-ru
|
7 |
- IlyaGusev/gazeta
|
@@ -12,20 +17,99 @@ datasets:
|
|
12 |
metrics:
|
13 |
- bleu
|
14 |
- rouge
|
15 |
-
tags:
|
16 |
-
- summarization
|
17 |
-
- dialogue-summarization
|
18 |
-
- text2text-generation
|
19 |
-
- t5
|
20 |
widget:
|
21 |
-
|
22 |
-
|
23 |
-
|
24 |
-
|
25 |
-
|
26 |
-
|
27 |
-
|
28 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
29 |
---
|
30 |
|
31 |
# rut5-base-summ
|
|
|
1 |
---
|
2 |
+
language:
|
3 |
- ru
|
4 |
- en
|
5 |
+
tags:
|
6 |
+
- summarization
|
7 |
+
- dialogue-summarization
|
8 |
+
- text2text-generation
|
9 |
+
- t5
|
10 |
datasets:
|
11 |
- d0rj/samsum-ru
|
12 |
- IlyaGusev/gazeta
|
|
|
17 |
metrics:
|
18 |
- bleu
|
19 |
- rouge
|
|
|
|
|
|
|
|
|
|
|
20 |
widget:
|
21 |
+
- example_title: Diploma Introduction
|
22 |
+
text: 'Актуальность проблемы. Электронная информация играет все большую роль во
|
23 |
+
всех сферах жизни современного общества. В последние годы объем научно-технической
|
24 |
+
текстовой информации в электронном виде возрос настолько, что возникает угроза
|
25 |
+
обесценивания этой информации в связи с трудностями поиска необходимых сведений
|
26 |
+
среди множества доступных текстов. Развитие информационных ресурсов Интернет многократно
|
27 |
+
усугубило проблему информационной перегрузки. В этой ситуации особенно актуальными
|
28 |
+
становятся методы автоматизации реферирования текстовой информации, то есть методы
|
29 |
+
получения сжатого представления текстовых документов–рефератов (аннотаций). Постановка проблемы автоматического
|
30 |
+
реферирования текста и соответственно попытки ее решения с использованием различных
|
31 |
+
подходов предпринимались многими исследователями. История применения вычислительной
|
32 |
+
техники для реферирования насчитывает уже более 50 лет и связана с именами таких
|
33 |
+
исследователей, как Г.П. Лун, В.Е. Берзон, И.П. Cевбо, Э.Ф. Скороходько, Д.Г.
|
34 |
+
Лахути, Р.Г. Пиотровский и др. За эти годы выработаны многочисленные подходы
|
35 |
+
к решению данной проблемы, которые достаточно четко подразделяются на два направления:
|
36 |
+
автоматическое реферирование, основанное на экстрагировании из первичных документов
|
37 |
+
с помощью определенных формальных признаков «наиболее информативных» фраз (фрагментов),
|
38 |
+
совокупность которых образует некоторый экстракт; автоматическое реферирование,
|
39 |
+
основанное на выделении из текстов с помощью специальных информационных языков
|
40 |
+
наиболее существенной информации и ��орождении новых текстов (рефератов), содержательно
|
41 |
+
обобщающих первичные документы.
|
42 |
+
|
43 |
+
'
|
44 |
+
- example_title: Biological Info
|
45 |
+
text: Первую многоножку, у которой более тысячи ног, обнаружили в австралийских
|
46 |
+
пещерах биологи, изучавшие там подземные воды. Предыдущей рекордсменкой по количеству
|
47 |
+
ног была 700-ногая многоножка. Новый вид имеет длинное тонкое тело, похожее на
|
48 |
+
нить, и большое количество конечностей, по-видимому, дает преимущества для быстрого
|
49 |
+
перемещения и проникновения в труднодоступные места — ученые полагают, такая многоножка
|
50 |
+
может спокойно перемещаться по трещинам в камнях. Австралия известна своими огромными
|
51 |
+
и жутковатыми животными вроде 25-сантиметровых пауков. Теперь список пугающих
|
52 |
+
членистоногих пополнился самой «многоногой» в мире многоножкой, у которой более
|
53 |
+
тысячи ног. Необычное животное обнаружила группа исследователей из Австралии и
|
54 |
+
США в пещерах на западе страны. Подробнее многоножку ученые описали в статье в
|
55 |
+
журнале Scientific Reports. Исследователи занимались оценкой воздействия подземных
|
56 |
+
вод на окружающую среду в зоне добычи полезных ископаемых на западе страны, когда
|
57 |
+
наткнулись на новый вид многоножек. В отличие от большинства сородичей, живущих
|
58 |
+
на поверхности, эти многоножки обитали в пещерах на глубине до 60 метров. Новый
|
59 |
+
вид исследователи назвали Eumillipes persephone, в честь Персефоны — древнегреческой
|
60 |
+
богини подземного мира. У многоножки оказалось 1306 ног — больше, чем у любого
|
61 |
+
другого известного вида. Предыдущей рекордсменкой была калифорнийская Illacme
|
62 |
+
plenipes, у которой насчитывалось до 750 ног. «Эти животные были настолько уникальны,
|
63 |
+
— говорит биолог Бруно Бузатто. — Как только я понял, какой длины они были...
|
64 |
+
Стало ясно, что это что-то совершенно новое». У Е. persephone нитевидное тело
|
65 |
+
длиной около 9,5 см и шириной всего миллиметр, состоящее из 330 сегментов, короткие
|
66 |
+
ноги и конусообразная голова. Как и другие животные, живущие в постоянной темноте,
|
67 |
+
эти многоножки бледны и слепы. Энтомолог Пол Марек сравнивает ее с белой нитью,
|
68 |
+
выдернутой из рубашки. Чтобы посчитать количество ног, ученым пришлось сначала
|
69 |
+
снять многоножку в высоком разрешении, а затем закрашивать на фото каждый десяток
|
70 |
+
ног другим цветом. (https://www.gazeta.ru/science/2021/12/17_a_14325355.shtml)
|
71 |
+
model-index:
|
72 |
+
- name: d0rj/rut5-base-summ
|
73 |
+
results:
|
74 |
+
- task:
|
75 |
+
type: summarization
|
76 |
+
name: Summarization
|
77 |
+
dataset:
|
78 |
+
name: samsum
|
79 |
+
type: samsum
|
80 |
+
config: samsum
|
81 |
+
split: test
|
82 |
+
metrics:
|
83 |
+
- type: rouge
|
84 |
+
value: 28.8694
|
85 |
+
name: ROUGE-1
|
86 |
+
verified: true
|
87 |
+
verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYTdhMjM4YWJiZTBiNmJhNTc0ZjQ4M2E1M2RjMDI4YThmYjEzMmJmZjdlOGRjOWRiZDA2YWEzOTU0MTMwYmJjNCIsInZlcnNpb24iOjF9.6bddYV-Rnp4zhgQjbv4cHKtXHDCLknfxTH2bYsVe6R9wgW45gUSck61EIeJdqj0PS7Vi2zcz8YW4DEXDd-UECQ
|
88 |
+
- type: rouge
|
89 |
+
value: 8.4686
|
90 |
+
name: ROUGE-2
|
91 |
+
verified: true
|
92 |
+
verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiN2NiOTdkNTE0NjVmYTcyMDY1ZjYzMjZlZjI1MDViOWFmM2M1MDZjOGZiYThlMTc4MWY5YThlNDJmOGYyNWRmZCIsInZlcnNpb24iOjF9.BLeNnva3EJFMz8xwXZamguKWhLyaGTRFr1C12Yh8xTlimrc_mENHqwshJxdi4RULcGwlQmjGjXNw1DMJ42pDCQ
|
93 |
+
- type: rouge
|
94 |
+
value: 24.2357
|
95 |
+
name: ROUGE-L
|
96 |
+
verified: true
|
97 |
+
verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNjM2OGMwMGYzOTgwNjhlZjhjNjU2YzU3MDZkMjljMzExZjYwNTU1MDM0YmM1NmE3OTUyYzBhMzcyOGM5ZmY1MSIsInZlcnNpb24iOjF9.ttNXKqK9rTsMM1aj4XvXUVuJZZAtgG2JE2NI3ZWT4kVcsC7F6mYFXNfUKEk2koKPkq0gwdPiAc-wrpbtmQg5Cg
|
98 |
+
- type: rouge
|
99 |
+
value: 25.8543
|
100 |
+
name: ROUGE-LSUM
|
101 |
+
verified: true
|
102 |
+
verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYmMzNTdjMGFkNzhiYzFkYWMwNWRlZTM5ZTMxMjU5MjFiMDVjNDk3MWFlMTM5Yzc4MTFjYzNhODVmNjQ3ZTBmNyIsInZlcnNpb24iOjF9.80eUellPpBKzjW-kKDjr6WlzFh_nyC2Q4-gNtzQekOzUyuPynl913nWh4NcAw5YXbYC24dklshdFD5VheeYlBQ
|
103 |
+
- type: loss
|
104 |
+
value: 3.2456042766571045
|
105 |
+
name: loss
|
106 |
+
verified: true
|
107 |
+
verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiOWEwZTRlMDEyZDQ0ZTBiMzAyZTkyZWUwOGYyODQ0NzA1MWM4NTE3ZDBjYTYxNmMxODIyNmNiZDM0MmYzMzNjZCIsInZlcnNpb24iOjF9.evm57JUbHamIx2FcFmjRHwvZ3e818BYxT8tuv26KVnq9IHO8xyMHPes9slOMhdTijAT_leexMIKMRT_iFOGHAg
|
108 |
+
- type: gen_len
|
109 |
+
value: 27.5543
|
110 |
+
name: gen_len
|
111 |
+
verified: true
|
112 |
+
verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZTIzNWY2NGEyNjQyMzdmYmM4ZDI5MTVkZDQ0ZTk3NmFiOWRjNTdiMjU3MmQwY2NhZTEzNTVhZGU5NTZhN2JiZiIsInZlcnNpb24iOjF9.7C3OQP2bl0EZRhRlRYtxd6cQapif0a2Vq5kRFiSdX6KLxU_QALZAlh_9DFyyYPh39R3e6Hyi438Ox6BGaalmBA
|
113 |
---
|
114 |
|
115 |
# rut5-base-summ
|