Upload folder using huggingface_hub

.gitattributes

@@ -43,3 +43,4 @@ llmtf_eval/nlpcoreteam_enMMLU.jsonl filter=lfs diff=lfs merge=lfs -text
 llmtf_eval/nlpcoreteam_ruMMLU.jsonl filter=lfs diff=lfs merge=lfs -text
 llmtf_eval/russiannlp_rucola_custom.jsonl filter=lfs diff=lfs merge=lfs -text
 tokenizer.json filter=lfs diff=lfs merge=lfs -text
+llmtf_eval/daru_treewayextractive.jsonl filter=lfs diff=lfs merge=lfs -text

llmtf_eval/daru_treewayabstractive.jsonl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:690bac335e5ad6bc1662210079593d9cc676e52c535e8d5394eccd9bd2fdef01
-size 15506523
+oid sha256:97ee5dcb39d98556d0e419a2dc809622739df7df8013198b7d305d8e96643c84
+size 15522125

llmtf_eval/daru_treewayabstractive_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {

llmtf_eval/daru_treewayabstractive_total.jsonl

@@ -1,8 +1,8 @@
 {
     "task_name": "daru/treewayabstractive",
     "results": {
-        "rouge1": 0.3333904808228802,
-        "rouge2": 0.127931429649173
+        "rouge1": 0.3325254442550525,
+        "rouge2": 0.12953796507174228
     },
-    "leaderboard_result": 0.2306609552360266
+    "leaderboard_result": 0.2310317046633974
 }

llmtf_eval/daru_treewayextractive.jsonl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b61d5dc5d94398307059c50b3f7071b5131de1c8498da7e4e1e94783f851f7a7
+size 212044109

llmtf_eval/daru_treewayextractive_params.jsonl

@@ -0,0 +1,58 @@
+{
+    "custom_generation_config": null,
+    "model_params": {
+        "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/ruadapt_qwen2.5_3B_ext_u48_full_lr3e4_bs256",
+        "generation_config": {
+            "do_sample": true,
+            "eos_token_id": [
+                147075,
+                198,
+                271
+            ],
+            "max_length": 32768,
+            "max_new_tokens": 1,
+            "pad_token_id": 147075,
+            "stop_strings": [
+                "\n",
+                "\n\n"
+            ],
+            "temperature": 0.1,
+            "top_k": 40,
+            "top_p": 0.9,
+            "transformers_version": "4.45.2",
+            "trust_remote_code": false
+        },
+        "conversation_template": {
+            "system_message_template": "{content}\n",
+            "user_message_template": "{content}\n",
+            "bot_message_template": "{content}\n\n",
+            "bot_message_template_incomplete": "{content}",
+            "user_role": "user",
+            "bot_role": "bot",
+            "system_role": "system",
+            "suffix": "",
+            "add_special_tokens": false,
+            "eos_token": [
+                "\n",
+                "\n\n"
+            ],
+            "global_prefix": ""
+        },
+        "load_in_8bit": false,
+        "torch_dtype": "auto",
+        "use_flash_attention_2": true,
+        "device_map": "cuda:0",
+        "use_fast_tokenizer": true,
+        "leading_space": false,
+        "space_token": null,
+        "trust_remote_code": false,
+        "max_model_len": 32768
+    },
+    "task_params": {
+        "max_len": 4000,
+        "few_shot_count": 5,
+        "batch_size": 8,
+        "max_sample_per_dataset": 500,
+        "method": "calculate_logsoftmax"
+    }
+}

llmtf_eval/daru_treewayextractive_total.jsonl

@@ -0,0 +1,7 @@
+{
+    "task_name": "daru/treewayextractive",
+    "results": {
+        "r-prec": 0.41475829725829727
+    },
+    "leaderboard_result": 0.41475829725829727
+}

llmtf_eval/darumeru_MultiQ.jsonl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:d76551f554d83763ad973b5351a12ea8430cd1af59432791e9d143635f10becc
-size 21498372
+oid sha256:85ddd59efef62a29689073ea8946168ab0318fb6013b6342ecc08aacb3c97cd8
+size 21499399

llmtf_eval/darumeru_MultiQ_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {

llmtf_eval/darumeru_MultiQ_total.jsonl

@@ -1,8 +1,8 @@
 {
     "task_name": "darumeru/MultiQ",
     "results": {
-        "f1": 0.48670297858620026,
-        "em": 0.372848948374761
+        "f1": 0.48323651229633574,
+        "em": 0.367112810707457
     },
-    "leaderboard_result": 0.42977596348048064
+    "leaderboard_result": 0.42517466150189637
 }

llmtf_eval/darumeru_PARus_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {

llmtf_eval/darumeru_RCB.jsonl

@@ -7,9 +7,9 @@
         ]
     },
     "predict": {
-        "1": 0.20546765625476837,
-        "2": 0.5585189461708069,
-        "3": 0.23282532393932343
+        "1": 0.2054731845855713,
+        "2": 0.5585339665412903,
+        "3": 0.23283158242702484
     },
     "sample": {
         "messages": [
@@ -51,9 +51,9 @@
         ]
     },
     "predict": {
-        "1": 0.185587078332901,
-        "2": 0.5044779181480408,
-        "3": 0.3059813380241394
+        "1": 0.2051875740289688,
+        "2": 0.4922194182872772,
+        "3": 0.29854616522789
     },
     "sample": {
         "messages": [
@@ -95,9 +95,9 @@
         ]
     },
     "predict": {
-        "1": 0.053184110671281815,
-        "2": 0.8319394588470459,
-        "3": 0.11259075999259949
+        "1": 0.05318403244018555,
+        "2": 0.8319382667541504,
+        "3": 0.11259059607982635
     },
     "sample": {
         "messages": [
@@ -139,9 +139,9 @@
         ]
     },
     "predict": {
-        "1": 0.18899597227573395,
-        "2": 0.45337778329849243,
-        "3": 0.35309097170829773
+        "1": 0.18889814615249634,
+        "2": 0.4531431198120117,
+        "3": 0.3529082238674164
     },
     "sample": {
         "messages": [
@@ -183,9 +183,9 @@
         ]
     },
     "predict": {
-        "1": 0.8763749003410339,
-        "2": 0.029987899586558342,
-        "3": 0.09236923605203629
+        "1": 0.862282395362854,
+        "2": 0.033434316515922546,
+        "3": 0.1029849424958229
     },
     "sample": {
         "messages": [
@@ -227,9 +227,9 @@
         ]
     },
     "predict": {
-        "1": 0.7431676387786865,
-        "2": 0.08875872194766998,
-        "3": 0.16582311689853668
+        "1": 0.7509932518005371,
+        "2": 0.0791541039943695,
+        "3": 0.16756924986839294
     },
     "sample": {
         "messages": [
@@ -271,9 +271,9 @@
         ]
     },
     "predict": {
-        "1": 0.9113905429840088,
-        "2": 0.02143385075032711,
-        "3": 0.0660209134221077
+        "1": 0.9113762974739075,
+        "2": 0.02143351547420025,
+        "3": 0.06601987779140472
     },
     "sample": {
         "messages": [
@@ -315,9 +315,9 @@
         ]
     },
     "predict": {
-        "1": 0.3740158975124359,
-        "2": 0.29128387570381165,
-        "3": 0.33006787300109863
+        "1": 0.3741404414176941,
+        "2": 0.2913808524608612,
+        "3": 0.33017778396606445
     },
     "sample": {
         "messages": [
@@ -359,9 +359,9 @@
         ]
     },
     "predict": {
-        "1": 0.6907228231430054,
-        "2": 0.0824950784444809,
-        "3": 0.2242448627948761
+        "1": 0.6906174421310425,
+        "2": 0.0824824869632721,
+        "3": 0.22421064972877502
     },
     "sample": {
         "messages": [
@@ -403,9 +403,9 @@
         ]
     },
     "predict": {
-        "1": 0.248980313539505,
-        "2": 0.4651564359664917,
-        "3": 0.2821316421031952
+        "1": 0.24897193908691406,
+        "2": 0.46514081954956055,
+        "3": 0.2821221649646759
     },
     "sample": {
         "messages": [
@@ -447,9 +447,9 @@
         ]
     },
     "predict": {
-        "1": 0.8492531776428223,
-        "2": 0.04791158810257912,
-        "3": 0.10142882913351059
+        "1": 0.8645526170730591,
+        "2": 0.04304353892803192,
+        "3": 0.09112317115068436
     },
     "sample": {
         "messages": [
@@ -491,9 +491,9 @@
         ]
     },
     "predict": {
-        "1": 0.00816334132105112,
-        "2": 0.9435539841651917,
-        "3": 0.046976782381534576
+        "1": 0.008208910003304482,
+        "2": 0.9488210082054138,
+        "3": 0.041688285768032074
     },
     "sample": {
         "messages": [
@@ -535,9 +535,9 @@
         ]
     },
     "predict": {
-        "1": 0.7804044485092163,
-        "2": 0.08225402235984802,
-        "3": 0.13561394810676575
+        "1": 0.7719201445579529,
+        "2": 0.09219270944595337,
+        "3": 0.13413959741592407
     },
     "sample": {
         "messages": [
@@ -579,9 +579,9 @@
         ]
     },
     "predict": {
-        "1": 0.7273611426353455,
-        "2": 0.08687090128660202,
-        "3": 0.183905690908432
+        "1": 0.7434483766555786,
+        "2": 0.08879224210977554,
+        "3": 0.16588574647903442
     },
     "sample": {
         "messages": [
@@ -623,9 +623,9 @@
         ]
     },
     "predict": {
-        "1": 0.6317780017852783,
-        "2": 0.15973849594593048,
-        "3": 0.20510828495025635
+        "1": 0.6603128910064697,
+        "2": 0.1473357379436493,
+        "3": 0.1891828179359436
     },
     "sample": {
         "messages": [
@@ -667,9 +667,9 @@
         ]
     },
     "predict": {
-        "1": 0.39965006709098816,
-        "2": 0.3526899516582489,
-        "3": 0.24240003526210785
+        "1": 0.357837975025177,
+        "2": 0.357837975025177,
+        "3": 0.27868449687957764
     },
     "sample": {
         "messages": [
@@ -711,9 +711,9 @@
         ]
     },
     "predict": {
-        "1": 0.8112298250198364,
-        "2": 0.04576645791530609,
-        "3": 0.14097058773040771
+        "1": 0.8063058853149414,
+        "2": 0.0515454076230526,
+        "3": 0.1401149481534958
     },
     "sample": {
         "messages": [
@@ -755,9 +755,9 @@
         ]
     },
     "predict": {
-        "1": 0.4002612233161926,
-        "2": 0.2427707016468048,
-        "3": 0.353229284286499
+        "1": 0.40020623803138733,
+        "2": 0.24273736774921417,
+        "3": 0.35318076610565186
     },
     "sample": {
         "messages": [
@@ -799,9 +799,9 @@
         ]
     },
     "predict": {
-        "1": 0.3452589809894562,
-        "2": 0.3046899735927582,
-        "3": 0.3452589809894562
+        "1": 0.3598255217075348,
+        "2": 0.3175449073314667,
+        "3": 0.3175449073314667
     },
     "sample": {
         "messages": [
@@ -843,9 +843,9 @@
         ]
     },
     "predict": {
-        "1": 0.7804676294326782,
-        "2": 0.06406468152999878,
-        "3": 0.15368317067623138
+        "1": 0.7646563053131104,
+        "2": 0.06276681274175644,
+        "3": 0.17061789333820343
     },
     "sample": {
         "messages": [
@@ -887,9 +887,9 @@
         ]
     },
     "predict": {
-        "1": 0.11560457199811935,
-        "2": 0.6652584075927734,
-        "3": 0.21597778797149658
+        "1": 0.12900523841381073,
+        "2": 0.6551426649093628,
+        "3": 0.21269367635250092
     },
     "sample": {
         "messages": [
@@ -931,9 +931,9 @@
         ]
     },
     "predict": {
-        "1": 0.6718965768814087,
-        "2": 0.13230426609516144,
-        "3": 0.19250160455703735
+        "1": 0.6719155311584473,
+        "2": 0.1323080062866211,
+        "3": 0.19250702857971191
     },
     "sample": {
         "messages": [
@@ -975,9 +975,9 @@
         ]
     },
     "predict": {
-        "1": 0.8141552805900574,
-        "2": 0.05897721275687218,
-        "3": 0.12485475838184357
+        "1": 0.8064395189285278,
+        "2": 0.05155394971370697,
+        "3": 0.1401381641626358
     },
     "sample": {
         "messages": [
@@ -1019,9 +1019,9 @@
         ]
     },
     "predict": {
-        "1": 0.47932168841362,
-        "2": 0.2907232940196991,
-        "3": 0.22641554474830627
+        "1": 0.461273729801178,
+        "2": 0.3170284926891327,
+        "3": 0.21789029240608215
     },
     "sample": {
         "messages": [
@@ -1063,9 +1063,9 @@
         ]
     },
     "predict": {
-        "1": 0.4851234257221222,
-        "2": 0.17846696078777313,
-        "3": 0.33342015743255615
+        "1": 0.48510363698005676,
+        "2": 0.17845967411994934,
+        "3": 0.333406537771225
     },
     "sample": {
         "messages": [
@@ -1107,9 +1107,9 @@
         ]
     },
     "predict": {
-        "1": 0.4226566553115845,
-        "2": 0.1996488869190216,
-        "3": 0.37299320101737976
+        "1": 0.3817342221736908,
+        "2": 0.23153351247310638,
+        "3": 0.3817342221736908
     },
     "sample": {
         "messages": [
@@ -1151,9 +1151,9 @@
         ]
     },
     "predict": {
-        "1": 0.8727881908416748,
-        "2": 0.03384166955947876,
-        "3": 0.09199119359254837
+        "1": 0.862191379070282,
+        "2": 0.033430784940719604,
+        "3": 0.102974072098732
     },
     "sample": {
         "messages": [
@@ -1195,9 +1195,9 @@
         ]
     },
     "predict": {
-        "1": 0.5470497012138367,
-        "2": 0.15673236548900604,
-        "3": 0.29281461238861084
+        "1": 0.557440459728241,
+        "2": 0.1409430205821991,
+        "3": 0.2983763813972473
     },
     "sample": {
         "messages": [
@@ -1239,9 +1239,9 @@
         ]
     },
     "predict": {
-        "1": 0.14598897099494934,
-        "2": 0.5773975849151611,
-        "3": 0.2727433145046234
+        "1": 0.1460018903017044,
+        "2": 0.5774486660957336,
+        "3": 0.27276745438575745
     },
     "sample": {
         "messages": [
@@ -1283,9 +1283,9 @@
         ]
     },
     "predict": {
-        "1": 0.5274247527122498,
-        "2": 0.21986332535743713,
-        "3": 0.24913780391216278
+        "1": 0.5274580717086792,
+        "2": 0.219877228140831,
+        "3": 0.24915355443954468
     },
     "sample": {
         "messages": [
@@ -1327,9 +1327,9 @@
         ]
     },
     "predict": {
-        "1": 0.614875078201294,
-        "2": 0.155464768409729,
-        "3": 0.2261999249458313
+        "1": 0.5850998759269714,
+        "2": 0.16763392090797424,
+        "3": 0.2439059168100357
     },
     "sample": {
         "messages": [
@@ -1371,9 +1371,9 @@
         ]
     },
     "predict": {
-        "1": 0.6875519156455994,
-        "2": 0.13538698852062225,
-        "3": 0.17384035885334015
+        "1": 0.682698667049408,
+        "2": 0.11863522976636887,
+        "3": 0.19559644162654877
     },
     "sample": {
         "messages": [
@@ -1415,9 +1415,9 @@
         ]
     },
     "predict": {
-        "1": 0.7246237397193909,
-        "2": 0.11112464964389801,
-        "3": 0.16168540716171265
+        "1": 0.7342118620872498,
+        "2": 0.09936477243900299,
+        "3": 0.16382482647895813
     },
     "sample": {
         "messages": [
@@ -1459,9 +1459,9 @@
         ]
     },
     "predict": {
-        "1": 0.015849953517317772,
-        "2": 0.8653781414031982,
-        "3": 0.11711619794368744
+        "1": 0.01585106924176216,
+        "2": 0.8654390573501587,
+        "3": 0.11712443828582764
     },
     "sample": {
         "messages": [
@@ -1503,9 +1503,9 @@
         ]
     },
     "predict": {
-        "1": 0.5044260621070862,
-        "2": 0.18556800484657288,
-        "3": 0.305949866771698
+        "1": 0.5044252872467041,
+        "2": 0.185567706823349,
+        "3": 0.3059493899345398
     },
     "sample": {
         "messages": [
@@ -1547,9 +1547,9 @@
         ]
     },
     "predict": {
-        "1": 0.8336155414581299,
-        "2": 0.036626510322093964,
-        "3": 0.1278390884399414
+        "1": 0.8336464166641235,
+        "2": 0.0366278700530529,
+        "3": 0.12784382700920105
     },
     "sample": {
         "messages": [
@@ -1591,9 +1591,9 @@
         ]
     },
     "predict": {
-        "1": 0.779873788356781,
-        "2": 0.0640159398317337,
-        "3": 0.15356624126434326
+        "1": 0.7732433676719666,
+        "2": 0.07192283123731613,
+        "3": 0.15226063132286072
     },
     "sample": {
         "messages": [
@@ -1635,9 +1635,9 @@
         ]
     },
     "predict": {
-        "1": 0.1890137493610382,
-        "2": 0.3531241714954376,
-        "3": 0.4534204304218292
+        "1": 0.1889711618423462,
+        "2": 0.3530445992946625,
+        "3": 0.4533182382583618
     },
     "sample": {
         "messages": [
@@ -1679,9 +1679,9 @@
         ]
     },
     "predict": {
-        "1": 0.815781831741333,
-        "2": 0.04061538353562355,
-        "3": 0.14176161587238312
+        "1": 0.8113288283348083,
+        "2": 0.045772042125463486,
+        "3": 0.1409877985715866
     },
     "sample": {
         "messages": [
@@ -1723,9 +1723,9 @@
         ]
     },
     "predict": {
-        "1": 0.5415368676185608,
-        "2": 0.19922029972076416,
-        "3": 0.2558039128780365
+        "1": 0.5415768623352051,
+        "2": 0.1992350071668625,
+        "3": 0.2558228075504303
     },
     "sample": {
         "messages": [
@@ -1767,9 +1767,9 @@
         ]
     },
     "predict": {
-        "1": 0.5876607298851013,
-        "2": 0.1311248242855072,
-        "3": 0.2775912582874298
+        "1": 0.6074406504631042,
+        "2": 0.13553833961486816,
+        "3": 0.25321894884109497
     },
     "sample": {
         "messages": [
@@ -1811,9 +1811,9 @@
         ]
     },
     "predict": {
-        "1": 0.7522473931312561,
-        "2": 0.11536087840795517,
-        "3": 0.13072098791599274
+        "1": 0.762588620185852,
+        "2": 0.10320514440536499,
+        "3": 0.13251802325248718
     },
     "sample": {
         "messages": [
@@ -1855,9 +1855,9 @@
         ]
     },
     "predict": {
-        "1": 0.011832145974040031,
-        "2": 0.939943790435791,
-        "3": 0.046797044575214386
+        "1": 0.011831268668174744,
+        "2": 0.9398740530014038,
+        "3": 0.04679357260465622
     },
     "sample": {
         "messages": [
@@ -1899,9 +1899,9 @@
         ]
     },
     "predict": {
-        "1": 0.2821556329727173,
-        "2": 0.46519601345062256,
-        "3": 0.24900148808956146
+        "1": 0.2821074426174164,
+        "2": 0.4651165306568146,
+        "3": 0.24895894527435303
     },
     "sample": {
         "messages": [
@@ -1943,9 +1943,9 @@
         ]
     },
     "predict": {
-        "1": 0.9162285923957825,
-        "2": 0.024416664615273476,
-        "3": 0.05857253447175026
+        "1": 0.916175365447998,
+        "2": 0.02441524714231491,
+        "3": 0.058569129556417465
     },
     "sample": {
         "messages": [
@@ -1987,9 +1987,9 @@
         ]
     },
     "predict": {
-        "1": 0.00887204147875309,
-        "2": 0.9049727916717529,
-        "3": 0.08417557924985886
+        "1": 0.008871026337146759,
+        "2": 0.9048691987991333,
+        "3": 0.08416594564914703
     },
     "sample": {
         "messages": [
@@ -2031,9 +2031,9 @@
         ]
     },
     "predict": {
-        "1": 0.1620791256427765,
-        "2": 0.5657117366790771,
-        "3": 0.2672232985496521
+        "1": 0.16203950345516205,
+        "2": 0.5655733942985535,
+        "3": 0.26715797185897827
     },
     "sample": {
         "messages": [
@@ -2075,9 +2075,9 @@
         ]
     },
     "predict": {
-        "1": 0.6420385837554932,
-        "2": 0.08689047396183014,
-        "3": 0.26764151453971863
+        "1": 0.619819164276123,
+        "2": 0.08388339728116989,
+        "3": 0.2927818298339844
     },
     "sample": {
         "messages": [
@@ -2119,9 +2119,9 @@
         ]
     },
     "predict": {
-        "1": 0.5777817964553833,
-        "2": 0.14608612656593323,
-        "3": 0.2729248106479645
+        "1": 0.5778270959854126,
+        "2": 0.1460975557565689,
+        "3": 0.27294617891311646
     },
     "sample": {
         "messages": [
@@ -2163,9 +2163,9 @@
         ]
     },
     "predict": {
-        "1": 0.22654928267002106,
-        "2": 0.5434634685516357,
-        "3": 0.22654928267002106
+        "1": 0.22653841972351074,
+        "2": 0.5434374213218689,
+        "3": 0.22653841972351074
     },
     "sample": {
         "messages": [
@@ -2207,9 +2207,9 @@
         ]
     },
     "predict": {
-        "1": 0.8143442273139954,
-        "2": 0.058990899473428726,
-        "3": 0.1248837411403656
+        "1": 0.8143771886825562,
+        "2": 0.05899328738451004,
+        "3": 0.12488879263401031
     },
     "sample": {
         "messages": [
@@ -2251,9 +2251,9 @@
         ]
     },
     "predict": {
-        "1": 0.16223064064979553,
-        "2": 0.5662405490875244,
-        "3": 0.26747310161590576
+        "1": 0.16750183701515198,
+        "2": 0.5846388339996338,
+        "3": 0.24371372163295746
     },
     "sample": {
         "messages": [
@@ -2295,9 +2295,9 @@
         ]
     },
     "predict": {
-        "1": 0.6601472496986389,
-        "2": 0.14729876816272736,
-        "3": 0.1891353577375412
+        "1": 0.6474032998085022,
+        "2": 0.16368919610977173,
+        "3": 0.1854841560125351
     },
     "sample": {
         "messages": [
@@ -2339,9 +2339,9 @@
         ]
     },
     "predict": {
-        "1": 0.008418063633143902,
-        "2": 0.8586657643318176,
-        "3": 0.1316806674003601
+        "1": 0.0075541469268500805,
+        "2": 0.8731406331062317,
+        "3": 0.1181667372584343
     },
     "sample": {
         "messages": [
@@ -2383,9 +2383,9 @@
         ]
     },
     "predict": {
-        "1": 0.24237000942230225,
-        "2": 0.3996005952358246,
-        "3": 0.35264626145362854
+        "1": 0.25441431999206543,
+        "2": 0.3701706528663635,
+        "3": 0.3701706528663635
     },
     "sample": {
         "messages": [
@@ -2427,9 +2427,9 @@
         ]
     },
     "predict": {
-        "1": 0.06886102259159088,
-        "2": 0.7403258085250854,
-        "3": 0.187183678150177
+        "1": 0.06127407029271126,
+        "2": 0.7464709877967834,
+        "3": 0.1887374222278595
     },
     "sample": {
         "messages": [
@@ -2471,9 +2471,9 @@
         ]
     },
     "predict": {
-        "1": 0.8296267986297607,
-        "2": 0.041304685175418854,
-        "3": 0.12722739577293396
+        "1": 0.842222273349762,
+        "2": 0.04193177819252014,
+        "3": 0.11398238688707352
     },
     "sample": {
         "messages": [
@@ -2515,9 +2515,9 @@
         ]
     },
     "predict": {
-        "1": 0.7737882733345032,
-        "2": 0.071973517537117,
-        "3": 0.15236793458461761
+        "1": 0.7804368734359741,
+        "2": 0.06406216323375702,
+        "3": 0.15367713570594788
     },
     "sample": {
         "messages": [
@@ -2559,9 +2559,9 @@
         ]
     },
     "predict": {
-        "1": 0.027146678417921066,
-        "2": 0.7933422327041626,
-        "3": 0.17701858282089233
+        "1": 0.02714604139328003,
+        "2": 0.7933236360549927,
+        "3": 0.17701444029808044
     },
     "sample": {
         "messages": [
@@ -2603,9 +2603,9 @@
         ]
     },
     "predict": {
-        "1": 0.6319689750671387,
-        "2": 0.15978679060935974,
-        "3": 0.20517028868198395
+        "1": 0.602572500705719,
+        "2": 0.17263992130756378,
+        "3": 0.22167406976222992
     },
     "sample": {
         "messages": [
@@ -2647,9 +2647,9 @@
         ]
     },
     "predict": {
-        "1": 0.8325420618057251,
-        "2": 0.05322263017296791,
-        "3": 0.11267231404781342
+        "1": 0.8265973925590515,
+        "2": 0.05987851694226265,
+        "3": 0.11186779290437698
     },
     "sample": {
         "messages": [
@@ -2691,9 +2691,9 @@
         ]
     },
     "predict": {
-        "1": 0.9009718894958496,
-        "2": 0.02401008829474449,
-        "3": 0.07395628094673157
+        "1": 0.9009463787078857,
+        "2": 0.024009406566619873,
+        "3": 0.07395417988300323
     },
     "sample": {
         "messages": [
@@ -2735,9 +2735,9 @@
         ]
     },
     "predict": {
-        "1": 0.7733863592147827,
-        "2": 0.07193613797426224,
-        "3": 0.1522887945175171
+        "1": 0.7734755873680115,
+        "2": 0.07194443047046661,
+        "3": 0.15230636298656464
     },
     "sample": {
         "messages": [
@@ -2779,9 +2779,9 @@
         ]
     },
     "predict": {
-        "1": 0.2665085792541504,
-        "2": 0.3422037959098816,
-        "3": 0.3877677023410797
+        "1": 0.26644614338874817,
+        "2": 0.3421235978603363,
+        "3": 0.38767683506011963
     },
     "sample": {
         "messages": [
@@ -2823,9 +2823,9 @@
         ]
     },
     "predict": {
-        "1": 0.7513737082481384,
-        "2": 0.07919420301914215,
-        "3": 0.1676541417837143
+        "1": 0.7584362030029297,
+        "2": 0.07054555416107178,
+        "3": 0.16922999918460846
     },
     "sample": {
         "messages": [
@@ -2867,9 +2867,9 @@
         ]
     },
     "predict": {
-        "1": 0.9135782718658447,
-        "2": 0.018960710614919662,
-        "3": 0.06617938727140427
+        "1": 0.911215603351593,
+        "2": 0.02142973802983761,
+        "3": 0.06600823998451233
     },
     "sample": {
         "messages": [
@@ -2911,9 +2911,9 @@
         ]
     },
     "predict": {
-        "1": 0.7184166312217712,
-        "2": 0.09722711145877838,
-        "3": 0.18164415657520294
+        "1": 0.7269718647003174,
+        "2": 0.08682440966367722,
+        "3": 0.18380726873874664
     },
     "sample": {
         "messages": [
@@ -2955,9 +2955,9 @@
         ]
     },
     "predict": {
-        "1": 0.18523171544075012,
-        "2": 0.503511905670166,
-        "3": 0.3053954243659973
+        "1": 0.19215866923332214,
+        "2": 0.5223413705825806,
+        "3": 0.2795892059803009
     },
     "sample": {
         "messages": [
@@ -2999,9 +2999,9 @@
         ]
     },
     "predict": {
-        "1": 0.6745195984840393,
-        "2": 0.10344094038009644,
-        "3": 0.218984454870224
+        "1": 0.6652341485023499,
+        "2": 0.1156003549695015,
+        "3": 0.21596990525722504
     },
     "sample": {
         "messages": [
@@ -3043,9 +3043,9 @@
         ]
     },
     "predict": {
-        "1": 0.29848700761795044,
-        "2": 0.43429601192474365,
-        "3": 0.26341384649276733
+        "1": 0.3251865804195404,
+        "2": 0.4175478518009186,
+        "3": 0.25325557589530945
     },
     "sample": {
         "messages": [
@@ -3087,9 +3087,9 @@
         ]
     },
     "predict": {
-        "1": 0.47949275374412537,
-        "2": 0.29082706570625305,
-        "3": 0.2264963537454605
+        "1": 0.4484895169734955,
+        "2": 0.3082420527935028,
+        "3": 0.24005915224552155
     },
     "sample": {
         "messages": [
@@ -3131,9 +3131,9 @@
         ]
     },
     "predict": {
-        "1": 0.1239442303776741,
-        "2": 0.7132498621940613,
-        "3": 0.15914756059646606
+        "1": 0.11100741475820541,
+        "2": 0.7238592505455017,
+        "3": 0.16151483356952667
     },
     "sample": {
         "messages": [
@@ -3175,9 +3175,9 @@
         ]
     },
     "predict": {
-        "1": 0.4496765434741974,
-        "2": 0.2727425992488861,
-        "3": 0.2727425992488861
+        "1": 0.4190276265144348,
+        "2": 0.2879931926727295,
+        "3": 0.2879931926727295
     },
     "sample": {
         "messages": [
@@ -3219,9 +3219,9 @@
         ]
     },
     "predict": {
-        "1": 0.7882289886474609,
-        "2": 0.07331671565771103,
-        "3": 0.13697364926338196
+        "1": 0.7883361577987671,
+        "2": 0.07332668453454971,
+        "3": 0.13699227571487427
     },
     "sample": {
         "messages": [
@@ -3263,9 +3263,9 @@
         ]
     },
     "predict": {
-        "1": 0.5101559162139893,
-        "2": 0.2126646190881729,
-        "3": 0.27306678891181946
+        "1": 0.4790095090866089,
+        "2": 0.22626808285713196,
+        "3": 0.29053395986557007
     },
     "sample": {
         "messages": [
@@ -3307,9 +3307,9 @@
         ]
     },
     "predict": {
-        "1": 0.5968313217163086,
-        "2": 0.15090258419513702,
-        "3": 0.24879629909992218
+        "1": 0.5966511368751526,
+        "2": 0.15085703134536743,
+        "3": 0.2487211972475052
     },
     "sample": {
         "messages": [
@@ -3351,9 +3351,9 @@
         ]
     },
     "predict": {
-        "1": 0.3451721966266632,
-        "2": 0.3451721966266632,
-        "3": 0.3046133816242218
+        "1": 0.34528738260269165,
+        "2": 0.34528738260269165,
+        "3": 0.30471503734588623
     },
     "sample": {
         "messages": [
@@ -3395,9 +3395,9 @@
         ]
     },
     "predict": {
-        "1": 0.27756166458129883,
-        "2": 0.40384984016418457,
-        "3": 0.3145185708999634
+        "1": 0.27758073806762695,
+        "2": 0.4038775861263275,
+        "3": 0.31454017758369446
     },
     "sample": {
         "messages": [
@@ -3439,9 +3439,9 @@
         ]
     },
     "predict": {
-        "1": 0.7164913415908813,
-        "2": 0.07551762461662292,
-        "3": 0.2052782028913498
+        "1": 0.6905782222747803,
+        "2": 0.08247781544923782,
+        "3": 0.22419792413711548
     },
     "sample": {
         "messages": [
@@ -3483,9 +3483,9 @@
         ]
     },
     "predict": {
-        "1": 0.8325966000556946,
-        "2": 0.05322611704468727,
-        "3": 0.11267969757318497
+        "1": 0.8326156735420227,
+        "2": 0.05322733893990517,
+        "3": 0.1126822754740715
     },
     "sample": {
         "messages": [
@@ -3527,9 +3527,9 @@
         ]
     },
     "predict": {
-        "1": 0.020800210535526276,
-        "2": 0.884447455406189,
-        "3": 0.0932200700044632
+        "1": 0.020801382139325142,
+        "2": 0.8844972252845764,
+        "3": 0.09322532266378403
     },
     "sample": {
         "messages": [
@@ -3571,9 +3571,9 @@
         ]
     },
     "predict": {
-        "1": 0.025033090263605118,
-        "2": 0.8289820551872253,
-        "3": 0.14405547082424164
+        "1": 0.02216051146388054,
+        "2": 0.8315670490264893,
+        "3": 0.14450466632843018
     },
     "sample": {
         "messages": [
@@ -3615,9 +3615,9 @@
         ]
     },
     "predict": {
-        "1": 0.7024475336074829,
-        "2": 0.13832010328769684,
-        "3": 0.15673723816871643
+        "1": 0.6757160425186157,
+        "2": 0.15077263116836548,
+        "3": 0.17084777355194092
     },
     "sample": {
         "messages": [
@@ -3659,9 +3659,9 @@
         ]
     },
     "predict": {
-        "1": 0.4037919342517853,
-        "2": 0.3144734799861908,
-        "3": 0.27752187848091125
+        "1": 0.40384241938591003,
+        "2": 0.31451278924942017,
+        "3": 0.27755656838417053
     },
     "sample": {
         "messages": [
@@ -3703,9 +3703,9 @@
         ]
     },
     "predict": {
-        "1": 0.8048926591873169,
-        "2": 0.08483505994081497,
-        "3": 0.10893037170171738
+        "1": 0.823684573173523,
+        "2": 0.07661459594964981,
+        "3": 0.0983750969171524
     },
     "sample": {
         "messages": [
@@ -3747,9 +3747,9 @@
         ]
     },
     "predict": {
-        "1": 0.018150517717003822,
-        "2": 0.8745409250259399,
-        "3": 0.10444901883602142
+        "1": 0.020232804119586945,
+        "2": 0.8603207468986511,
+        "3": 0.11643175035715103
     },
     "sample": {
         "messages": [
@@ -3791,9 +3791,9 @@
         ]
     },
     "predict": {
-        "1": 0.7342569828033447,
-        "2": 0.07739011943340302,
-        "3": 0.18564924597740173
+        "1": 0.734483540058136,
+        "2": 0.07741399854421616,
+        "3": 0.18570652604103088
     },
     "sample": {
         "messages": [
@@ -3835,9 +3835,9 @@
         ]
     },
     "predict": {
-        "1": 0.2399875819683075,
-        "2": 0.4483557939529419,
-        "3": 0.30815014243125916
+        "1": 0.23047871887683868,
+        "2": 0.4305909276008606,
+        "3": 0.3353445529937744
     },
     "sample": {
         "messages": [
@@ -3879,9 +3879,9 @@
         ]
     },
     "predict": {
-        "1": 0.017332786694169044,
-        "2": 0.8351404070854187,
-        "3": 0.1451256275177002
+        "1": 0.01733323745429516,
+        "2": 0.8351622223854065,
+        "3": 0.14512941241264343
     },
     "sample": {
         "messages": [
@@ -3923,9 +3923,9 @@
         ]
     },
     "predict": {
-        "1": 0.8859915733337402,
-        "2": 0.03031696379184723,
-        "3": 0.0824100524187088
+        "1": 0.9058403372764587,
+        "2": 0.027354009449481964,
+        "3": 0.0656188577413559
     },
     "sample": {
         "messages": [
@@ -3967,9 +3967,9 @@
         ]
     },
     "predict": {
-        "1": 0.028252972289919853,
-        "2": 0.8256729245185852,
-        "3": 0.14348042011260986
+        "1": 0.03189440816640854,
+        "2": 0.8225676417350769,
+        "3": 0.14294080436229706
     },
     "sample": {
         "messages": [
@@ -4011,9 +4011,9 @@
         ]
     },
     "predict": {
-        "1": 0.566642165184021,
-        "2": 0.16234570741653442,
-        "3": 0.26766282320022583
+        "1": 0.5666624307632446,
+        "2": 0.16235151886940002,
+        "3": 0.2676723897457123
     },
     "sample": {
         "messages": [
@@ -4055,9 +4055,9 @@
         ]
     },
     "predict": {
-        "1": 0.9026983380317688,
-        "2": 0.030888639390468597,
-        "3": 0.06539124995470047
+        "1": 0.894832968711853,
+        "2": 0.03061950020492077,
+        "3": 0.07345236092805862
     },
     "sample": {
         "messages": [
@@ -4099,9 +4099,9 @@
         ]
     },
     "predict": {
-        "1": 0.634497880935669,
-        "2": 0.1817867010831833,
-        "3": 0.1817867010831833
+        "1": 0.6051731109619141,
+        "2": 0.1964709311723709,
+        "3": 0.1964709311723709
     },
     "sample": {
         "messages": [
@@ -4143,9 +4143,9 @@
         ]
     },
     "predict": {
-        "1": 0.8691254258155823,
-        "2": 0.038186706602573395,
-        "3": 0.09160514175891876
+        "1": 0.8786293268203735,
+        "2": 0.03860427811741829,
+        "3": 0.08172525465488434
     },
     "sample": {
         "messages": [
@@ -4187,9 +4187,9 @@
         ]
     },
     "predict": {
-        "1": 0.01285806205123663,
-        "2": 0.9014197587966919,
-        "3": 0.0838451012969017
+        "1": 0.011364768259227276,
+        "2": 0.9028153419494629,
+        "3": 0.08397490531206131
     },
     "sample": {
         "messages": [
@@ -4231,9 +4231,9 @@
         ]
     },
     "predict": {
-        "1": 0.007349063642323017,
-        "2": 0.962537407875061,
-        "3": 0.029066111892461777
+        "1": 0.007348943036049604,
+        "2": 0.9625216126441956,
+        "3": 0.029065635055303574
     },
     "sample": {
         "messages": [
@@ -4275,9 +4275,9 @@
         ]
     },
     "predict": {
-        "1": 0.4594925343990326,
-        "2": 0.13164682686328888,
-        "3": 0.40550073981285095
+        "1": 0.42083531618118286,
+        "2": 0.154816672205925,
+        "3": 0.42083531618118286
     },
     "sample": {
         "messages": [
@@ -4319,9 +4319,9 @@
         ]
     },
     "predict": {
-        "1": 0.7163257598876953,
-        "2": 0.07550017535686493,
-        "3": 0.20523077249526978
+        "1": 0.7090946435928345,
+        "2": 0.08468928188085556,
+        "3": 0.20315901935100555
     },
     "sample": {
         "messages": [
@@ -4363,9 +4363,9 @@
         ]
     },
     "predict": {
-        "1": 0.922412633895874,
-        "2": 0.024581464007496834,
-        "3": 0.05203896388411522
+        "1": 0.9160068035125732,
+        "2": 0.024410754442214966,
+        "3": 0.058558352291584015
     },
     "sample": {
         "messages": [
@@ -4407,9 +4407,9 @@
         ]
     },
     "predict": {
-        "1": 0.80087810754776,
-        "2": 0.07449326664209366,
-        "3": 0.12281864136457443
+        "1": 0.7879651784896851,
+        "2": 0.07329217344522476,
+        "3": 0.13692781329154968
     },
     "sample": {
         "messages": [
@@ -4451,9 +4451,9 @@
         ]
     },
     "predict": {
-        "1": 0.7510393857955933,
-        "2": 0.0791589617729187,
-        "3": 0.1675795316696167
+        "1": 0.766255795955658,
+        "2": 0.08076275885105133,
+        "3": 0.1508847028017044
     },
     "sample": {
         "messages": [
@@ -4495,9 +4495,9 @@
         ]
     },
     "predict": {
-        "1": 0.35792455077171326,
-        "2": 0.35792455077171326,
-        "3": 0.2787519097328186
+        "1": 0.35797831416130066,
+        "2": 0.35797831416130066,
+        "3": 0.2787937819957733
     },
     "sample": {
         "messages": [
@@ -4539,9 +4539,9 @@
         ]
     },
     "predict": {
-        "1": 0.23435769975185394,
-        "2": 0.49613523483276367,
-        "3": 0.2655620574951172
+        "1": 0.23441296815872192,
+        "2": 0.49625223875045776,
+        "3": 0.2656247019767761
     },
     "sample": {
         "messages": [
@@ -4583,9 +4583,9 @@
         ]
     },
     "predict": {
-        "1": 0.7093535661697388,
-        "2": 0.10878289490938187,
-        "3": 0.17935267090797424
+        "1": 0.718733012676239,
+        "2": 0.0972699299454689,
+        "3": 0.1817241609096527
     },
     "sample": {
         "messages": [
@@ -4627,9 +4627,9 @@
         ]
     },
     "predict": {
-        "1": 0.5850984454154968,
-        "2": 0.167633518576622,
-        "3": 0.24390532076358795
+        "1": 0.5545139908790588,
+        "2": 0.18002432584762573,
+        "3": 0.2619338631629944
     },
     "sample": {
         "messages": [
@@ -4671,9 +4671,9 @@
         ]
     },
     "predict": {
-        "1": 0.709272563457489,
-        "2": 0.08471053093671799,
-        "3": 0.2032100111246109
+        "1": 0.7093427777290344,
+        "2": 0.08471891283988953,
+        "3": 0.2032301127910614
     },
     "sample": {
         "messages": [
@@ -4715,9 +4715,9 @@
         ]
     },
     "predict": {
-        "1": 0.2634461522102356,
-        "2": 0.29852360486984253,
-        "3": 0.43434926867485046
+        "1": 0.25334855914115906,
+        "2": 0.3253059983253479,
+        "3": 0.4177011549472809
     },
     "sample": {
         "messages": [
@@ -4759,9 +4759,9 @@
         ]
     },
     "predict": {
-        "1": 0.4338706135749817,
-        "2": 0.26315581798553467,
-        "3": 0.29819461703300476
+        "1": 0.4035845398902893,
+        "2": 0.2773793339729309,
+        "3": 0.3143119513988495
     },
     "sample": {
         "messages": [
@@ -4803,9 +4803,9 @@
         ]
     },
     "predict": {
-        "1": 0.6135433912277222,
-        "2": 0.09408993273973465,
-        "3": 0.2898173928260803
+        "1": 0.6425406336784363,
+        "2": 0.08695842325687408,
+        "3": 0.267850786447525
     },
     "sample": {
         "messages": [
@@ -4847,9 +4847,9 @@
         ]
     },
     "predict": {
-        "1": 0.03377507999539375,
-        "2": 0.7687172889709473,
-        "3": 0.19436216354370117
+        "1": 0.03377557545900345,
+        "2": 0.7687285542488098,
+        "3": 0.1943650096654892
     },
     "sample": {
         "messages": [
@@ -4891,9 +4891,9 @@
         ]
     },
     "predict": {
-        "1": 0.8643593192100525,
-        "2": 0.043033916503190994,
-        "3": 0.09110280126333237
+        "1": 0.8491359353065491,
+        "2": 0.04790497571229935,
+        "3": 0.10141482949256897
     },
     "sample": {
         "messages": [
@@ -4935,9 +4935,9 @@
         ]
     },
     "predict": {
-        "1": 0.8141917586326599,
-        "2": 0.058979857712984085,
-        "3": 0.12486035376787186
+        "1": 0.8199279308319092,
+        "2": 0.05241623520851135,
+        "3": 0.12574002146720886
     },
     "sample": {
         "messages": [
@@ -4979,9 +4979,9 @@
         ]
     },
     "predict": {
-        "1": 0.050605468451976776,
-        "2": 0.6165007948875427,
-        "3": 0.32998910546302795
+        "1": 0.04675557091832161,
+        "2": 0.6454407572746277,
+        "3": 0.3048846125602722
     },
     "sample": {
         "messages": [
@@ -5023,9 +5023,9 @@
         ]
     },
     "predict": {
-        "1": 0.891456663608551,
-        "2": 0.0345655232667923,
-        "3": 0.07317522168159485
+        "1": 0.8827536702156067,
+        "2": 0.03422807529568672,
+        "3": 0.08210888504981995
     },
     "sample": {
         "messages": [
@@ -5067,9 +5067,9 @@
         ]
     },
     "predict": {
-        "1": 0.2340128868818283,
-        "2": 0.49540525674819946,
-        "3": 0.2651713490486145
+        "1": 0.23392294347286224,
+        "2": 0.4952148497104645,
+        "3": 0.2650694251060486
     },
     "sample": {
         "messages": [
@@ -5111,9 +5111,9 @@
         ]
     },
     "predict": {
-        "1": 0.5357595086097717,
-        "2": 0.1739356517791748,
-        "3": 0.28677141666412354
+        "1": 0.5236403346061707,
+        "2": 0.19263653457164764,
+        "3": 0.28028449416160583
     },
     "sample": {
         "messages": [
@@ -5155,9 +5155,9 @@
         ]
     },
     "predict": {
-        "1": 0.6443853974342346,
-        "2": 0.14378182590007782,
-        "3": 0.20920130610466003
+        "1": 0.6321811079978943,
+        "2": 0.1598404198884964,
+        "3": 0.2052391618490219
     },
     "sample": {
         "messages": [
@@ -5199,9 +5199,9 @@
         ]
     },
     "predict": {
-        "1": 0.9596851468086243,
-        "2": 0.010661140084266663,
-        "3": 0.028979981318116188
+        "1": 0.962988018989563,
+        "2": 0.010697831399738789,
+        "3": 0.02566276118159294
     },
     "sample": {
         "messages": [
@@ -5243,9 +5243,9 @@
         ]
     },
     "predict": {
-        "1": 0.6991484761238098,
-        "2": 0.12149377912282944,
-        "3": 0.17677241563796997
+        "1": 0.6991202235221863,
+        "2": 0.12148886919021606,
+        "3": 0.17676527798175812
     },
     "sample": {
         "messages": [
@@ -5287,9 +5287,9 @@
         ]
     },
     "predict": {
-        "1": 0.3584785759449005,
-        "2": 0.3584785759449005,
-        "3": 0.27918338775634766
+        "1": 0.35845229029655457,
+        "2": 0.35845229029655457,
+        "3": 0.2791629135608673
     },
     "sample": {
         "messages": [
@@ -5331,9 +5331,9 @@
         ]
     },
     "predict": {
-        "1": 0.5847252607345581,
-        "2": 0.16752660274505615,
-        "3": 0.24374975264072418
+        "1": 0.584723174571991,
+        "2": 0.1675259917974472,
+        "3": 0.24374887347221375
     },
     "sample": {
         "messages": [
@@ -5375,9 +5375,9 @@
         ]
     },
     "predict": {
-        "1": 0.8540686964988708,
-        "2": 0.04252157360315323,
-        "3": 0.10200396180152893
+        "1": 0.8325232863426208,
+        "2": 0.053221430629491806,
+        "3": 0.11266977339982986
     },
     "sample": {
         "messages": [
@@ -5419,9 +5419,9 @@
         ]
     },
     "predict": {
-        "1": 0.5778590440750122,
-        "2": 0.14610564708709717,
-        "3": 0.272961288690567
+        "1": 0.5666012763977051,
+        "2": 0.16233398020267487,
+        "3": 0.2676434814929962
     },
     "sample": {
         "messages": [
@@ -5463,9 +5463,9 @@
         ]
     },
     "predict": {
-        "1": 0.8067565560340881,
-        "2": 0.0515742190182209,
-        "3": 0.14019325375556946
+        "1": 0.8067834973335266,
+        "2": 0.05157594010233879,
+        "3": 0.14019793272018433
     },
     "sample": {
         "messages": [
@@ -5507,9 +5507,9 @@
         ]
     },
     "predict": {
-        "1": 0.8582806587219238,
-        "2": 0.037710223346948624,
-        "3": 0.10250701010227203
+        "1": 0.8467583656311035,
+        "2": 0.037203967571258545,
+        "3": 0.11459627747535706
     },
     "sample": {
         "messages": [
@@ -5551,9 +5551,9 @@
         ]
     },
     "predict": {
-        "1": 0.08349446207284927,
-        "2": 0.792173445224762,
-        "3": 0.12148373574018478
+        "1": 0.08348345756530762,
+        "2": 0.7920690178871155,
+        "3": 0.121467724442482
     },
     "sample": {
         "messages": [
@@ -5595,9 +5595,9 @@
         ]
     },
     "predict": {
-        "1": 0.02586492709815502,
-        "2": 0.8565287590026855,
-        "3": 0.11591856181621552
+        "1": 0.02321573533117771,
+        "2": 0.871164083480835,
+        "3": 0.10404571145772934
     },
     "sample": {
         "messages": [
@@ -5639,9 +5639,9 @@
         ]
     },
     "predict": {
-        "1": 0.773566722869873,
-        "2": 0.07195290923118591,
-        "3": 0.15232431888580322
+        "1": 0.7801616787910461,
+        "2": 0.06403957307338715,
+        "3": 0.15362292528152466
     },
     "sample": {
         "messages": [
@@ -5683,9 +5683,9 @@
         ]
     },
     "predict": {
-        "1": 0.7270547151565552,
-        "2": 0.08683430403470993,
-        "3": 0.1838282197713852
+        "1": 0.7271292805671692,
+        "2": 0.08684321492910385,
+        "3": 0.1838470846414566
     },
     "sample": {
         "messages": [
@@ -5727,9 +5727,9 @@
         ]
     },
     "predict": {
-        "1": 0.15545180439949036,
-        "2": 0.6148238182067871,
-        "3": 0.2261810600757599
+        "1": 0.15542174875736237,
+        "2": 0.614704966545105,
+        "3": 0.22613734006881714
     },
     "sample": {
         "messages": [
@@ -5771,9 +5771,9 @@
         ]
     },
     "predict": {
-        "1": 0.6439995169639587,
-        "2": 0.14369571208953857,
-        "3": 0.20907601714134216
+        "1": 0.6439579129219055,
+        "2": 0.143686443567276,
+        "3": 0.20906253159046173
     },
     "sample": {
         "messages": [
@@ -5815,9 +5815,9 @@
         ]
     },
     "predict": {
-        "1": 0.4177614152431488,
-        "2": 0.32535290718078613,
-        "3": 0.25338509678840637
+        "1": 0.41774341464042664,
+        "2": 0.3253389000892639,
+        "3": 0.2533741891384125
     },
     "sample": {
         "messages": [
@@ -5859,9 +5859,9 @@
         ]
     },
     "predict": {
-        "1": 0.4645428955554962,
-        "2": 0.1708957999944687,
-        "3": 0.3617863655090332
+        "1": 0.4541747570037842,
+        "2": 0.18932820856571198,
+        "3": 0.35371166467666626
     },
     "sample": {
         "messages": [
@@ -5903,9 +5903,9 @@
         ]
     },
     "predict": {
-        "1": 0.00967639684677124,
-        "2": 0.8710414171218872,
-        "3": 0.117882639169693
+        "1": 0.009676728397607803,
+        "2": 0.8710712790489197,
+        "3": 0.11788667738437653
     },
     "sample": {
         "messages": [
@@ -5947,9 +5947,9 @@
         ]
     },
     "predict": {
-        "1": 0.15078409016132355,
-        "2": 0.5963626503944397,
-        "3": 0.24860092997550964
+        "1": 0.1621558964252472,
+        "2": 0.5659797191619873,
+        "3": 0.26734989881515503
     },
     "sample": {
         "messages": [
@@ -5991,9 +5991,9 @@
         ]
     },
     "predict": {
-        "1": 0.8620348572731018,
-        "2": 0.03342472016811371,
-        "3": 0.10295538604259491
+        "1": 0.8581182360649109,
+        "2": 0.03770308569073677,
+        "3": 0.10248761624097824
     },
     "sample": {
         "messages": [
@@ -6035,9 +6035,9 @@
         ]
     },
     "predict": {
-        "1": 0.1717803180217743,
-        "2": 0.4120795726776123,
-        "3": 0.4120795726776123
+        "1": 0.17182357609272003,
+        "2": 0.41218334436416626,
+        "3": 0.41218334436416626
     },
     "sample": {
         "messages": [
@@ -6079,9 +6079,9 @@
         ]
     },
     "predict": {
-        "1": 0.8113845586776733,
-        "2": 0.04577518627047539,
-        "3": 0.1409974843263626
+        "1": 0.8113662600517273,
+        "2": 0.045774154365062714,
+        "3": 0.14099431037902832
     },
     "sample": {
         "messages": [
@@ -6123,9 +6123,9 @@
         ]
     },
     "predict": {
-        "1": 0.6078016757965088,
-        "2": 0.1356188803911209,
-        "3": 0.25336942076683044
+        "1": 0.6077736020088196,
+        "2": 0.1356126219034195,
+        "3": 0.25335773825645447
     },
     "sample": {
         "messages": [
@@ -6167,9 +6167,9 @@
         ]
     },
     "predict": {
-        "1": 0.08974583446979523,
-        "2": 0.6631370186805725,
-        "3": 0.24395449459552765
+        "1": 0.08974209427833557,
+        "2": 0.6631093621253967,
+        "3": 0.24394433200359344
     },
     "sample": {
         "messages": [
@@ -6211,9 +6211,9 @@
         ]
     },
     "predict": {
-        "1": 0.4005586504936218,
-        "2": 0.35349175333976746,
-        "3": 0.24295109510421753
+        "1": 0.4123796224594116,
+        "2": 0.36392372846603394,
+        "3": 0.22073091566562653
     },
     "sample": {
         "messages": [
@@ -6255,9 +6255,9 @@
         ]
     },
     "predict": {
-        "1": 0.8823282718658447,
-        "2": 0.03421157971024513,
-        "3": 0.08206930756568909
+        "1": 0.8782758712768555,
+        "2": 0.0385887511074543,
+        "3": 0.08169238269329071
     },
     "sample": {
         "messages": [
@@ -6299,9 +6299,9 @@
         ]
     },
     "predict": {
-        "1": 0.08975394815206528,
-        "2": 0.6631969809532166,
-        "3": 0.24397654831409454
+        "1": 0.09243606775999069,
+        "2": 0.6830152869224548,
+        "3": 0.22174260020256042
     },
     "sample": {
         "messages": [
@@ -6343,9 +6343,9 @@
         ]
     },
     "predict": {
-        "1": 0.3584754168987274,
-        "2": 0.3584754168987274,
-        "3": 0.27918094396591187
+        "1": 0.3585642874240875,
+        "2": 0.3585642874240875,
+        "3": 0.2792501449584961
     },
     "sample": {
         "messages": [
@@ -6387,9 +6387,9 @@
         ]
     },
     "predict": {
-        "1": 0.9383901953697205,
-        "2": 0.0194756668061018,
-        "3": 0.041229989379644394
+        "1": 0.9405887722969055,
+        "2": 0.01722748391330242,
+        "3": 0.04132658615708351
     },
     "sample": {
         "messages": [
@@ -6431,9 +6431,9 @@
         ]
     },
     "predict": {
-        "1": 0.7338064908981323,
-        "2": 0.07734262943267822,
-        "3": 0.18553534150123596
+        "1": 0.7261838316917419,
+        "2": 0.08673029392957687,
+        "3": 0.1836080402135849
     },
     "sample": {
         "messages": [
@@ -6475,9 +6475,9 @@
         ]
     },
     "predict": {
-        "1": 0.2881714105606079,
-        "2": 0.2881714105606079,
-        "3": 0.41928690671920776
+        "1": 0.2982572019100189,
+        "2": 0.26321104168891907,
+        "3": 0.4339616596698761
     },
     "sample": {
         "messages": [
@@ -6519,9 +6519,9 @@
         ]
     },
     "predict": {
-        "1": 0.06880690902471542,
-        "2": 0.7397440671920776,
-        "3": 0.18703658878803253
+        "1": 0.06877829879522324,
+        "2": 0.7394363880157471,
+        "3": 0.18695880472660065
     },
     "sample": {
         "messages": [
@@ -6563,9 +6563,9 @@
         ]
     },
     "predict": {
-        "1": 0.7345212697982788,
-        "2": 0.0994066372513771,
-        "3": 0.16389384865760803
+        "1": 0.7581120729446411,
+        "2": 0.09054357558488846,
+        "3": 0.1492811143398285
     },
     "sample": {
         "messages": [
@@ -6607,9 +6607,9 @@
         ]
     },
     "predict": {
-        "1": 0.4926094114780426,
-        "2": 0.2053501456975937,
-        "3": 0.29878270626068115
+        "1": 0.5106446743011475,
+        "2": 0.2128683626651764,
+        "3": 0.27332839369773865
     },
     "sample": {
         "messages": [
@@ -6651,9 +6651,9 @@
         ]
     },
     "predict": {
-        "1": 0.5774504542350769,
-        "2": 0.14600233733654022,
-        "3": 0.2727682888507843
+        "1": 0.5662256479263306,
+        "2": 0.1622263640165329,
+        "3": 0.26746606826782227
     },
     "sample": {
         "messages": [
@@ -6695,9 +6695,9 @@
         ]
     },
     "predict": {
-        "1": 0.63190758228302,
-        "2": 0.15977126359939575,
-        "3": 0.20515035092830658
+        "1": 0.6318883299827576,
+        "2": 0.15976639091968536,
+        "3": 0.20514409244060516
     },
     "sample": {
         "messages": [
@@ -6739,9 +6739,9 @@
         ]
     },
     "predict": {
-        "1": 0.6444748044013977,
-        "2": 0.14380177855491638,
-        "3": 0.20923033356666565
+        "1": 0.6322168111801147,
+        "2": 0.15984944999217987,
+        "3": 0.20525074005126953
     },
     "sample": {
         "messages": [
@@ -6783,9 +6783,9 @@
         ]
     },
     "predict": {
-        "1": 0.8766485452651978,
-        "2": 0.029997263103723526,
-        "3": 0.09239807724952698
+        "1": 0.8766577243804932,
+        "2": 0.029997577890753746,
+        "3": 0.09239903837442398
     },
     "sample": {
         "messages": [
@@ -6827,9 +6827,9 @@
         ]
     },
     "predict": {
-        "1": 0.0672084391117096,
-        "2": 0.722558856010437,
-        "3": 0.20701658725738525
+        "1": 0.06718364357948303,
+        "2": 0.7222923040390015,
+        "3": 0.2069402039051056
     },
     "sample": {
         "messages": [
@@ -6871,9 +6871,9 @@
         ]
     },
     "predict": {
-        "1": 0.7341631650924683,
-        "2": 0.053182605654001236,
-        "3": 0.21034127473831177
+        "1": 0.70906662940979,
+        "2": 0.05820373445749283,
+        "3": 0.23020023107528687
     },
     "sample": {
         "messages": [
@@ -6915,9 +6915,9 @@
         ]
     },
     "predict": {
-        "1": 0.17067740857601166,
-        "2": 0.3613240420818329,
-        "3": 0.4639492630958557
+        "1": 0.16285845637321472,
+        "2": 0.3906770944595337,
+        "3": 0.44269514083862305
     },
     "sample": {
         "messages": [
@@ -6959,9 +6959,9 @@
         ]
     },
     "predict": {
-        "1": 0.8113583326339722,
-        "2": 0.0457737073302269,
-        "3": 0.1409929245710373
+        "1": 0.8113588690757751,
+        "2": 0.045773740857839584,
+        "3": 0.14099302887916565
     },
     "sample": {
         "messages": [
@@ -7003,9 +7003,9 @@
         ]
     },
     "predict": {
-        "1": 0.4344237148761749,
-        "2": 0.2985747754573822,
-        "3": 0.26349130272865295
+        "1": 0.41954904794692993,
+        "2": 0.28835156559944153,
+        "3": 0.28835156559944153
     },
     "sample": {
         "messages": [
@@ -7047,9 +7047,9 @@
         ]
     },
     "predict": {
-        "1": 0.7094575762748718,
-        "2": 0.08473262935876846,
-        "3": 0.20326299965381622
+        "1": 0.7095044851303101,
+        "2": 0.08473823219537735,
+        "3": 0.20327645540237427
     },
     "sample": {
         "messages": [
@@ -7091,9 +7091,9 @@
         ]
     },
     "predict": {
-        "1": 0.019933875650167465,
-        "2": 0.8476099371910095,
-        "3": 0.12998519837856293
+        "1": 0.020243797451257706,
+        "2": 0.8607881665229797,
+        "3": 0.11649501323699951
     },
     "sample": {
         "messages": [
@@ -7135,9 +7135,9 @@
         ]
     },
     "predict": {
-        "1": 0.26760321855545044,
-        "2": 0.5665159821510315,
-        "3": 0.16230955719947815
+        "1": 0.2438797801733017,
+        "2": 0.5850372314453125,
+        "3": 0.16761596500873566
     },
     "sample": {
         "messages": [
@@ -7179,9 +7179,9 @@
         ]
     },
     "predict": {
-        "1": 0.8048217296600342,
-        "2": 0.08482758700847626,
-        "3": 0.10892077535390854
+        "1": 0.7844619750976562,
+        "2": 0.09369062632322311,
+        "3": 0.12030114233493805
     },
     "sample": {
         "messages": [
@@ -7223,9 +7223,9 @@
         ]
     },
     "predict": {
-        "1": 0.2204328030347824,
-        "2": 0.41182267665863037,
-        "3": 0.36343222856521606
+        "1": 0.23033037781715393,
+        "2": 0.43031376600265503,
+        "3": 0.33512869477272034
     },
     "sample": {
         "messages": [
@@ -7267,9 +7267,9 @@
         ]
     },
     "predict": {
-        "1": 0.8337740898132324,
-        "2": 0.03663347661495209,
-        "3": 0.12786340713500977
+        "1": 0.833763837814331,
+        "2": 0.036633025854825974,
+        "3": 0.12786182761192322
     },
     "sample": {
         "messages": [
@@ -7311,9 +7311,9 @@
         ]
     },
     "predict": {
-        "1": 0.868715226650238,
-        "2": 0.026232928037643433,
-        "3": 0.1037532389163971
+        "1": 0.8685703277587891,
+        "2": 0.02622855268418789,
+        "3": 0.10373593866825104
     },
     "sample": {
         "messages": [
@@ -7355,9 +7355,9 @@
         ]
     },
     "predict": {
-        "1": 0.02254844456911087,
-        "2": 0.8461241722106934,
-        "3": 0.1297573447227478
+        "1": 0.0254753939807415,
+        "2": 0.8436291813850403,
+        "3": 0.12937472760677338
     },
     "sample": {
         "messages": [
@@ -7399,9 +7399,9 @@
         ]
     },
     "predict": {
-        "1": 0.556911289691925,
-        "2": 0.14080922305583954,
-        "3": 0.29809314012527466
+        "1": 0.5773711800575256,
+        "2": 0.1459822952747345,
+        "3": 0.27273085713386536
     },
     "sample": {
         "messages": [
@@ -7443,9 +7443,9 @@
         ]
     },
     "predict": {
-        "1": 0.5047593116760254,
-        "2": 0.30615201592445374,
-        "3": 0.18569059669971466
+        "1": 0.5237289071083069,
+        "2": 0.28033187985420227,
+        "3": 0.1926691085100174
     },
     "sample": {
         "messages": [
@@ -7487,9 +7487,9 @@
         ]
     },
     "predict": {
-        "1": 0.7948015928268433,
-        "2": 0.06524129211902618,
-        "3": 0.138115793466568
+        "1": 0.7877879738807678,
+        "2": 0.07327569276094437,
+        "3": 0.136897012591362
     },
     "sample": {
         "messages": [
@@ -7531,9 +7531,9 @@
         ]
     },
     "predict": {
-        "1": 0.06542637199163437,
-        "2": 0.7033998370170593,
-        "3": 0.22836048901081085
+        "1": 0.0581885501742363,
+        "2": 0.708881676197052,
+        "3": 0.23014017939567566
     },
     "sample": {
         "messages": [
@@ -7575,9 +7575,9 @@
         ]
     },
     "predict": {
-        "1": 0.7878097891807556,
-        "2": 0.07327771931886673,
-        "3": 0.13690079748630524
+        "1": 0.7876266837120056,
+        "2": 0.07326069474220276,
+        "3": 0.13686898350715637
     },
     "sample": {
         "messages": [
@@ -7619,9 +7619,9 @@
         ]
     },
     "predict": {
-        "1": 0.47946274280548096,
-        "2": 0.29080885648727417,
-        "3": 0.22648216784000397
+        "1": 0.4484499990940094,
+        "2": 0.30821487307548523,
+        "3": 0.24003799259662628
     },
     "sample": {
         "messages": [
@@ -7663,9 +7663,9 @@
         ]
     },
     "predict": {
-        "1": 0.7881551384925842,
-        "2": 0.07330984622240067,
-        "3": 0.13696081936359406
+        "1": 0.8010770678520203,
+        "2": 0.07451176643371582,
+        "3": 0.12284914404153824
     },
     "sample": {
         "messages": [
@@ -7707,9 +7707,9 @@
         ]
     },
     "predict": {
-        "1": 0.8596335053443909,
-        "2": 0.04849720746278763,
-        "3": 0.09060470014810562
+        "1": 0.8596258163452148,
+        "2": 0.04849677532911301,
+        "3": 0.09060389548540115
     },
     "sample": {
         "messages": [
@@ -7751,9 +7751,9 @@
         ]
     },
     "predict": {
-        "1": 0.8468199968338013,
-        "2": 0.03720667213201523,
-        "3": 0.11460462212562561
+        "1": 0.8425760269165039,
+        "2": 0.04194939136505127,
+        "3": 0.11403026431798935
     },
     "sample": {
         "messages": [
@@ -7795,9 +7795,9 @@
         ]
     },
     "predict": {
-        "1": 0.017922794446349144,
-        "2": 0.8635686039924622,
-        "3": 0.11687130481004715
+        "1": 0.01585214026272297,
+        "2": 0.8654975295066833,
+        "3": 0.11713235080242157
     },
     "sample": {
         "messages": [
@@ -7839,9 +7839,9 @@
         ]
     },
     "predict": {
-        "1": 0.3167779743671417,
-        "2": 0.46090924739837646,
-        "3": 0.21771810948848724
+        "1": 0.3348672389984131,
+        "2": 0.42997807264328003,
+        "3": 0.23015068471431732
     },
     "sample": {
         "messages": [
@@ -7883,9 +7883,9 @@
         ]
     },
     "predict": {
-        "1": 0.15383246541023254,
-        "2": 0.6894292831420898,
-        "3": 0.15383246541023254
+        "1": 0.14731627702713013,
+        "2": 0.6602256894111633,
+        "3": 0.18915784358978271
     },
     "sample": {
         "messages": [
@@ -7927,9 +7927,9 @@
         ]
     },
     "predict": {
-        "1": 0.5043334364891052,
-        "2": 0.18553392589092255,
-        "3": 0.3058936893939972
+        "1": 0.5043156147003174,
+        "2": 0.18552736937999725,
+        "3": 0.30588290095329285
     },
     "sample": {
         "messages": [
@@ -7971,9 +7971,9 @@
         ]
     },
     "predict": {
-        "1": 0.38737770915031433,
-        "2": 0.3418596386909485,
-        "3": 0.26624056696891785
+        "1": 0.3875555098056793,
+        "2": 0.3420165479183197,
+        "3": 0.2663627564907074
     },
     "sample": {
         "messages": [
@@ -8015,9 +8015,9 @@
         ]
     },
     "predict": {
-        "1": 0.39989110827445984,
-        "2": 0.35290268063545227,
-        "3": 0.2425462305545807
+        "1": 0.4300750494003296,
+        "2": 0.3349427878856659,
+        "3": 0.2302026003599167
     },
     "sample": {
         "messages": [
@@ -8059,9 +8059,9 @@
         ]
     },
     "predict": {
-        "1": 0.019605832174420357,
-        "2": 0.8336611986160278,
-        "3": 0.14486858248710632
+        "1": 0.01734335348010063,
+        "2": 0.8356495499610901,
+        "3": 0.14521411061286926
     },
     "sample": {
         "messages": [
@@ -8103,9 +8103,9 @@
         ]
     },
     "predict": {
-        "1": 0.8011219501495361,
-        "2": 0.05803308263421059,
-        "3": 0.13921411335468292
+        "1": 0.7803744673728943,
+        "2": 0.06405703723430634,
+        "3": 0.15366482734680176
     },
     "sample": {
         "messages": [
@@ -8147,9 +8147,9 @@
         ]
     },
     "predict": {
-        "1": 0.9160541892051697,
-        "2": 0.024412017315626144,
-        "3": 0.05856138467788696
+        "1": 0.9059714674949646,
+        "2": 0.02735796757042408,
+        "3": 0.06562835723161697
     },
     "sample": {
         "messages": [
@@ -8191,9 +8191,9 @@
         ]
     },
     "predict": {
-        "1": 0.8006198406219482,
-        "2": 0.03986051306128502,
-        "3": 0.1576513797044754
+        "1": 0.7962934374809265,
+        "2": 0.0449238047003746,
+        "3": 0.15679946541786194
     },
     "sample": {
         "messages": [
@@ -8235,9 +8235,9 @@
         ]
     },
     "predict": {
-        "1": 0.6744699478149414,
-        "2": 0.10343331843614578,
-        "3": 0.21896833181381226
+        "1": 0.6554309129714966,
+        "2": 0.10051359236240387,
+        "3": 0.2411195933818817
     },
     "sample": {
         "messages": [
@@ -8279,9 +8279,9 @@
         ]
     },
     "predict": {
-        "1": 0.08678770810365677,
-        "2": 0.7266646027565002,
-        "3": 0.18372957408428192
+        "1": 0.09487690776586533,
+        "2": 0.7010508179664612,
+        "3": 0.20085443556308746
     },
     "sample": {
         "messages": [
@@ -8323,9 +8323,9 @@
         ]
     },
     "predict": {
-        "1": 0.24895299971103668,
-        "2": 0.46510541439056396,
-        "3": 0.28210070729255676
+        "1": 0.23992086946964264,
+        "2": 0.44823119044303894,
+        "3": 0.3080644905567169
     },
     "sample": {
         "messages": [
@@ -8367,9 +8367,9 @@
         ]
     },
     "predict": {
-        "1": 0.051691267639398575,
-        "2": 0.7135758996009827,
-        "3": 0.23166418075561523
+        "1": 0.053159940987825394,
+        "2": 0.733850359916687,
+        "3": 0.21025164425373077
     },
     "sample": {
         "messages": [
@@ -8411,9 +8411,9 @@
         ]
     },
     "predict": {
-        "1": 0.9097939729690552,
-        "2": 0.031131437048316002,
-        "3": 0.0581611804664135
+        "1": 0.9160581231117249,
+        "2": 0.03134578466415405,
+        "3": 0.051680464297533035
     },
     "sample": {
         "messages": [
@@ -8455,9 +8455,9 @@
         ]
     },
     "predict": {
-        "1": 0.5103166103363037,
-        "2": 0.27315279841423035,
-        "3": 0.21273159980773926
+        "1": 0.5236020684242249,
+        "2": 0.2802639901638031,
+        "3": 0.19262245297431946
     },
     "sample": {
         "messages": [
@@ -8499,9 +8499,9 @@
         ]
     },
     "predict": {
-        "1": 0.03380787372589111,
-        "2": 0.7694636583328247,
-        "3": 0.19455087184906006
+        "1": 0.03716864064335823,
+        "2": 0.7465521693229675,
+        "3": 0.21389077603816986
     },
     "sample": {
         "messages": [
@@ -8543,9 +8543,9 @@
         ]
     },
     "predict": {
-        "1": 0.6478619575500488,
-        "2": 0.16380515694618225,
-        "3": 0.18561556935310364
+        "1": 0.6189278960227966,
+        "2": 0.17732581496238708,
+        "3": 0.2009364515542984
     },
     "sample": {
         "messages": [
@@ -8587,9 +8587,9 @@
         ]
     },
     "predict": {
-        "1": 0.014009476639330387,
-        "2": 0.8667356371879578,
-        "3": 0.11729990690946579
+        "1": 0.01420792005956173,
+        "2": 0.8790128827095032,
+        "3": 0.1049831211566925
     },
     "sample": {
         "messages": [
@@ -8631,9 +8631,9 @@
         ]
     },
     "predict": {
-        "1": 0.3742581903934479,
-        "2": 0.29147255420684814,
-        "3": 0.33028167486190796
+        "1": 0.3742891848087311,
+        "2": 0.2914966940879822,
+        "3": 0.33030903339385986
     },
     "sample": {
         "messages": [
@@ -8675,9 +8675,9 @@
         ]
     },
     "predict": {
-        "1": 0.31738194823265076,
-        "2": 0.35964086651802063,
-        "3": 0.31738194823265076
+        "1": 0.31739330291748047,
+        "2": 0.3596537113189697,
+        "3": 0.31739330291748047
     },
     "sample": {
         "messages": [
@@ -8719,9 +8719,9 @@
         ]
     },
     "predict": {
-        "1": 0.8064965009689331,
-        "2": 0.051557593047618866,
-        "3": 0.14014805853366852
+        "1": 0.806569516658783,
+        "2": 0.05156226456165314,
+        "3": 0.14016075432300568
     },
     "sample": {
         "messages": [
@@ -8763,9 +8763,9 @@
         ]
     },
     "predict": {
-        "1": 0.8901171088218689,
-        "2": 0.04431632161140442,
-        "3": 0.06447987258434296
+        "1": 0.8969528675079346,
+        "2": 0.044656652957201004,
+        "3": 0.05734027549624443
     },
     "sample": {
         "messages": [
@@ -8807,9 +8807,9 @@
         ]
     },
     "predict": {
-        "1": 0.022882921621203423,
-        "2": 0.8586753606796265,
-        "3": 0.11620906740427017
+        "1": 0.022883716970682144,
+        "2": 0.8587051033973694,
+        "3": 0.11621309816837311
     },
     "sample": {
         "messages": [
@@ -8851,9 +8851,9 @@
         ]
     },
     "predict": {
-        "1": 0.21254180371761322,
-        "2": 0.5098612904548645,
-        "3": 0.27290910482406616
+        "1": 0.17986634373664856,
+        "2": 0.5540273785591125,
+        "3": 0.2617039978504181
     },
     "sample": {
         "messages": [
@@ -8895,9 +8895,9 @@
         ]
     },
     "predict": {
-        "1": 0.45372718572616577,
-        "2": 0.3533630967140198,
-        "3": 0.1891416311264038
+        "1": 0.5045461654663086,
+        "2": 0.3060227334499359,
+        "3": 0.18561218678951263
     },
     "sample": {
         "messages": [
@@ -8939,9 +8939,9 @@
         ]
     },
     "predict": {
-        "1": 0.5894825458526611,
-        "2": 0.1913769543170929,
-        "3": 0.21685852110385895
+        "1": 0.6030824780464172,
+        "2": 0.17278602719306946,
+        "3": 0.22186166048049927
     },
     "sample": {
         "messages": [
@@ -8983,9 +8983,9 @@
         ]
     },
     "predict": {
-        "1": 0.6831610798835754,
-        "2": 0.09245579689741135,
-        "3": 0.22178992629051208
+        "1": 0.7095170021057129,
+        "2": 0.08473972231149673,
+        "3": 0.2032800316810608
     },
     "sample": {
         "messages": [
@@ -9027,9 +9027,9 @@
         ]
     },
     "predict": {
-        "1": 0.6077020764350891,
-        "2": 0.13559667766094208,
-        "3": 0.2533279061317444
+        "1": 0.6368787884712219,
+        "2": 0.1254088580608368,
+        "3": 0.23429463803768158
     },
     "sample": {
         "messages": [
@@ -9071,9 +9071,9 @@
         ]
     },
     "predict": {
-        "1": 0.9265101552009583,
-        "2": 0.013215957209467888,
-        "3": 0.059229809790849686
+        "1": 0.9248629808425903,
+        "2": 0.014949017204344273,
+        "3": 0.05912451073527336
     },
     "sample": {
         "messages": [
@@ -9115,9 +9115,9 @@
         ]
     },
     "predict": {
-        "1": 0.7579960823059082,
-        "2": 0.07050462067127228,
-        "3": 0.169131800532341
+        "1": 0.7580258846282959,
+        "2": 0.07050739228725433,
+        "3": 0.16913844645023346
     },
     "sample": {
         "messages": [
@@ -9159,9 +9159,9 @@
         ]
     },
     "predict": {
-        "1": 0.05011283978819847,
-        "2": 0.6917864084243774,
-        "3": 0.2544940114021301
+        "1": 0.04449724778532982,
+        "2": 0.6960541009902954,
+        "3": 0.2560640275478363
     },
     "sample": {
         "messages": [
@@ -9203,9 +9203,9 @@
         ]
     },
     "predict": {
-        "1": 0.8825998902320862,
-        "2": 0.04394206032156944,
-        "3": 0.07244820892810822
+        "1": 0.8690177798271179,
+        "2": 0.04902663081884384,
+        "3": 0.08083124458789825
     },
     "sample": {
         "messages": [
@@ -9247,9 +9247,9 @@
         ]
     },
     "predict": {
-        "1": 0.5279358625411987,
-        "2": 0.2493792623281479,
-        "3": 0.22007641196250916
+        "1": 0.5419471859931946,
+        "2": 0.25599774718284607,
+        "3": 0.19937126338481903
     },
     "sample": {
         "messages": [
@@ -9291,9 +9291,9 @@
         ]
     },
     "predict": {
-        "1": 0.849153995513916,
-        "2": 0.04790599271655083,
-        "3": 0.10141698271036148
+        "1": 0.849168062210083,
+        "2": 0.0479067862033844,
+        "3": 0.10141866654157639
     },
     "sample": {
         "messages": [
@@ -9335,9 +9335,9 @@
         ]
     },
     "predict": {
-        "1": 0.44811365008354187,
-        "2": 0.2398579716682434,
-        "3": 0.30798372626304626
+        "1": 0.47921910881996155,
+        "2": 0.22636708617210388,
+        "3": 0.290661096572876
     },
     "sample": {
         "messages": [
@@ -9379,9 +9379,9 @@
         ]
     },
     "predict": {
-        "1": 0.8012988567352295,
-        "2": 0.0745324045419693,
-        "3": 0.12288316339254379
+        "1": 0.8131471872329712,
+        "2": 0.07563447207212448,
+        "3": 0.11004750430583954
     },
     "sample": {
         "messages": [
@@ -9423,9 +9423,9 @@
         ]
     },
     "predict": {
-        "1": 0.7097062468528748,
-        "2": 0.0847623273730278,
-        "3": 0.2033342570066452
+        "1": 0.7097907066345215,
+        "2": 0.08477240800857544,
+        "3": 0.20335844159126282
     },
     "sample": {
         "messages": [
@@ -9467,9 +9467,9 @@
         ]
     },
     "predict": {
-        "1": 0.6367868185043335,
-        "2": 0.12539075314998627,
-        "3": 0.23426079750061035
+        "1": 0.6074371337890625,
+        "2": 0.1355375498533249,
+        "3": 0.2532174587249756
     },
     "sample": {
         "messages": [
@@ -9511,9 +9511,9 @@
         ]
     },
     "predict": {
-        "1": 0.41213545203208923,
-        "2": 0.17180360853672028,
-        "3": 0.41213545203208923
+        "1": 0.4425624907016754,
+        "2": 0.16280965507030487,
+        "3": 0.39056000113487244
     },
     "sample": {
         "messages": [
@@ -9555,9 +9555,9 @@
         ]
     },
     "predict": {
-        "1": 0.1997574418783188,
-        "2": 0.373196005821228,
-        "3": 0.4228864908218384
+        "1": 0.1805533915758133,
+        "2": 0.38223153352737427,
+        "3": 0.4331250786781311
     },
     "sample": {
         "messages": [
@@ -9599,9 +9599,9 @@
         ]
     },
     "predict": {
-        "1": 0.7428650259971619,
-        "2": 0.0887225791811943,
-        "3": 0.16575559973716736
+        "1": 0.7658704519271851,
+        "2": 0.0807221457362175,
+        "3": 0.15080882608890533
     },
     "sample": {
         "messages": [
@@ -9643,9 +9643,9 @@
         ]
     },
     "predict": {
-        "1": 0.07735630124807358,
-        "2": 0.7339361906051636,
-        "3": 0.18556812405586243
+        "1": 0.07735708355903625,
+        "2": 0.7339435815811157,
+        "3": 0.18557000160217285
     },
     "sample": {
         "messages": [

llmtf_eval/darumeru_RCB_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {

llmtf_eval/darumeru_RWSD.jsonl

@@ -3,8 +3,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6926801800727844,
-        "Нет": 0.2887520492076874
+        "Да": 0.6931565403938293,
+        "Нет": 0.2889506220817566
     },
     "sample": {
         "messages": [
@@ -42,8 +42,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.5544130802154541,
-        "Нет": 0.43177732825279236
+        "Да": 0.5546375513076782,
+        "Нет": 0.43195217847824097
     },
     "sample": {
         "messages": [
@@ -81,8 +81,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6973422765731812,
-        "Нет": 0.29069551825523376
+        "Да": 0.670639157295227,
+        "Нет": 0.3167875111103058
     },
     "sample": {
         "messages": [
@@ -120,8 +120,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7822515964508057,
-        "Нет": 0.1977841705083847
+        "Да": 0.7805388569831848,
+        "Нет": 0.1973511278629303
     },
     "sample": {
         "messages": [
@@ -159,8 +159,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6421244144439697,
-        "Нет": 0.3437044322490692
+        "Да": 0.6423279047012329,
+        "Нет": 0.34381338953971863
     },
     "sample": {
         "messages": [
@@ -198,8 +198,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.5835286974906921,
-        "Нет": 0.4010530412197113
+        "Да": 0.5539207458496094,
+        "Нет": 0.43139392137527466
     },
     "sample": {
         "messages": [
@@ -237,8 +237,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.40236029028892517,
-        "Нет": 0.5854307413101196
+        "Да": 0.4026748239994049,
+        "Нет": 0.5858883857727051
     },
     "sample": {
         "messages": [
@@ -276,8 +276,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.2206290066242218,
-        "Нет": 0.6795852184295654
+        "Да": 0.22058948874473572,
+        "Нет": 0.6794635057449341
     },
     "sample": {
         "messages": [
@@ -315,8 +315,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.5834407806396484,
-        "Нет": 0.40099263191223145
+        "Да": 0.6121372580528259,
+        "Нет": 0.3712800145149231
     },
     "sample": {
         "messages": [
@@ -354,8 +354,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.28885719180107117,
-        "Нет": 0.6929324269294739
+        "Да": 0.31495949625968933,
+        "Нет": 0.6667692065238953
     },
     "sample": {
         "messages": [
@@ -393,8 +393,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.764833927154541,
-        "Нет": 0.2191285938024521
+        "Да": 0.7651178240776062,
+        "Нет": 0.2192099392414093
     },
     "sample": {
         "messages": [
@@ -432,8 +432,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.5851025581359863,
-        "Нет": 0.4021347165107727
+        "Да": 0.6141436696052551,
+        "Нет": 0.37249696254730225
     },
     "sample": {
         "messages": [
@@ -471,8 +471,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.10557691752910614,
-        "Нет": 0.8839846849441528
+        "Да": 0.09435360878705978,
+        "Нет": 0.8952021598815918
     },
     "sample": {
         "messages": [
@@ -510,8 +510,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7794300317764282,
-        "Нет": 0.19707077741622925
+        "Да": 0.7792282104492188,
+        "Нет": 0.19701974093914032
     },
     "sample": {
         "messages": [
@@ -549,8 +549,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7235757112503052,
-        "Нет": 0.2661886513233185
+        "Да": 0.7233365774154663,
+        "Нет": 0.26610067486763
     },
     "sample": {
         "messages": [
@@ -588,8 +588,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6420478224754333,
-        "Нет": 0.34366345405578613
+        "Да": 0.6701651215553284,
+        "Нет": 0.31656357645988464
     },
     "sample": {
         "messages": [
@@ -627,8 +627,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.29123377799987793,
-        "Нет": 0.6986335515975952
+        "Да": 0.2912326455116272,
+        "Нет": 0.6986308693885803
     },
     "sample": {
         "messages": [
@@ -666,8 +666,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.38881534337997437,
-        "Нет": 0.49924880266189575
+        "Да": 0.41812863945961,
+        "Нет": 0.4738018214702606
     },
     "sample": {
         "messages": [
@@ -705,8 +705,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5523574948310852,
-        "Нет": 0.4301764667034149
+        "Да": 0.5822886824607849,
+        "Нет": 0.4002007842063904
     },
     "sample": {
         "messages": [
@@ -744,8 +744,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.4880475401878357,
-        "Нет": 0.4880475401878357
+        "Да": 0.48828139901161194,
+        "Нет": 0.48828139901161194
     },
     "sample": {
         "messages": [
@@ -783,8 +783,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5229848623275757,
-        "Нет": 0.46153250336647034
+        "Да": 0.5231338739395142,
+        "Нет": 0.46166402101516724
     },
     "sample": {
         "messages": [
@@ -822,8 +822,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.49188610911369324,
-        "Нет": 0.49188610911369324
+        "Да": 0.49199965596199036,
+        "Нет": 0.49199965596199036
     },
     "sample": {
         "messages": [
@@ -861,8 +861,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.26571497321128845,
-        "Нет": 0.7222881317138672
+        "Да": 0.26569777727127075,
+        "Нет": 0.7222413420677185
     },
     "sample": {
         "messages": [
@@ -900,8 +900,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.781316876411438,
-        "Нет": 0.19754785299301147
+        "Да": 0.7808753848075867,
+        "Нет": 0.19743622839450836
     },
     "sample": {
         "messages": [
@@ -939,8 +939,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.5235857963562012,
-        "Нет": 0.4620628356933594
+        "Да": 0.5236634016036987,
+        "Нет": 0.4621313214302063
     },
     "sample": {
         "messages": [
@@ -978,8 +978,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6130968332290649,
-        "Нет": 0.3718620240688324
+        "Да": 0.5841787457466125,
+        "Нет": 0.40149977803230286
     },
     "sample": {
         "messages": [
@@ -1017,8 +1017,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.3169763684272766,
-        "Нет": 0.6710389256477356
+        "Да": 0.29082322120666504,
+        "Нет": 0.6976486444473267
     },
     "sample": {
         "messages": [
@@ -1056,8 +1056,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.17796801030635834,
-        "Нет": 0.7038771510124207
+        "Да": 0.17805325984954834,
+        "Нет": 0.704214334487915
     },
     "sample": {
         "messages": [
@@ -1095,8 +1095,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.491946280002594,
-        "Нет": 0.491946280002594
+        "Да": 0.4925777018070221,
+        "Нет": 0.4925777018070221
     },
     "sample": {
         "messages": [
@@ -1134,8 +1134,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7387412786483765,
-        "Нет": 0.23983417451381683
+        "Да": 0.7388044595718384,
+        "Нет": 0.23985467851161957
     },
     "sample": {
         "messages": [
@@ -1173,8 +1173,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.45851361751556396,
-        "Нет": 0.5195639729499817
+        "Да": 0.42892128229141235,
+        "Нет": 0.5507458448410034
     },
     "sample": {
         "messages": [
@@ -1209,11 +1209,11 @@
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.4615950286388397,
-        "Нет": 0.5230557322502136
+        "Да": 0.49257636070251465,
+        "Нет": 0.49257636070251465
     },
     "sample": {
         "messages": [
@@ -1243,7 +1243,7 @@
         "prompt_len": 668,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Нет"
+        "generated_token": " Да"
     }
 }
 {
@@ -1251,8 +1251,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.1625242531299591,
-        "Нет": 0.8253663182258606
+        "Да": 0.1626487672328949,
+        "Нет": 0.8259986639022827
     },
     "sample": {
         "messages": [
@@ -1290,8 +1290,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8800405263900757,
-        "Нет": 0.09275558590888977
+        "Да": 0.8920938968658447,
+        "Нет": 0.08297766000032425
     },
     "sample": {
         "messages": [
@@ -1329,8 +1329,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7221776843070984,
-        "Нет": 0.265674352645874
+        "Да": 0.7462981939315796,
+        "Нет": 0.2422875463962555
     },
     "sample": {
         "messages": [
@@ -1368,8 +1368,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.5533209443092346,
-        "Нет": 0.4309267997741699
+        "Да": 0.583083987236023,
+        "Нет": 0.4007473587989807
     },
     "sample": {
         "messages": [
@@ -1407,8 +1407,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.49442043900489807,
-        "Нет": 0.49442043900489807
+        "Да": 0.49438372254371643,
+        "Нет": 0.49438372254371643
     },
     "sample": {
         "messages": [
@@ -1446,8 +1446,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.2358672022819519,
-        "Нет": 0.6411534547805786
+        "Да": 0.2575794458389282,
+        "Нет": 0.6179010272026062
     },
     "sample": {
         "messages": [
@@ -1485,8 +1485,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.2407236248254776,
-        "Нет": 0.7414810061454773
+        "Да": 0.2406490594148636,
+        "Нет": 0.7412512898445129
     },
     "sample": {
         "messages": [
@@ -1524,8 +1524,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8658342957496643,
-        "Нет": 0.11717793345451355
+        "Да": 0.8646984100341797,
+        "Нет": 0.11702420562505722
     },
     "sample": {
         "messages": [
@@ -1563,8 +1563,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8246879577636719,
-        "Нет": 0.16239067912101746
+        "Да": 0.8069764375686646,
+        "Нет": 0.18006078898906708
     },
     "sample": {
         "messages": [
@@ -1599,11 +1599,11 @@
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.4612208306789398,
-        "Нет": 0.5226317048072815
+        "Да": 0.492353230714798,
+        "Нет": 0.492353230714798
     },
     "sample": {
         "messages": [
@@ -1633,7 +1633,7 @@
         "prompt_len": 666,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Нет"
+        "generated_token": " Да"
     }
 }
 {
@@ -1641,8 +1641,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.46248722076416016,
-        "Нет": 0.524066686630249
+        "Да": 0.40193790197372437,
+        "Нет": 0.5848161578178406
     },
     "sample": {
         "messages": [
@@ -1680,8 +1680,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8317615389823914,
-        "Нет": 0.14453847706317902
+        "Да": 0.8152925968170166,
+        "Нет": 0.1605406105518341
     },
     "sample": {
         "messages": [
@@ -1719,8 +1719,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6143117547035217,
-        "Нет": 0.37259894609451294
+        "Да": 0.6144669055938721,
+        "Нет": 0.3726930022239685
     },
     "sample": {
         "messages": [
@@ -1758,8 +1758,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.5541827082633972,
-        "Нет": 0.4315979480743408
+        "Да": 0.5234420895576477,
+        "Нет": 0.46193602681159973
     },
     "sample": {
         "messages": [
@@ -1797,8 +1797,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.46357297897338867,
-        "Нет": 0.5252969861030579
+        "Да": 0.46335476636886597,
+        "Нет": 0.5250497460365295
     },
     "sample": {
         "messages": [
@@ -1836,8 +1836,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.28971368074417114,
-        "Нет": 0.6133238673210144
+        "Да": 0.3144429326057434,
+        "Нет": 0.5874567031860352
     },
     "sample": {
         "messages": [
@@ -1875,8 +1875,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.3160110116004944,
-        "Нет": 0.6689952611923218
+        "Да": 0.31605809926986694,
+        "Нет": 0.669094979763031
     },
     "sample": {
         "messages": [
@@ -1914,8 +1914,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.4283067584037781,
-        "Нет": 0.549956738948822
+        "Да": 0.4283931255340576,
+        "Нет": 0.550067663192749
     },
     "sample": {
         "messages": [
@@ -1953,8 +1953,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5508496165275574,
-        "Нет": 0.4290021061897278
+        "Да": 0.520176112651825,
+        "Нет": 0.45905381441116333
     },
     "sample": {
         "messages": [
@@ -1992,8 +1992,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.46191075444221497,
-        "Нет": 0.5234134793281555
+        "Да": 0.46205759048461914,
+        "Нет": 0.5235798358917236
     },
     "sample": {
         "messages": [
@@ -2031,8 +2031,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.1998249888420105,
-        "Нет": 0.7903231978416443
+        "Да": 0.22031734883785248,
+        "Нет": 0.7689830660820007
     },
     "sample": {
         "messages": [
@@ -2070,8 +2070,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7106724381446838,
-        "Нет": 0.26144179701805115
+        "Да": 0.7086710929870605,
+        "Нет": 0.2607055604457855
     },
     "sample": {
         "messages": [
@@ -2109,8 +2109,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.4933696389198303,
-        "Нет": 0.4933696389198303
+        "Да": 0.4932428002357483,
+        "Нет": 0.4932428002357483
     },
     "sample": {
         "messages": [
@@ -2148,8 +2148,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6417457461357117,
-        "Нет": 0.3435017764568329
+        "Да": 0.6132784485816956,
+        "Нет": 0.3719722032546997
     },
     "sample": {
         "messages": [
@@ -2187,8 +2187,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5241934657096863,
-        "Нет": 0.46259909868240356
+        "Да": 0.5550562143325806,
+        "Нет": 0.43227821588516235
     },
     "sample": {
         "messages": [
@@ -2226,8 +2226,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.23917655646800995,
-        "Нет": 0.6501492261886597
+        "Да": 0.23877166211605072,
+        "Нет": 0.6490486264228821
     },
     "sample": {
         "messages": [
@@ -2265,8 +2265,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.5536597371101379,
-        "Нет": 0.4311906099319458
+        "Да": 0.5535107254981995,
+        "Нет": 0.4310745894908905
     },
     "sample": {
         "messages": [
@@ -2304,8 +2304,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.33932065963745117,
-        "Нет": 0.6339343786239624
+        "Да": 0.3393429219722748,
+        "Нет": 0.6339759826660156
     },
     "sample": {
         "messages": [
@@ -2343,8 +2343,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6689988374710083,
-        "Нет": 0.3160126805305481
+        "Да": 0.6950147151947021,
+        "Нет": 0.28972524404525757
     },
     "sample": {
         "messages": [
@@ -2379,11 +2379,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.492715060710907,
-        "Нет": 0.492715060710907
+        "Да": 0.46219775080680847,
+        "Нет": 0.52373868227005
     },
     "sample": {
         "messages": [
@@ -2413,7 +2413,7 @@
         "prompt_len": 684,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -2421,8 +2421,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.06696303933858871,
-        "Нет": 0.9243962168693542
+        "Да": 0.07518812268972397,
+        "Нет": 0.9159789085388184
     },
     "sample": {
         "messages": [
@@ -2460,8 +2460,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.779922366142273,
-        "Нет": 0.19719526171684265
+        "Да": 0.7578123807907104,
+        "Нет": 0.21711689233779907
     },
     "sample": {
         "messages": [
@@ -2499,8 +2499,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6701622009277344,
-        "Нет": 0.3165622353553772
+        "Да": 0.6707466244697571,
+        "Нет": 0.31683826446533203
     },
     "sample": {
         "messages": [
@@ -2538,8 +2538,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6686896681785583,
-        "Нет": 0.3158666491508484
+        "Да": 0.6956288814544678,
+        "Нет": 0.28998124599456787
     },
     "sample": {
         "messages": [
@@ -2577,8 +2577,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5558188557624817,
-        "Нет": 0.43287214636802673
+        "Да": 0.5551855564117432,
+        "Нет": 0.4323789179325104
     },
     "sample": {
         "messages": [
@@ -2616,8 +2616,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.26634564995765686,
-        "Нет": 0.6389300227165222
+        "Да": 0.2658907473087311,
+        "Нет": 0.6378387808799744
     },
     "sample": {
         "messages": [
@@ -2652,11 +2652,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.49150049686431885,
-        "Нет": 0.49150049686431885
+        "Да": 0.4606359302997589,
+        "Нет": 0.5219689011573792
     },
     "sample": {
         "messages": [
@@ -2686,7 +2686,7 @@
         "prompt_len": 690,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -2694,8 +2694,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6923184394836426,
-        "Нет": 0.28860124945640564
+        "Да": 0.6927133798599243,
+        "Нет": 0.28876587748527527
     },
     "sample": {
         "messages": [
@@ -2733,8 +2733,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.42523670196533203,
-        "Нет": 0.5460147261619568
+        "Да": 0.4250600337982178,
+        "Нет": 0.5457878708839417
     },
     "sample": {
         "messages": [
@@ -2772,8 +2772,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5826095342636108,
-        "Нет": 0.40042129158973694
+        "Да": 0.6121931076049805,
+        "Нет": 0.3713138997554779
     },
     "sample": {
         "messages": [
@@ -2811,8 +2811,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.40140676498413086,
-        "Нет": 0.5840433835983276
+        "Да": 0.4014483392238617,
+        "Нет": 0.5841038823127747
     },
     "sample": {
         "messages": [
@@ -2850,8 +2850,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.44977501034736633,
-        "Нет": 0.509661853313446
+        "Да": 0.4492937922477722,
+        "Нет": 0.5091165900230408
     },
     "sample": {
         "messages": [
@@ -2889,8 +2889,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6719168424606323,
-        "Нет": 0.3173910677433014
+        "Да": 0.6719843149185181,
+        "Нет": 0.31742292642593384
     },
     "sample": {
         "messages": [
@@ -2925,11 +2925,11 @@
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.49237069487571716,
-        "Нет": 0.49237069487571716
+        "Да": 0.46176525950431824,
+        "Нет": 0.5232486128807068
     },
     "sample": {
         "messages": [
@@ -2959,7 +2959,7 @@
         "prompt_len": 719,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -2967,8 +2967,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5258636474609375,
-        "Нет": 0.4640730023384094
+        "Да": 0.5260124206542969,
+        "Нет": 0.4642043113708496
     },
     "sample": {
         "messages": [
@@ -3006,8 +3006,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.437716543674469,
-        "Нет": 0.437716543674469
+        "Да": 0.43652069568634033,
+        "Нет": 0.43652069568634033
     },
     "sample": {
         "messages": [
@@ -3045,8 +3045,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7885679602622986,
-        "Нет": 0.19938120245933533
+        "Да": 0.788398027420044,
+        "Нет": 0.19933824241161346
     },
     "sample": {
         "messages": [
@@ -3084,8 +3084,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7176731824874878,
-        "Нет": 0.264017254114151
+        "Да": 0.7174259424209595,
+        "Нет": 0.26392626762390137
     },
     "sample": {
         "messages": [
@@ -3123,8 +3123,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6404755115509033,
-        "Нет": 0.3428218364715576
+        "Да": 0.6399733424186707,
+        "Нет": 0.342553049325943
     },
     "sample": {
         "messages": [
@@ -3162,8 +3162,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.5843482613563538,
-        "Нет": 0.40161630511283875
+        "Да": 0.585147500038147,
+        "Нет": 0.40216562151908875
     },
     "sample": {
         "messages": [
@@ -3201,8 +3201,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5544453263282776,
-        "Нет": 0.4318024516105652
+        "Да": 0.5240857601165771,
+        "Нет": 0.4625040292739868
     },
     "sample": {
         "messages": [
@@ -3240,8 +3240,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8765323162078857,
-        "Нет": 0.10468685626983643
+        "Да": 0.8875589370727539,
+        "Нет": 0.09354802221059799
     },
     "sample": {
         "messages": [
@@ -3279,8 +3279,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7907261848449707,
-        "Нет": 0.19992689788341522
+        "Да": 0.7901445031166077,
+        "Нет": 0.19977982342243195
     },
     "sample": {
         "messages": [
@@ -3318,8 +3318,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5233721137046814,
-        "Нет": 0.46187424659729004
+        "Да": 0.4925643801689148,
+        "Нет": 0.4925643801689148
     },
     "sample": {
         "messages": [
@@ -3357,8 +3357,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.49379006028175354,
-        "Нет": 0.49379006028175354
+        "Да": 0.49377718567848206,
+        "Нет": 0.49377718567848206
     },
     "sample": {
         "messages": [
@@ -3396,8 +3396,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.2619532644748688,
-        "Нет": 0.6283931732177734
+        "Да": 0.28417253494262695,
+        "Нет": 0.6015932559967041
     },
     "sample": {
         "messages": [
@@ -3435,8 +3435,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.2891770899295807,
-        "Нет": 0.6936997771263123
+        "Да": 0.3154802918434143,
+        "Нет": 0.6678717136383057
     },
     "sample": {
         "messages": [
@@ -3474,8 +3474,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5195263028144836,
-        "Нет": 0.4584803283214569
+        "Да": 0.48855432868003845,
+        "Нет": 0.48855432868003845
     },
     "sample": {
         "messages": [
@@ -3513,8 +3513,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6109440326690674,
-        "Нет": 0.3705562949180603
+        "Да": 0.5818796157836914,
+        "Нет": 0.39991962909698486
     },
     "sample": {
         "messages": [
@@ -3552,8 +3552,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.4014938175678253,
-        "Нет": 0.5841700434684753
+        "Да": 0.37202391028404236,
+        "Нет": 0.6133637428283691
     },
     "sample": {
         "messages": [
@@ -3591,8 +3591,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.09450072795152664,
-        "Нет": 0.8965979218482971
+        "Да": 0.09455961734056473,
+        "Нет": 0.8971567153930664
     },
     "sample": {
         "messages": [
@@ -3630,8 +3630,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7991412281990051,
-        "Нет": 0.1783125251531601
+        "Да": 0.7985246181488037,
+        "Нет": 0.1781749278306961
     },
     "sample": {
         "messages": [
@@ -3669,8 +3669,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7466447353363037,
-        "Нет": 0.24240005016326904
+        "Да": 0.6975465416908264,
+        "Нет": 0.290780633687973
     },
     "sample": {
         "messages": [
@@ -3708,8 +3708,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.43044161796569824,
-        "Нет": 0.552698016166687
+        "Да": 0.46128398180007935,
+        "Нет": 0.522703230381012
     },
     "sample": {
         "messages": [
@@ -3747,8 +3747,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5558555126190186,
-        "Нет": 0.43290069699287415
+        "Да": 0.5565155148506165,
+        "Нет": 0.4334146976470947
     },
     "sample": {
         "messages": [
@@ -3786,8 +3786,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.2885671555995941,
-        "Нет": 0.610896646976471
+        "Да": 0.2886607348918915,
+        "Нет": 0.6110947132110596
     },
     "sample": {
         "messages": [
@@ -3825,8 +3825,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7677913308143616,
-        "Нет": 0.21997590363025665
+        "Да": 0.7684154510498047,
+        "Нет": 0.22015471756458282
     },
     "sample": {
         "messages": [
@@ -3864,8 +3864,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8033509254455566,
-        "Нет": 0.17925181984901428
+        "Да": 0.803062379360199,
+        "Нет": 0.17918744683265686
     },
     "sample": {
         "messages": [
@@ -3903,8 +3903,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.37129250168800354,
-        "Нет": 0.6121578216552734
+        "Да": 0.37131109833717346,
+        "Нет": 0.6121885180473328
     },
     "sample": {
         "messages": [
@@ -3942,8 +3942,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.523347795009613,
-        "Нет": 0.4618527889251709
+        "Да": 0.5234641432762146,
+        "Нет": 0.4619554877281189
     },
     "sample": {
         "messages": [
@@ -3981,8 +3981,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.013998919166624546,
-        "Нет": 0.9814000129699707
+        "Да": 0.013999765738844872,
+        "Нет": 0.981459379196167
     },
     "sample": {
         "messages": [
@@ -4020,8 +4020,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8240520358085632,
-        "Нет": 0.14319875836372375
+        "Да": 0.8248550891876221,
+        "Нет": 0.14333830773830414
     },
     "sample": {
         "messages": [
@@ -4059,8 +4059,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6711956858634949,
-        "Нет": 0.31705042719841003
+        "Да": 0.6702807545661926,
+        "Нет": 0.3166182339191437
     },
     "sample": {
         "messages": [
@@ -4098,8 +4098,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.29002419114112854,
-        "Нет": 0.6957319378852844
+        "Да": 0.31596001982688904,
+        "Нет": 0.6688873767852783
     },
     "sample": {
         "messages": [
@@ -4137,8 +4137,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.26616400480270386,
-        "Нет": 0.7235087156295776
+        "Да": 0.2425745278596878,
+        "Нет": 0.7471821308135986
     },
     "sample": {
         "messages": [
@@ -4176,8 +4176,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.3597742021083832,
-        "Нет": 0.5234683752059937
+        "Да": 0.35941746830940247,
+        "Нет": 0.5229493379592896
     },
     "sample": {
         "messages": [
@@ -4212,11 +4212,11 @@
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.49190589785575867,
-        "Нет": 0.49190589785575867
+        "Да": 0.4614785313606262,
+        "Нет": 0.5229237079620361
     },
     "sample": {
         "messages": [
@@ -4246,7 +4246,7 @@
         "prompt_len": 673,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -4254,8 +4254,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6088536381721497,
-        "Нет": 0.3692884147167206
+        "Да": 0.6089797019958496,
+        "Нет": 0.3693648874759674
     },
     "sample": {
         "messages": [
@@ -4293,8 +4293,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8249878287315369,
-        "Нет": 0.16244971752166748
+        "Да": 0.8237341642379761,
+        "Нет": 0.1622028648853302
     },
     "sample": {
         "messages": [
@@ -4332,8 +4332,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.5539775490760803,
-        "Нет": 0.4314381182193756
+        "Да": 0.5843221545219421,
+        "Нет": 0.40159833431243896
     },
     "sample": {
         "messages": [
@@ -4371,8 +4371,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7673801779747009,
-        "Нет": 0.2198581099510193
+        "Да": 0.7665031552314758,
+        "Нет": 0.21960683166980743
     },
     "sample": {
         "messages": [
@@ -4410,8 +4410,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8180049657821655,
-        "Нет": 0.1610747128725052
+        "Да": 0.8183743357658386,
+        "Нет": 0.16114746034145355
     },
     "sample": {
         "messages": [
@@ -4449,8 +4449,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6978153586387634,
-        "Нет": 0.29089272022247314
+        "Да": 0.6978532671928406,
+        "Нет": 0.2909085154533386
     },
     "sample": {
         "messages": [
@@ -4488,8 +4488,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6128239631652832,
-        "Нет": 0.3716965317726135
+        "Да": 0.6131889820098877,
+        "Нет": 0.3719179332256317
     },
     "sample": {
         "messages": [
@@ -4527,8 +4527,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8100642561912537,
-        "Нет": 0.180749773979187
+        "Да": 0.7908538579940796,
+        "Нет": 0.1999591588973999
     },
     "sample": {
         "messages": [
@@ -4566,8 +4566,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.3558710217475891,
-        "Нет": 0.5177892446517944
+        "Да": 0.36180779337882996,
+        "Нет": 0.5264272093772888
     },
     "sample": {
         "messages": [
@@ -4605,8 +4605,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.5841107964515686,
-        "Нет": 0.4014531075954437
+        "Да": 0.5545440912246704,
+        "Нет": 0.43187934160232544
     },
     "sample": {
         "messages": [
@@ -4644,8 +4644,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7430107593536377,
-        "Нет": 0.24122028052806854
+        "Да": 0.7420274615287781,
+        "Нет": 0.24090105295181274
     },
     "sample": {
         "messages": [
@@ -4683,8 +4683,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6944860816001892,
-        "Нет": 0.28950488567352295
+        "Да": 0.6947354674339294,
+        "Нет": 0.28960883617401123
     },
     "sample": {
         "messages": [
@@ -4722,8 +4722,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.46211275458335876,
-        "Нет": 0.523642361164093
+        "Да": 0.4622338116168976,
+        "Нет": 0.5237795114517212
     },
     "sample": {
         "messages": [
@@ -4761,8 +4761,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.05303363502025604,
-        "Нет": 0.9400436282157898
+        "Да": 0.047134142369031906,
+        "Нет": 0.9467145800590515
     },
     "sample": {
         "messages": [
@@ -4800,8 +4800,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.864094614982605,
-        "Нет": 0.11694248765707016
+        "Да": 0.8636629581451416,
+        "Нет": 0.11688406765460968
     },
     "sample": {
         "messages": [
@@ -4839,8 +4839,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.4612443745136261,
-        "Нет": 0.5226583480834961
+        "Да": 0.43099188804626465,
+        "Нет": 0.5534045696258545
     },
     "sample": {
         "messages": [
@@ -4878,8 +4878,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6127222776412964,
-        "Нет": 0.371634840965271
+        "Да": 0.6128507852554321,
+        "Нет": 0.3717127740383148
     },
     "sample": {
         "messages": [
@@ -4917,8 +4917,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.49402257800102234,
-        "Нет": 0.49402257800102234
+        "Да": 0.4940558671951294,
+        "Нет": 0.4940558671951294
     },
     "sample": {
         "messages": [
@@ -4956,8 +4956,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.3975520730018616,
-        "Нет": 0.5104669332504272
+        "Да": 0.37153446674346924,
+        "Нет": 0.5405794382095337
     },
     "sample": {
         "messages": [
@@ -4995,8 +4995,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.4600566625595093,
-        "Нет": 0.5213125348091125
+        "Да": 0.4599296450614929,
+        "Нет": 0.52116858959198
     },
     "sample": {
         "messages": [
@@ -5034,8 +5034,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7184049487113953,
-        "Нет": 0.26428645849227905
+        "Да": 0.6933552026748657,
+        "Нет": 0.289033442735672
     },
     "sample": {
         "messages": [
@@ -5073,8 +5073,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6401184797286987,
-        "Нет": 0.3426307439804077
+        "Да": 0.6398708820343018,
+        "Нет": 0.34249821305274963
     },
     "sample": {
         "messages": [
@@ -5112,8 +5112,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.4926525056362152,
-        "Нет": 0.4926525056362152
+        "Да": 0.5230686664581299,
+        "Нет": 0.461606502532959
     },
     "sample": {
         "messages": [
@@ -5151,8 +5151,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.34380266070365906,
-        "Нет": 0.6423078775405884
+        "Да": 0.3724195957183838,
+        "Нет": 0.6140161156654358
     },
     "sample": {
         "messages": [
@@ -5190,8 +5190,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8463959097862244,
-        "Нет": 0.129799023270607
+        "Да": 0.8738958835601807,
+        "Нет": 0.10437197983264923
     },
     "sample": {
         "messages": [
@@ -5229,8 +5229,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.5849287509918213,
-        "Нет": 0.4020152688026428
+        "Да": 0.5850871205329895,
+        "Нет": 0.4021241068840027
     },
     "sample": {
         "messages": [
@@ -5268,8 +5268,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6415061950683594,
-        "Нет": 0.34337353706359863
+        "Да": 0.6417922973632812,
+        "Нет": 0.343526691198349
     },
     "sample": {
         "messages": [
@@ -5307,8 +5307,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5851899981498718,
-        "Нет": 0.4021948277950287
+        "Да": 0.5852136015892029,
+        "Нет": 0.4022110402584076
     },
     "sample": {
         "messages": [
@@ -5346,8 +5346,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.21927990019321442,
-        "Нет": 0.67542964220047
+        "Да": 0.2190900593996048,
+        "Нет": 0.6748448610305786
     },
     "sample": {
         "messages": [
@@ -5385,8 +5385,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.49234509468078613,
-        "Нет": 0.49234509468078613
+        "Да": 0.4918847680091858,
+        "Нет": 0.4918847680091858
     },
     "sample": {
         "messages": [
@@ -5424,8 +5424,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.5215144753456116,
-        "Нет": 0.4602348804473877
+        "Да": 0.5820928812026978,
+        "Нет": 0.40006619691848755
     },
     "sample": {
         "messages": [
@@ -5463,8 +5463,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.4013155698776245,
-        "Нет": 0.5839107036590576
+        "Да": 0.4008783996105194,
+        "Нет": 0.5832746028900146
     },
     "sample": {
         "messages": [
@@ -5502,8 +5502,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.4913138449192047,
-        "Нет": 0.4913138449192047
+        "Да": 0.4910891354084015,
+        "Нет": 0.4910891354084015
     },
     "sample": {
         "messages": [
@@ -5541,8 +5541,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5240031480789185,
-        "Нет": 0.4624311327934265
+        "Да": 0.5243632197380066,
+        "Нет": 0.4627489447593689
     },
     "sample": {
         "messages": [
@@ -5580,8 +5580,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.364260196685791,
-        "Нет": 0.6005635261535645
+        "Да": 0.36332666873931885,
+        "Нет": 0.5990243554115295
     },
     "sample": {
         "messages": [
@@ -5619,8 +5619,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6432580947875977,
-        "Нет": 0.34431126713752747
+        "Да": 0.6438199877738953,
+        "Нет": 0.3446120023727417
     },
     "sample": {
         "messages": [
@@ -5658,8 +5658,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6423596739768982,
-        "Нет": 0.3438303470611572
+        "Да": 0.642411470413208,
+        "Нет": 0.34385812282562256
     },
     "sample": {
         "messages": [
@@ -5697,8 +5697,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7241130471229553,
-        "Нет": 0.26638633012771606
+        "Да": 0.6994638442993164,
+        "Нет": 0.2915799021720886
     },
     "sample": {
         "messages": [
@@ -5736,8 +5736,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.23873396217823029,
-        "Нет": 0.6489461064338684
+        "Да": 0.23922313749790192,
+        "Нет": 0.6502758860588074
     },
     "sample": {
         "messages": [
@@ -5775,8 +5775,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.4301638901233673,
-        "Нет": 0.5523413419723511
+        "Да": 0.4312923550605774,
+        "Нет": 0.5537903308868408
     },
     "sample": {
         "messages": [
@@ -5814,8 +5814,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7169056534767151,
-        "Нет": 0.2637348771095276
+        "Да": 0.7168023586273193,
+        "Нет": 0.2636968791484833
     },
     "sample": {
         "messages": [
@@ -5853,8 +5853,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.4902314841747284,
-        "Нет": 0.4902314841747284
+        "Да": 0.5212332606315613,
+        "Нет": 0.45998671650886536
     },
     "sample": {
         "messages": [
@@ -5892,8 +5892,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.4317186176776886,
-        "Нет": 0.5543376803398132
+        "Да": 0.4316590130329132,
+        "Нет": 0.5542611479759216
     },
     "sample": {
         "messages": [
@@ -5931,8 +5931,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5240710973739624,
-        "Нет": 0.46249112486839294
+        "Да": 0.5241479873657227,
+        "Нет": 0.4625589847564697
     },
     "sample": {
         "messages": [
@@ -5970,8 +5970,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8512623906135559,
-        "Нет": 0.13054531812667847
+        "Да": 0.8508080244064331,
+        "Нет": 0.13047564029693604
     },
     "sample": {
         "messages": [
@@ -6009,8 +6009,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7226579189300537,
-        "Нет": 0.2658510208129883
+        "Да": 0.7221461534500122,
+        "Нет": 0.2656627595424652
     },
     "sample": {
         "messages": [
@@ -6048,8 +6048,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.554463267326355,
-        "Нет": 0.431816428899765
+        "Да": 0.5844131112098694,
+        "Нет": 0.40166088938713074
     },
     "sample": {
         "messages": [
@@ -6084,11 +6084,11 @@
 }
 {
     "metric": {
-        "acc": true
+        "acc": false
     },
     "predict": {
-        "Да": 0.494536429643631,
-        "Нет": 0.494536429643631
+        "Да": 0.4635354280471802,
+        "Нет": 0.525254487991333
     },
     "sample": {
         "messages": [
@@ -6118,7 +6118,7 @@
         "prompt_len": 690,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -6126,8 +6126,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.2003340721130371,
-        "Нет": 0.6992346048355103
+        "Да": 0.20048123598098755,
+        "Нет": 0.6997482776641846
     },
     "sample": {
         "messages": [
@@ -6165,8 +6165,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6132715344429016,
-        "Нет": 0.37196797132492065
+        "Да": 0.6123430728912354,
+        "Нет": 0.37140485644340515
     },
     "sample": {
         "messages": [
@@ -6204,8 +6204,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7822718620300293,
-        "Нет": 0.19778931140899658
+        "Да": 0.7824200391769409,
+        "Нет": 0.19782677292823792
     },
     "sample": {
         "messages": [
@@ -6243,8 +6243,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6119104027748108,
-        "Нет": 0.3711424171924591
+        "Да": 0.5829778909683228,
+        "Нет": 0.4006744921207428
     },
     "sample": {
         "messages": [
@@ -6282,8 +6282,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.49348247051239014,
-        "Нет": 0.49348247051239014
+        "Да": 0.4929003417491913,
+        "Нет": 0.4929003417491913
     },
     "sample": {
         "messages": [
@@ -6321,8 +6321,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.22009111940860748,
-        "Нет": 0.7681934833526611
+        "Да": 0.2203892469406128,
+        "Нет": 0.7692340612411499
     },
     "sample": {
         "messages": [
@@ -6360,8 +6360,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8478198647499084,
-        "Нет": 0.13001739978790283
+        "Да": 0.8330658078193665,
+        "Нет": 0.14476512372493744
     },
     "sample": {
         "messages": [
@@ -6399,8 +6399,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.7694795727729797,
-        "Нет": 0.22045959532260895
+        "Да": 0.7694013118743896,
+        "Нет": 0.2204371839761734
     },
     "sample": {
         "messages": [
@@ -6438,8 +6438,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6686297655105591,
-        "Нет": 0.3158383369445801
+        "Да": 0.6411659717559814,
+        "Нет": 0.3431914448738098
     },
     "sample": {
         "messages": [
@@ -6477,8 +6477,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.37297382950782776,
-        "Нет": 0.6149299144744873
+        "Да": 0.3443036675453186,
+        "Нет": 0.6432439088821411
     },
     "sample": {
         "messages": [
@@ -6516,8 +6516,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.28860342502593994,
-        "Нет": 0.6109734177589417
+        "Да": 0.24291467666625977,
+        "Нет": 0.6603104472160339
     },
     "sample": {
         "messages": [
@@ -6555,8 +6555,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6967763304710388,
-        "Нет": 0.2904595732688904
+        "Да": 0.7220408320426941,
+        "Нет": 0.2656239867210388
     },
     "sample": {
         "messages": [
@@ -6594,8 +6594,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8822916150093079,
-        "Нет": 0.10537470877170563
+        "Да": 0.8703637719154358,
+        "Нет": 0.11779092997312546
     },
     "sample": {
         "messages": [
@@ -6633,8 +6633,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6105015873908997,
-        "Нет": 0.3702879250049591
+        "Да": 0.5814162492752075,
+        "Нет": 0.39960116147994995
     },
     "sample": {
         "messages": [
@@ -6672,8 +6672,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6141923666000366,
-        "Нет": 0.37252649664878845
+        "Да": 0.6424132585525513,
+        "Нет": 0.3438590466976166
     },
     "sample": {
         "messages": [
@@ -6711,8 +6711,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.2656049430370331,
-        "Нет": 0.7219890356063843
+        "Да": 0.2200690060853958,
+        "Нет": 0.768116295337677
     },
     "sample": {
         "messages": [
@@ -6750,8 +6750,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8568497896194458,
-        "Нет": 0.11596200615167618
+        "Да": 0.840767502784729,
+        "Нет": 0.12893587350845337
     },
     "sample": {
         "messages": [
@@ -6789,8 +6789,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6711277365684509,
-        "Нет": 0.3170183002948761
+        "Да": 0.6702996492385864,
+        "Нет": 0.3166271448135376
     },
     "sample": {
         "messages": [
@@ -6828,8 +6828,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.43162035942077637,
-        "Нет": 0.5542114973068237
+        "Да": 0.4313686192035675,
+        "Нет": 0.5538882613182068
     },
     "sample": {
         "messages": [
@@ -6867,8 +6867,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.43243542313575745,
-        "Нет": 0.5552580952644348
+        "Да": 0.43239566683769226,
+        "Нет": 0.5552070140838623
     },
     "sample": {
         "messages": [
@@ -6906,8 +6906,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.3657815158367157,
-        "Нет": 0.5322089195251465
+        "Да": 0.36797669529914856,
+        "Нет": 0.5354028940200806
     },
     "sample": {
         "messages": [
@@ -6945,8 +6945,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5216559767723083,
-        "Нет": 0.4603597819805145
+        "Да": 0.5216211676597595,
+        "Нет": 0.4603290557861328
     },
     "sample": {
         "messages": [
@@ -6984,8 +6984,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.8395853042602539,
-        "Нет": 0.1458980292081833
+        "Да": 0.8230335116386414,
+        "Нет": 0.16206489503383636
     },
     "sample": {
         "messages": [
@@ -7023,8 +7023,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.26442137360572815,
-        "Нет": 0.718771755695343
+        "Да": 0.24128161370754242,
+        "Нет": 0.7431997060775757
     },
     "sample": {
         "messages": [
@@ -7062,8 +7062,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.4625164270401001,
-        "Нет": 0.5240997672080994
+        "Да": 0.4625324606895447,
+        "Нет": 0.5241179466247559
     },
     "sample": {
         "messages": [
@@ -7101,8 +7101,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.4618178904056549,
-        "Нет": 0.5233082175254822
+        "Да": 0.46173298358917236,
+        "Нет": 0.5232120156288147
     },
     "sample": {
         "messages": [
@@ -7140,8 +7140,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.4526352286338806,
-        "Нет": 0.5129029154777527
+        "Да": 0.39334025979042053,
+        "Нет": 0.5723066926002502
     },
     "sample": {
         "messages": [
@@ -7176,11 +7176,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.49266424775123596,
-        "Нет": 0.49266424775123596
+        "Да": 0.4620659351348877,
+        "Нет": 0.5235893130302429
     },
     "sample": {
         "messages": [
@@ -7210,7 +7210,7 @@
         "prompt_len": 712,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Да"
+        "generated_token": " Нет"
     }
 }
 {
@@ -7218,8 +7218,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6407561302185059,
-        "Нет": 0.3429720401763916
+        "Да": 0.6406044960021973,
+        "Нет": 0.3428908884525299
     },
     "sample": {
         "messages": [
@@ -7254,11 +7254,11 @@
 }
 {
     "metric": {
-        "acc": false
+        "acc": true
     },
     "predict": {
-        "Да": 0.46347153186798096,
-        "Нет": 0.5251820683479309
+        "Да": 0.494014710187912,
+        "Нет": 0.494014710187912
     },
     "sample": {
         "messages": [
@@ -7288,7 +7288,7 @@
         "prompt_len": 682,
         "generated_len": 1,
         "generated_cumulative_logprob": "TODO: calculate for hf model",
-        "generated_token": " Нет"
+        "generated_token": " Да"
     }
 }
 {
@@ -7296,8 +7296,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.2932263910770416,
-        "Нет": 0.6207602024078369
+        "Да": 0.2681949734687805,
+        "Нет": 0.6433663368225098
     },
     "sample": {
         "messages": [
@@ -7335,8 +7335,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8580117225646973,
-        "Нет": 0.13158036768436432
+        "Да": 0.8427477478981018,
+        "Нет": 0.1464475840330124
     },
     "sample": {
         "messages": [
@@ -7374,8 +7374,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.823190450668335,
-        "Нет": 0.1620958000421524
+        "Да": 0.823584794998169,
+        "Нет": 0.16217344999313354
     },
     "sample": {
         "messages": [
@@ -7413,8 +7413,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7856781482696533,
-        "Нет": 0.1986505538225174
+        "Да": 0.7653178572654724,
+        "Нет": 0.21926724910736084
     },
     "sample": {
         "messages": [
@@ -7452,8 +7452,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.31594499945640564,
-        "Нет": 0.6688555479049683
+        "Да": 0.3430299758911133,
+        "Нет": 0.640864372253418
     },
     "sample": {
         "messages": [
@@ -7491,8 +7491,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.40158024430274963,
-        "Нет": 0.5842958092689514
+        "Да": 0.40166041254997253,
+        "Нет": 0.5844123959541321
     },
     "sample": {
         "messages": [
@@ -7530,8 +7530,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.8453035354614258,
-        "Нет": 0.12963150441646576
+        "Да": 0.8453168869018555,
+        "Нет": 0.12963354587554932
     },
     "sample": {
         "messages": [
@@ -7569,8 +7569,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6971914172172546,
-        "Нет": 0.2906326353549957
+        "Да": 0.6972273588180542,
+        "Нет": 0.29064759612083435
     },
     "sample": {
         "messages": [
@@ -7608,8 +7608,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.6127297878265381,
-        "Нет": 0.3716394007205963
+        "Да": 0.6136369705200195,
+        "Нет": 0.3721896708011627
     },
     "sample": {
         "messages": [
@@ -7647,8 +7647,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.49416786432266235,
-        "Нет": 0.49416786432266235
+        "Да": 0.49407121539115906,
+        "Нет": 0.49407121539115906
     },
     "sample": {
         "messages": [
@@ -7686,8 +7686,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.20001408457756042,
-        "Нет": 0.698117733001709
+        "Да": 0.220268115401268,
+        "Нет": 0.6784735918045044
     },
     "sample": {
         "messages": [
@@ -7725,8 +7725,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.46106240153312683,
-        "Нет": 0.522452175617218
+        "Да": 0.4601231515407562,
+        "Нет": 0.5213878750801086
     },
     "sample": {
         "messages": [
@@ -7764,8 +7764,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.5512086153030396,
-        "Нет": 0.42928171157836914
+        "Да": 0.5511983036994934,
+        "Нет": 0.42927369475364685
     },
     "sample": {
         "messages": [
@@ -7803,8 +7803,8 @@
         "acc": true
     },
     "predict": {
-        "Да": 0.9050681591033936,
-        "Нет": 0.08418445289134979
+        "Да": 0.9151147603988647,
+        "Нет": 0.07511719316244125
     },
     "sample": {
         "messages": [
@@ -7842,8 +7842,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.6959565877914429,
-        "Нет": 0.29011785984039307
+        "Да": 0.6961373686790466,
+        "Нет": 0.29019322991371155
     },
     "sample": {
         "messages": [
@@ -7881,8 +7881,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.4021839499473572,
-        "Нет": 0.5851741433143616
+        "Да": 0.4318847358226776,
+        "Нет": 0.5545510053634644
     },
     "sample": {
         "messages": [
@@ -7920,8 +7920,8 @@
         "acc": false
     },
     "predict": {
-        "Да": 0.7606326341629028,
-        "Нет": 0.21792490780353546
+        "Да": 0.7824336290359497,
+        "Нет": 0.1978302001953125
     },
     "sample": {
         "messages": [

llmtf_eval/darumeru_RWSD_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {

llmtf_eval/darumeru_RWSD_total.jsonl

@@ -1,7 +1,7 @@
 {
     "task_name": "darumeru/RWSD",
     "results": {
-        "acc": 0.5735294117647058
+        "acc": 0.5686274509803921
     },
-    "leaderboard_result": 0.5735294117647058
+    "leaderboard_result": 0.5686274509803921
 }

llmtf_eval/darumeru_USE.jsonl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:2e61141b621d145989835c640d40bf2a83c5758c674e5c78d8eac492a207309f
-size 10604953
+oid sha256:57f379fdea8c222cd2671f9eb90b5a57bfc5941523d359e171bdec3cbf7f171e
+size 10605561

llmtf_eval/darumeru_USE_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {

llmtf_eval/darumeru_USE_total.jsonl

@@ -1,7 +1,7 @@
 {
     "task_name": "darumeru/USE",
     "results": {
-        "grade_norm": 0.06176470588235293
+        "grade_norm": 0.054901960784313725
     },
-    "leaderboard_result": 0.06176470588235293
+    "leaderboard_result": 0.054901960784313725
 }

llmtf_eval/darumeru_cp_para_en.jsonl

@@ -211,8 +211,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.454545454545454,
-        "len": 0.9886363636363636,
+        "symbol_per_token": 4.415730337078652,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -303,9 +303,10 @@
             16763,
             288,
             323,
-            42393
+            42393,
+            13
         ],
-        "text": " The male had large, thick horns, curving outwards and backwards, then outwards and downwards, then inwards and upwards. The surface of the horn was ridged, and the ridges developing progressively with age. The ridges were said to each represent a year, so the total would correspond to the ibex's age. The female had short, cylindrical horns. Ibex fed on vegetation such as grasses and herbs"
+        "text": " The male had large, thick horns, curving outwards and backwards, then outwards and downwards, then inwards and upwards. The surface of the horn was ridged, and the ridges developing progressively with age. The ridges were said to each represent a year, so the total would correspond to the ibex's age. The female had short, cylindrical horns. Ibex fed on vegetation such as grasses and herbs."
     },
     "sample": {
         "messages": [
@@ -1177,8 +1178,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.18974358974359,
-        "len": 1.0,
+        "symbol_per_token": 4.206185567010309,
+        "len": 0.9948453608247423,
         "lcs": 1.0
     },
     "predict": {
@@ -1375,10 +1376,9 @@
             433,
             574,
             4856,
-            90873,
-            13
+            90873
         ],
-        "text": " As part of the digital TV transition, on June 12, 2009, WAZE turned off its full-power analog signal on channel 19. The station's digital signal on channel 20 operated under special temporary authority (STA) at only 1,110 watts (equivalent to a low-power analog station). The signal was so weak that it was barely viewable more than 15 miles (24 km) from the transmitter near Hanson. As a result, it did not even reach Evansville itself, and was barely watchable in the market's second-largest city, Owensboro. By 2010, Evansville Courier & Press media columnist and Owensboro resident Jacob Newkirk reported that the station's digital signal had deteriorated to the point of unacceptability; the video often froze, skipped and shook. The picture from the translators was only marginally better; it was rather snowy."
+        "text": " As part of the digital TV transition, on June 12, 2009, WAZE turned off its full-power analog signal on channel 19. The station's digital signal on channel 20 operated under special temporary authority (STA) at only 1,110 watts (equivalent to a low-power analog station). The signal was so weak that it was barely viewable more than 15 miles (24 km) from the transmitter near Hanson. As a result, it did not even reach Evansville itself, and was barely watchable in the market's second-largest city, Owensboro. By 2010, Evansville Courier & Press media columnist and Owensboro resident Jacob Newkirk reported that the station's digital signal had deteriorated to the point of unacceptability; the video often froze, skipped and shook. The picture from the translators was only marginally better; it was rather snowy"
     },
     "sample": {
         "messages": [
@@ -2228,8 +2228,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.553072625698324,
-        "len": 1.0,
+        "symbol_per_token": 4.533333333333333,
+        "len": 0.994413407821229,
         "lcs": 1.0
     },
     "predict": {
@@ -2411,9 +2411,10 @@
             6299,
             31322,
             279,
-            61634
+            61634,
+            13
         ],
-        "text": " On 21 November 1920, four months before the Silesian Plebiscite, Bertram issued an order that made political activity of local priests dependent on the agreement of the local provost, and supported by threat of severe church sanctions if broken. Since 75%-80% of provosts were of German ethnicity while local priests were regularly Polish Jesuits priests immigrated from Little Poland, this was seen as giving support to the German side in the plebiscite, and the Polish public reacted with anger. Wincenty Witos told Bertram that if not for his order three-quarters of Upper Silesian population would vote for Poland. In the end almost 60% of the Upper Silesians voted for Germany. The Polish government protested Bertram's decision to the Vatican and the Polish Foreign Ministry began actions opposing the decree"
+        "text": " On 21 November 1920, four months before the Silesian Plebiscite, Bertram issued an order that made political activity of local priests dependent on the agreement of the local provost, and supported by threat of severe church sanctions if broken. Since 75%-80% of provosts were of German ethnicity while local priests were regularly Polish Jesuits priests immigrated from Little Poland, this was seen as giving support to the German side in the plebiscite, and the Polish public reacted with anger. Wincenty Witos told Bertram that if not for his order three-quarters of Upper Silesian population would vote for Poland. In the end almost 60% of the Upper Silesians voted for Germany. The Polish government protested Bertram's decision to the Vatican and the Polish Foreign Ministry began actions opposing the decree."
     },
     "sample": {
         "messages": [
@@ -2441,8 +2442,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.037383177570093,
-        "len": 1.0,
+        "symbol_per_token": 4.066037735849057,
+        "len": 0.9905660377358491,
         "lcs": 1.0
     },
     "predict": {
@@ -2551,10 +2552,9 @@
             574,
             813,
             1193,
-            49748,
-            13
+            49748
         ],
-        "text": " Klem died on September 16, 1951, at age 77, at Doctors Hospital in Coral Gables, Florida. He died of a heart attack after suffering from heart problems for two to three years. He had been hospitalized for over a month when he died. About a week before his death, Klem seemed to know that his death was coming, commenting to his attorney, \"This is my last game and I'm going to strike out this time.\" His wife was his only survivor."
+        "text": " Klem died on September 16, 1951, at age 77, at Doctors Hospital in Coral Gables, Florida. He died of a heart attack after suffering from heart problems for two to three years. He had been hospitalized for over a month when he died. About a week before his death, Klem seemed to know that his death was coming, commenting to his attorney, \"This is my last game and I'm going to strike out this time.\" His wife was his only survivor"
     },
     "sample": {
         "messages": [
@@ -2792,8 +2792,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.064814814814815,
-        "len": 1.0,
+        "symbol_per_token": 4.093457943925234,
+        "len": 0.9906542056074766,
         "lcs": 1.0
     },
     "predict": {
@@ -2903,10 +2903,9 @@
             20085,
             5578,
             824,
-            23991,
-            13
+            23991
         ],
-        "text": " He accepted a football scholarship from the University of Tulsa. He started four games at quarterback as a sophomore. The next year was converted into a wide receiver, registering 22 receptions for 429 yards and 3 touchdowns. As a senior, he led a run-oriented offense with 33 receptions for 690 yards and 5 touchdowns. He finished his college career with 55 receptions for 1,119 yards, 8 touchdowns and a 20.3 yard average per reception."
+        "text": " He accepted a football scholarship from the University of Tulsa. He started four games at quarterback as a sophomore. The next year was converted into a wide receiver, registering 22 receptions for 429 yards and 3 touchdowns. As a senior, he led a run-oriented offense with 33 receptions for 690 yards and 5 touchdowns. He finished his college career with 55 receptions for 1,119 yards, 8 touchdowns and a 20.3 yard average per reception"
     },
     "sample": {
         "messages": [
@@ -3392,8 +3391,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.12751677852349,
-        "len": 0.9932885906040269,
+        "symbol_per_token": 4.1066666666666665,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -3545,9 +3544,10 @@
             4661,
             682,
             5426,
-            7576
+            7576,
+            13
         ],
-        "text": " Track and field was practically right from the beginning part of SC Germania. Hermann Friese, who was German Champion over 1500 metres in 1902 and joined Germania in 1903 was in 1907 Brazil's sole representative at an international tournament in Montevideo, Uruguay where he won two competitions and finished second in a third one. In 1924 Germania was co-founder of the state athletics association Federacao Paulista de Atletismo. By the end of the 1930s the club had a 70 strong group of athletes and dominated track and field in Brazil. Apart from many South-American records it held almost all national records"
+        "text": " Track and field was practically right from the beginning part of SC Germania. Hermann Friese, who was German Champion over 1500 metres in 1902 and joined Germania in 1903 was in 1907 Brazil's sole representative at an international tournament in Montevideo, Uruguay where he won two competitions and finished second in a third one. In 1924 Germania was co-founder of the state athletics association Federacao Paulista de Atletismo. By the end of the 1930s the club had a 70 strong group of athletes and dominated track and field in Brazil. Apart from many South-American records it held almost all national records."
     },
     "sample": {
         "messages": [
@@ -4312,8 +4312,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 5.84472049689441,
-        "len": 0.9937888198757764,
+        "symbol_per_token": 5.814814814814815,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -4477,9 +4477,10 @@
             11,
             323,
             16287,
-            12496
+            12496,
+            13
         ],
-        "text": " Computer programming is the process of designing and building an executable computer program for accomplishing a specific computing task. Programming involves tasks such as: analysis, generating algorithms, profiling algorithms' accuracy and resource consumption, and the implementation of algorithms in a chosen programming language (commonly referred to as coding). The source code of a program is written in one or more languages that are intelligible to programmers, rather than machine code, which is directly executed by the central processing unit. The purpose of programming is to find a sequence of instructions that will automate the performance of a task (which can be as complex as an operating system) on a computer, often for solving a given problem. The process of programming thus often requires expertise in several different subjects, including knowledge of the application domain, specialized algorithms, and formal logic"
+        "text": " Computer programming is the process of designing and building an executable computer program for accomplishing a specific computing task. Programming involves tasks such as: analysis, generating algorithms, profiling algorithms' accuracy and resource consumption, and the implementation of algorithms in a chosen programming language (commonly referred to as coding). The source code of a program is written in one or more languages that are intelligible to programmers, rather than machine code, which is directly executed by the central processing unit. The purpose of programming is to find a sequence of instructions that will automate the performance of a task (which can be as complex as an operating system) on a computer, often for solving a given problem. The process of programming thus often requires expertise in several different subjects, including knowledge of the application domain, specialized algorithms, and formal logic."
     },
     "sample": {
         "messages": [
@@ -6660,8 +6661,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.617647058823529,
-        "len": 0.9926470588235294,
+        "symbol_per_token": 4.591240875912408,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -6800,9 +6801,10 @@
             7693,
             3770,
             279,
-            30048
+            30048,
+            13
         ],
-        "text": " In 1898, Ewing took his wife and children to Switzerland for a mountaineering holiday with the family of noted Professor of Electrical Engineering at King's College, John Hopkinson. All five of the Hopkinson brothers were members of the Alpine Club and soon initiated Ewing into the sport of rock climbing. On 27 August, John Hopkinson set out with his son Jack and two of his three daughters to climb. Ewing decided not to go with them as he was feeling a little stiff after his climb the previous day. The party never returned, and was found the next morning, all four bodies roped together five hundred feet below the summit"
+        "text": " In 1898, Ewing took his wife and children to Switzerland for a mountaineering holiday with the family of noted Professor of Electrical Engineering at King's College, John Hopkinson. All five of the Hopkinson brothers were members of the Alpine Club and soon initiated Ewing into the sport of rock climbing. On 27 August, John Hopkinson set out with his son Jack and two of his three daughters to climb. Ewing decided not to go with them as he was feeling a little stiff after his climb the previous day. The party never returned, and was found the next morning, all four bodies roped together five hundred feet below the summit."
     },
     "sample": {
         "messages": [
@@ -7353,8 +7355,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.681818181818182,
-        "len": 0.9943181818181818,
+        "symbol_per_token": 4.661016949152542,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -7533,9 +7535,10 @@
             449,
             279,
             11463,
-            10455
+            10455,
+            13
         ],
-        "text": " After Barbarossa left Thrace, Isaac II was able to make new attempts to recover the lands lost to Theodor-Peter and Asen. In July 1190, he invaded the brothers' realms across the Rish Pass and dispatched a fleet to the Lower Danube to prevent the Cumans from crossing the river. However, the brothers had already strengthened their fortification and avoided direct confrontations with the invaders. The emperor decided to return to his capital after he was informed that Cuman troops crossed the Lower Danube in September. The Vlachs and the Bulgarians ambushed the imperial army at a narrow pass and inflicted a major defeat on it. Isaac II escaped, but much of the army perished and the victors seized \"the more valuable of the emperor's insignia\", including his pyramidal crown and relics associated with the Virgin Mary"
+        "text": " After Barbarossa left Thrace, Isaac II was able to make new attempts to recover the lands lost to Theodor-Peter and Asen. In July 1190, he invaded the brothers' realms across the Rish Pass and dispatched a fleet to the Lower Danube to prevent the Cumans from crossing the river. However, the brothers had already strengthened their fortification and avoided direct confrontations with the invaders. The emperor decided to return to his capital after he was informed that Cuman troops crossed the Lower Danube in September. The Vlachs and the Bulgarians ambushed the imperial army at a narrow pass and inflicted a major defeat on it. Isaac II escaped, but much of the army perished and the victors seized \"the more valuable of the emperor's insignia\", including his pyramidal crown and relics associated with the Virgin Mary."
     },
     "sample": {
         "messages": [
@@ -7932,8 +7935,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.883177570093458,
-        "len": 0.9953051643192489,
+        "symbol_per_token": 3.896713615023474,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -8149,10 +8152,9 @@
             17,
             15,
             16,
-            22,
-            13
+            22
         ],
-        "text": " During the 2003 invasion of Iraq, 2/7 was stop-moved in Okinawa until the Summer of 2003.  The battalion deployed in February 2004 in support of Operation Iraqi Freedom (OIF).  They were among the first Marines redeployed to the country after the initial invasion, and lost eight Marines during that deployment. The battalion deployed in support of OIF for the second time from July 2005 to January 2006.  They operated in the Al-Anbar Province and suffered 13 Marines killed in action. The battalion was  again deployed to Al-Anbar from January to August 2007. During this third Iraq deployment, 2/7 suffered 8 Marines killed in action. Marines from the battalion took part in Operation Vigilant Resolve< and Operation Alljah. 2/7 returned to Iraq in support of Operation Inherent Resolve in April 2016 and again in October 2017."
+        "text": " During the 2003 invasion of Iraq, 2/7 was stop-moved in Okinawa until the Summer of 2003.  The battalion deployed in February 2004 in support of Operation Iraqi Freedom (OIF).  They were among the first Marines redeployed to the country after the initial invasion, and lost eight Marines during that deployment. The battalion deployed in support of OIF for the second time from July 2005 to January 2006.  They operated in the Al-Anbar Province and suffered 13 Marines killed in action. The battalion was  again deployed to Al-Anbar from January to August 2007. During this third Iraq deployment, 2/7 suffered 8 Marines killed in action. Marines from the battalion took part in Operation Vigilant Resolve< and Operation Alljah. 2/7 returned to Iraq in support of Operation Inherent Resolve in April 2016 and again in October 2017"
     },
     "sample": {
         "messages": [
@@ -9676,8 +9678,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 5.533898305084746,
-        "len": 1.0,
+        "symbol_per_token": 5.572649572649572,
+        "len": 0.9914529914529915,
         "lcs": 1.0
     },
     "predict": {
@@ -9797,10 +9799,9 @@
             449,
             279,
             10736,
-            3984,
-            13
+            3984
         ],
-        "text": " Although there are many differences between charitable for-profit entities and traditional charities, they do hold some similarities that can be said to be quite major. Both will have a strong vision in what they want from the business overall. Both will therefore have similar strategic plans in order to get the best out of the business regardless of their aims and objectives being different to an extent. For-profit entities and non-profit charities will both strive to meet their objectives that are laid out on their mission statements. They are both given limited funds, so will therefore have to aim to meet their goals with the funds provided."
+        "text": " Although there are many differences between charitable for-profit entities and traditional charities, they do hold some similarities that can be said to be quite major. Both will have a strong vision in what they want from the business overall. Both will therefore have similar strategic plans in order to get the best out of the business regardless of their aims and objectives being different to an extent. For-profit entities and non-profit charities will both strive to meet their objectives that are laid out on their mission statements. They are both given limited funds, so will therefore have to aim to meet their goals with the funds provided"
     },
     "sample": {
         "messages": [
@@ -10713,8 +10714,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.7181818181818183,
-        "len": 1.0,
+        "symbol_per_token": 3.743119266055046,
+        "len": 0.9908256880733946,
         "lcs": 1.0
     },
     "predict": {
@@ -10826,10 +10827,9 @@
             430,
             6209,
             13560,
-            28377,
-            13
+            28377
         ],
-        "text": " Wrawby church originally also served the township of Brigg until a new church was built there in 1872. There were additionally in the village an independent chapel (built 1802), a Wesleyan chapel (built 1827) and a temperance hall (built 1849). A new Methodist church was built in Chapel Lane. It served as a place of worship from 1885 until 2005. It is now a private house that offers holiday accommodation."
+        "text": " Wrawby church originally also served the township of Brigg until a new church was built there in 1872. There were additionally in the village an independent chapel (built 1802), a Wesleyan chapel (built 1827) and a temperance hall (built 1849). A new Methodist church was built in Chapel Lane. It served as a place of worship from 1885 until 2005. It is now a private house that offers holiday accommodation"
     },
     "sample": {
         "messages": [
@@ -13195,8 +13195,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.368421052631579,
-        "len": 1.0,
+        "symbol_per_token": 4.393939393939394,
+        "len": 0.9924242424242424,
         "lcs": 1.0
     },
     "predict": {
@@ -13331,10 +13331,9 @@
             43791,
             1139,
             14932,
-            31276,
-            13
+            31276
         ],
-        "text": " City officials opposed the organization of police as a group of workers, fearing the breakdown of order that might result from police strikes. However, Baltimore had a high proportion of minority and pro-union officers. Police officers who wanted to unionize met in secret for years before voting in 1966 to form Police Local 1195, a chapter of AFSCME.  One of Local 1195's key leaders was Thomas Rapanotti--a labor organizer who worked in a coal mine, then at Martin Aircraft, then for AFSCME. Rapanotti expanded the union in Baltimore and made inroads into surrounding counties."
+        "text": " City officials opposed the organization of police as a group of workers, fearing the breakdown of order that might result from police strikes. However, Baltimore had a high proportion of minority and pro-union officers. Police officers who wanted to unionize met in secret for years before voting in 1966 to form Police Local 1195, a chapter of AFSCME.  One of Local 1195's key leaders was Thomas Rapanotti--a labor organizer who worked in a coal mine, then at Martin Aircraft, then for AFSCME. Rapanotti expanded the union in Baltimore and made inroads into surrounding counties"
     },
     "sample": {
         "messages": [
@@ -15268,8 +15267,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.410526315789474,
-        "len": 1.0,
+        "symbol_per_token": 4.387434554973822,
+        "len": 0.9947368421052631,
         "lcs": 1.0
     },
     "predict": {
@@ -15375,7 +15374,8 @@
             4147,
             1139,
             279,
-            145011,
+            91634,
+            276,
             10082,
             304,
             279,
@@ -16443,8 +16443,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 5.068627450980392,
-        "len": 1.0,
+        "symbol_per_token": 5.108910891089109,
+        "len": 0.9900990099009901,
         "lcs": 1.0
     },
     "predict": {
@@ -16548,10 +16548,9 @@
             527,
             29539,
             304,
-            7138,
-            13
+            7138
         ],
-        "text": " Metalloids usually look like metals but behave largely like nonmetals. Physically, they are shiny, brittle solids with intermediate to relatively good electrical conductivity and the electronic band structure of a semimetal or semiconductor. Chemically, they mostly behave as (weak) nonmetals, have intermediate ionization energies and electronegativity values, and amphoteric or weakly acidic oxides. They can form alloys with metals. Most of their other physical and chemical properties are intermediate in nature."
+        "text": " Metalloids usually look like metals but behave largely like nonmetals. Physically, they are shiny, brittle solids with intermediate to relatively good electrical conductivity and the electronic band structure of a semimetal or semiconductor. Chemically, they mostly behave as (weak) nonmetals, have intermediate ionization energies and electronegativity values, and amphoteric or weakly acidic oxides. They can form alloys with metals. Most of their other physical and chemical properties are intermediate in nature"
     },
     "sample": {
         "messages": [
@@ -16732,8 +16731,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.25,
-        "len": 1.0,
+        "symbol_per_token": 4.269938650306749,
+        "len": 0.9938650306748467,
         "lcs": 1.0
     },
     "predict": {
@@ -16899,10 +16898,9 @@
             719,
             1101,
             279,
-            14418,
-            13
+            14418
         ],
-        "text": " In 1887 van Gogh had several meals a week at the cafe which were paid in paintings to adorn the restaurant's walls.  He fell in love with Agostina who was twelve years older. Soon after, though, Agostina and the establishment fell on hard times.  She became ill and the business, in debt and likely involved in illegal prostitution, failed.  Although assured by Agostina that van Gogh could claim his paintings, according to Emile Bernard's recollection, debtors sold them \"as waste canvas\" in batches of 10, ranging in price from 50 centimes to one franc per bundle. Due to the bankruptcy of the cafe van Gogh lost not only the paintings, mostly still life works of flowers, but also the frames."
+        "text": " In 1887 van Gogh had several meals a week at the cafe which were paid in paintings to adorn the restaurant's walls.  He fell in love with Agostina who was twelve years older. Soon after, though, Agostina and the establishment fell on hard times.  She became ill and the business, in debt and likely involved in illegal prostitution, failed.  Although assured by Agostina that van Gogh could claim his paintings, according to Emile Bernard's recollection, debtors sold them \"as waste canvas\" in batches of 10, ranging in price from 50 centimes to one franc per bundle. Due to the bankruptcy of the cafe van Gogh lost not only the paintings, mostly still life works of flowers, but also the frames"
     },
     "sample": {
         "messages": [
@@ -17315,8 +17313,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.3509933774834435,
-        "len": 1.0,
+        "symbol_per_token": 4.373333333333333,
+        "len": 0.9933333333333333,
         "lcs": 1.0
     },
     "predict": {
@@ -17469,10 +17467,9 @@
             3010,
             279,
             2768,
-            1060,
-            13
+            1060
         ],
-        "text": " Shortly after arriving in Galena the settlers from Switzerland were excited to learn Duerst and Streiff were alive and had already secured land for their new settlement. Overjoyed, 18 men left that night on foot and walked 62 miles (100 km) to the location of the settlement. Wagons were then dispatched back to Galena for the remainder of the immigrants still there. After a long journey that took four months and five days, 108 settlers arrived at their new home on August 15, 1845. Three members of their party died on the  way to southern Wisconsin. The balance found work or friends along the way; many more joined the colony later the following year."
+        "text": " Shortly after arriving in Galena the settlers from Switzerland were excited to learn Duerst and Streiff were alive and had already secured land for their new settlement. Overjoyed, 18 men left that night on foot and walked 62 miles (100 km) to the location of the settlement. Wagons were then dispatched back to Galena for the remainder of the immigrants still there. After a long journey that took four months and five days, 108 settlers arrived at their new home on August 15, 1845. Three members of their party died on the  way to southern Wisconsin. The balance found work or friends along the way; many more joined the colony later the following year"
     },
     "sample": {
         "messages": [
@@ -17684,8 +17681,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 2.3737373737373737,
-        "len": 1.0,
+        "symbol_per_token": 2.3807106598984773,
+        "len": 0.9949238578680203,
         "lcs": 1.0
     },
     "predict": {
@@ -17885,10 +17882,9 @@
             35190,
             622,
             2925,
-            269,
-            13
+            269
         ],
-        "text": " Terminal Jombor - S4. Monjali - S4. Tugu - Stasiun Tugu - Malioboro - S4. Kantor Pos Besar - S4. Gondomanan - S4. Jokteng Wetan - S4. Tungkak - S4. Gambiran - S3 . Basen - S4. Rejowinangun - S4. Babadan Gedongkuning - Gembira Loka - S4. SGM - S3. Cendana - S4. Mandala Krida - S4. Gayam - Flyover Lempuyangan - Kridosono - S4. Duta Wacana - S4. Galeria - S4. Gramedia - Bundaran UGM - S3. Colombo - Terminal Condongcatur - S4. Kentungan - S4. Monjali - Terminal Jombor."
+        "text": " Terminal Jombor - S4. Monjali - S4. Tugu - Stasiun Tugu - Malioboro - S4. Kantor Pos Besar - S4. Gondomanan - S4. Jokteng Wetan - S4. Tungkak - S4. Gambiran - S3 . Basen - S4. Rejowinangun - S4. Babadan Gedongkuning - Gembira Loka - S4. SGM - S3. Cendana - S4. Mandala Krida - S4. Gayam - Flyover Lempuyangan - Kridosono - S4. Duta Wacana - S4. Galeria - S4. Gramedia - Bundaran UGM - S3. Colombo - Terminal Condongcatur - S4. Kentungan - S4. Monjali - Terminal Jombor"
     },
     "sample": {
         "messages": [

llmtf_eval/darumeru_cp_para_en_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {

llmtf_eval/darumeru_cp_para_en_total.jsonl

@@ -1,8 +1,8 @@
 {
     "task_name": "darumeru/cp_para_en",
     "results": {
-        "symbol_per_token": 4.4342745144269164,
-        "len": 0.9926602787834059,
+        "symbol_per_token": 4.435138601612895,
+        "len": 0.9922018370708586,
         "lcs": 1.0
     },
     "leaderboard_result": 1.0

llmtf_eval/darumeru_cp_para_ru.jsonl

@@ -192,31 +192,32 @@
     "info": {
         "prompt_len": 1776,
         "generated_len": [
-            227
+            1024
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
 }
 {
     "metric": {
-        "symbol_per_token": 4.149732620320855,
-        "len": 1.0,
-        "lcs": 1.0
+        "symbol_per_token": 4.194594594594594,
+        "len": 0.989247311827957,
+        "lcs": 0.0
     },
     "predict": {
         "tokens": [
             136453,
             109004,
-            141969,
-            103736,
+            104967,
+            113347,
+            110059,
             7740,
             103586,
-            100702,
+            118505,
+            5927,
             105675,
             109686,
-            100256,
-            119168,
-            100787,
+            48150,
+            131104,
             101563,
             10589,
             101400,
@@ -306,10 +307,7 @@
             127165,
             102447,
             100485,
-            124185,
-            53419,
-            17721,
-            105089,
+            118552,
             121106,
             11,
             101327,
@@ -392,7 +390,7 @@
             102735,
             13
         ],
-        "text": " Замок потерял оборонительные функции и постепенно стал роскошным жильём дворцового типа для лица с высоким статусом. Процесс завершился в XVII веке, когда замок стал резиденцией государственного чиновника и просвещённого вельможи нового типа, каким был сын мэра города Амстердам — Питер Хофт. Писатель, поэт и драматург, член одной камеры риторов Амстердама, Питер Хофт превратил бывшую крепость в известный литературный салон. Он жил и работал в замке 39 лет, где собирал вокруг себя литературно одарённых современников, среди которых — Вондел, Бредеро, Якоб Катс, художница-график и мастерица Мария Тесселсхаде Виссер и её сестра Анна Виссер, поэтесса, поэт и композитор Константин Гюйгенс. За рвами с водой были спланированы голландские сады, где были сад слив и сад трав."
+        "text": " Замок потерял оборонительную функцию и постепенно превратился в роскошное жилище дворцового типа для лица с высоким статусом. Процесс завершился в XVII веке, когда замок стал резиденцией государственного чиновника и просвещённого вельможи нового типа, каким был сын мэра города Амстердам — Питер Хофт. Писатель, поэт и драматург, член одной камеры риторов Амстердама, Питер Хофт превратил бывшую крепость в известный литературный салон. Он жил и работал в замке 39 лет, где собирал вокруг себя литературных современников, среди которых — Вондел, Бредеро, Якоб Катс, художница-график и мастерица Мария Тесселсхаде Виссер и её сестра Анна Виссер, поэтесса, поэт и композитор Константин Гюйгенс. За рвами с водой были спланированы голландские сады, где были сад слив и сад трав."
     },
     "sample": {
         "messages": [
@@ -413,7 +411,7 @@
     "info": {
         "prompt_len": 1798,
         "generated_len": [
-            227
+            1024
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -674,7 +672,7 @@
     "info": {
         "prompt_len": 1838,
         "generated_len": [
-            227
+            1024
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -882,7 +880,7 @@
     "info": {
         "prompt_len": 1785,
         "generated_len": [
-            227
+            1024
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -1112,7 +1110,7 @@
     "info": {
         "prompt_len": 1808,
         "generated_len": [
-            227
+            1024
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -1268,7 +1266,7 @@
     "info": {
         "prompt_len": 1733,
         "generated_len": [
-            227
+            1024
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -1497,15 +1495,15 @@
     "info": {
         "prompt_len": 1806,
         "generated_len": [
-            227
+            1024
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
 }
 {
     "metric": {
-        "symbol_per_token": 3.984126984126984,
-        "len": 1.0,
+        "symbol_per_token": 4.008,
+        "len": 0.992,
         "lcs": 1.0
     },
     "predict": {
@@ -1633,10 +1631,9 @@
             100645,
             7740,
             101145,
-            123163,
-            13
+            123163
         ],
-        "text": " Бенгт Ри́хтер — шведский медальер и резчик монетных штемпелей, ученик и зять А. Карлстейна; автор большого количества памятных медалей в честь правителей, военных деятелей, исторических событий. Рихтер работал в медальерной мастерской в Париже, на Стокгольмском монетном дворе, а с 1712 года — старшим медальером монетного двора в Вене. Через три года он стал имперским инспектором по монетной чеканке. Свои работы Бенгт Рихтер подписывал как «RICHTER», «B. R.», «R.». Использовались и другие подписи."
+        "text": " Бенгт Ри́хтер — шведский медальер и резчик монетных штемпелей, ученик и зять А. Карлстейна; автор большого количества памятных медалей в честь правителей, военных деятелей, исторических событий. Рихтер работал в медальерной мастерской в Париже, на Стокгольмском монетном дворе, а с 1712 года — старшим медальером монетного двора в Вене. Через три года он стал имперским инспектором по монетной чеканке. Свои работы Бенгт Рихтер подписывал как «RICHTER», «B. R.», «R.». Использовались и другие подписи"
     },
     "sample": {
         "messages": [
@@ -1657,7 +1654,7 @@
     "info": {
         "prompt_len": 1737,
         "generated_len": [
-            227
+            1024
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -2286,8 +2283,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.961538461538462,
-        "len": 0.9923076923076923,
+        "symbol_per_token": 4.931297709923665,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -2420,9 +2417,10 @@
             105018,
             102788,
             38722,
-            1482
+            1482,
+            13
         ],
-        "text": " Экономика Трухильо-Альто в основном зависит от сельского хозяйства. Основные продукты выращивания — сахарный тростник, кофе, табак. Также жители занимаются разведением крупного рогатого скота. В последние годы торговля и промышленность стали неотъемлемой частью экономики города. В Трухильо-Альто расположено несколько заводов по производству пищевых продуктов, дерева, металла, электрического оборудования. Есть в городе и каменоломни по производству строительных материалов. По состоянию на 2013 год уровень безработицы в Трухильо-Альто составляет 10,2%, что делает его вторым муниципалитетом с самым низким уровнем безработицы после Гуайнабо"
+        "text": " Экономика Трухильо-Альто в основном зависит от сельского хозяйства. Основные продукты выращивания — сахарный тростник, кофе, табак. Также жители занимаются разведением крупного рогатого скота. В последние годы торговля и промышленность стали неотъемлемой частью экономики города. В Трухильо-Альто расположено несколько заводов по производству пищевых продуктов, дерева, металла, электрического оборудования. Есть в городе и каменоломни по производству строительных материалов. По состоянию на 2013 год уровень безработицы в Трухильо-Альто составляет 10,2%, что делает его вторым муниципалитетом с самым низким уровнем безработицы после Гуайнабо."
     },
     "sample": {
         "messages": [
@@ -2739,7 +2737,7 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.789855072463768,
+        "symbol_per_token": 3.782608695652174,
         "len": 0.9927007299270073,
         "lcs": 1.0
     },
@@ -2797,7 +2795,7 @@
             102383,
             21477,
             100954,
-            48355,
+            7486,
             101940,
             4929,
             17766,
@@ -2883,7 +2881,7 @@
             104303,
             13
         ],
-        "text": " В древности река Чарын впадала в Илийское озеро. После того как воды Илийского озера ушли, Чарын стал впадать в реку Или, ранее также несшую свои воды в Илийское озеро. В бывшем дне озера Чарын вырезали каньон. С ростом хребтов Терскей Алатау, Кетмень и Кунгей Алатау, где находятся верховья Чарына, течение реки убыстряется и тем самым увеличивается ее эрозионная сила. Каньон разрезает слои пород и углубляется одновременно с ростом хребтов Северного Тянь-Шаня. Часть каньона пролегает между разноцветных коренных пород."
+        "text": " В древности река Чарын впадала в Илийское озеро. После того как воды Илийского озера ушли, Чарын стал впадать в реку Или, ранее также несшую свои воды в Илийское озеро. В бывшем дне озера Чарын вырезан каньон. С ростом хребтов Терскей Алатау, Кетмень и Кунгей Алатау, где находятся верховья Чарына, течение реки убыстряется и тем самым увеличивается ее эрозионная сила. Каньон разрезает слои пород и углубляется одновременно с ростом хребтов Северного Тянь-Шаня. Часть каньона пролегает между разноцветных коренных пород."
     },
     "sample": {
         "messages": [
@@ -4797,8 +4795,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.5253623188405796,
-        "len": 0.9963768115942029,
+        "symbol_per_token": 3.5162454873646207,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -5077,9 +5075,10 @@
             19188,
             108008,
             5927,
-            130333
+            130333,
+            13
         ],
-        "text": " Сын музыканта-любителя, автора салонных фортепианных пьес. Учился в Праге в музыкальной школе, основанной Йозефом Прокшем, у пианиста Вилема Блодека, затем в 1873—1874 годах в Пражской школе органистов у Франтишека Скугерского. С 1876 года работал учителем музыки у князей Фюрстенберг в их чешском имении Ланы. В 1884 году сопровождал Антонина Дворжака в его гастрольной поездке в Лондон. С 1889 года профессор Пражской консерватории, в 1907—1918 годах её руководитель; среди учеников Каана, в частности, Эрвин Шульгоф. Автор опер «Беглец» и «Жерминаль», сказочных балетов «Баяя» и «Олим», симфонической поэмы «Сакунтала», фортепианного концерта, камерной и вокальной музыки, а также многочисленных фортепианных обработок произведений чешских композиторов, которые способствовали популяризации чешской музыки, особенно сочинений Бедржиха Сметаны. В 1913 году опубликовал учебник фортепианной игры, в 1921 году — книгу воспомин��ний. Похоронен на кладбище Малвазинки в Праге"
+        "text": " Сын музыканта-любителя, автора салонных фортепианных пьес. Учился в Праге в музыкальной школе, основанной Йозефом Прокшем, у пианиста Вилема Блодека, затем в 1873—1874 годах в Пражской школе органистов у Франтишека Скугерского. С 1876 года работал учителем музыки у князей Фюрстенберг в их чешском имении Ланы. В 1884 году сопровождал Антонина Дворжака в его гастрольной поездке в Лондон. С 1889 года профессор Пражской консерватории, в 1907—1918 годах её руководитель; среди учеников Каана, в частности, Эрвин Шульгоф. Автор опер «Беглец» и «Жерминаль», сказочных балетов «Баяя» и «Олим», симфонической поэмы «Сакунтала», фортепианного концерта, камерной и вокальной музыки, а также многочисленных фортепианных обработок произведений чешских композиторов, которые способствовали популяризации чешской музыки, особенно сочинений Бедржиха Сметаны. В 1913 году опубликовал учебник фортепианной игры, в 1921 году — книгу воспоминаний. Похоронен на кладбище Малвазинки в Праге."
     },
     "sample": {
         "messages": [
@@ -5100,7 +5099,7 @@
     "info": {
         "prompt_len": 1888,
         "generated_len": [
-            1024
+            277
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -5313,7 +5312,7 @@
     "info": {
         "prompt_len": 1790,
         "generated_len": [
-            1024
+            277
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -5407,15 +5406,15 @@
     "info": {
         "prompt_len": 1671,
         "generated_len": [
-            1024
+            277
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
 }
 {
     "metric": {
-        "symbol_per_token": 4.824561403508772,
-        "len": 0.9912280701754386,
+        "symbol_per_token": 4.791304347826087,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -5532,9 +5531,10 @@
             13373,
             220,
             22,
-            11877
+            11877,
+            13
         ],
-        "text": " Ценный коллекционный минерал. Прозрачные разновидности употребляются в качестве драгоценного камня. При огранке учитываются направления плеохроизма, чтобы не придавать слишком большую толщину темноокрашенным камням. Благодаря свойствам плеохроизма используется мореплавателями для определения положения Солнца при пасмурном небе. В авиации является составной частью поляризационных фильтров, служащих для определения положения Солнца после заката, позволяя определить положение с точностью до 2,5°, даже если оно находится ниже линии горизонта на 7°"
+        "text": " Ценный коллекционный минерал. Прозрачные разновидности употребляются в качестве драгоценного камня. При огранке учитываются направления плеохроизма, чтобы не придавать слишком большую толщину темноокрашенным камням. Благодаря свойствам плеохроизма используется мореплавателями для определения положения Солнца при пасмурном небе. В авиации является составной частью поляризационных фильтров, служащих для определения положения Солнца после заката, позволяя определить положение с точностью до 2,5°, даже если оно находится ниже линии горизонта на 7°."
     },
     "sample": {
         "messages": [
@@ -5555,7 +5555,7 @@
     "info": {
         "prompt_len": 1726,
         "generated_len": [
-            1024
+            277
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -5725,7 +5725,7 @@
     "info": {
         "prompt_len": 1747,
         "generated_len": [
-            1024
+            277
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -5921,15 +5921,15 @@
     "info": {
         "prompt_len": 1773,
         "generated_len": [
-            1024
+            277
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
 }
 {
     "metric": {
-        "symbol_per_token": 2.9884393063583814,
-        "len": 0.9941860465116279,
+        "symbol_per_token": 3.005813953488372,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -6103,11 +6103,10 @@
             28599,
             60488,
             5372,
-            28599,
-            122020,
-            25
+            137427,
+            13
         ],
-        "text": " 4. 03. 1790 — создание департамента Корсика 11. 07. 1793 — разделение Корсики на два департамента. Департамент Льямоне, соответствующий современной Южной Корсике, состоял из трех дистриктов: Аяччо, Сартен и Вико 17. 02. 1800 — создание округов: Аяччо, Сартен и Вико 19. 04. 1811 — упразднение департамента Льямоне, восстановление департамента Корсика с четырьмя супрефектурами вместо округов 1. 01. 1976 — новое разделение острова на два департамента. В составе Южной Корсики образованы округа Аяччо и Сартен Ссылка:"
+        "text": " 4. 03. 1790 — создание департамента Корсика 11. 07. 1793 — разделение Корсики на два департамента. Департамент Льямоне, соответствующий современной Южной Корсике, состоял из трех дистриктов: Аяччо, Сартен и Вико 17. 02. 1800 — создание округов: Аяччо, Сартен и Вико 19. 04. 1811 — упразднение департамента Льямоне, восстановление департамента Корсика с четырьмя супрефектурами вместо округов 1. 01. 1976 — новое разделение острова на два департамента. В составе Южной Корсики образованы округа Аяччо и Сартен Ссылки."
     },
     "sample": {
         "messages": [
@@ -6128,7 +6127,7 @@
     "info": {
         "prompt_len": 1783,
         "generated_len": [
-            1024
+            277
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -6367,7 +6366,7 @@
     "info": {
         "prompt_len": 1815,
         "generated_len": [
-            1024
+            277
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -7291,13 +7290,14 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.228571428571429,
-        "len": 0.9952380952380953,
+        "symbol_per_token": 4.213270142180095,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
         "tokens": [
-            116185,
+            115333,
+            117201,
             11,
             124739,
             100571,
@@ -7507,7 +7507,7 @@
             102988,
             13
         ],
-        "text": " Булгаков, Оксана Сергеевна — советский, российский писатель, публицист, сценарист, член Союза журналистов СССР, главный редактор Южно-Уральского книжного издательства, действительный член Географического общества СССР, Заслуженный работник культуры РСФСР, лауреат Государственной премии РСФСР имени братьев Васильевых. Гилёв, Анатолий Васильевич — русский советский художник-график, карикатурист. Художественный редактор Южно-Уральского книжного издательства в 1964–1970, 1980–1982 гг. Золотов, Александр Афанасьевич — журналист, краевед, главный редактор издательства с 1969 г., в 1972—1989 гг. — директор издательства. Курносенко, Владимир Владимирович — советский и российский писатель, хирург, врач. Редактор Южно-Уральского книжного издательства в 1985—1987 гг. Спичкин, Владимир Михайлович — старший редактор Курганского отделения Южно-Уральского книжного издательства. Примечания."
+        "text": " Булгакова, Оксана Сергеевна — советский, российский писатель, публицист, сценарист, член Союза журналистов СССР, главный редактор Южно-Уральского книжного издательства, действительный член Географического общества СССР, Заслуженный работник культуры РСФСР, лауреат Государственной премии РСФСР имени братьев Васильевых. Гилёв, Анатолий Васильевич — русский советский художник-график, карикатурист. Художественный редактор Южно-Уральского книжного издательства в 1964–1970, 1980–1982 гг. Золотов, Александр Афанасьевич — журналист, краевед, главный редактор издательства с 1969 г., в 1972—1989 гг. — директор издательства. Курносенко, Владимир Владимирович — советский и российский писатель, хирург, врач. Редактор Южно-Уральского книжного издательства в 1985—1987 гг. Спичкин, Владимир Михайлович — старший редактор Курганского отделения Южно-Уральского книжного издательства. Примечания."
     },
     "sample": {
         "messages": [
@@ -7971,7 +7971,7 @@
             52009,
             817,
             294,
-            529,
+            6,
             2213,
             2005,
             480,
@@ -7986,7 +7986,7 @@
             106683,
             3343
         ],
-        "text": " Успех применения во Второй мировой войне немецких единых пулемётов MG 34 и MG 42 убедил военных всех стран в необходимости разработки аналогичных по классу собственных пулемётов. В связи с этим в начале 1950-х годов бельгийская фирма Fabrique Nationale из Эрстале под руководством главного конструктора Эрнеста Вервье начала проектирование своего единого пулемёта. В основе конструкции были использованы автоматика и запирание ствола, амортизатор отдачи и крепление сменного ствола ручного пулемёта Браунинг M1918, выпускавшегося фирмой FN до этого, и система ленточного питания немецкого единого пулемета МГ 42. В конце 1959 года получившийся пулемёт был принят на вооружение бельгийской армии. Название оружия, как и у всей остальной продукции FN, составлено в виде аббревиатуры Мitrailleuse d’Appui Général — \"пулемёт общей поддержки\"."
+        "text": " Успех применения во Второй мировой войне немецких единых пулемётов MG 34 и MG 42 убедил военных всех стран в необходимости разработки аналогичных по классу собственных пулемётов. В связи с этим в начале 1950-х годов бельгийская фирма Fabrique Nationale из Эрстале под руководством главного конструктора Эрнеста Вервье начала проектирование своего единого пулемёта. В основе конструкции были использованы автоматика и запирание ствола, амортизатор отдачи и крепление сменного ствола ручного пулемёта Браунинг M1918, выпускавшегося фирмой FN до этого, и система ленточного питания немецкого единого пулемета МГ 42. В конце 1959 года получившийся пулемёт был принят на вооружение бельгийской армии. Название оружия, как и у всей остально�� продукции FN, составлено в виде аббревиатуры Мitrailleuse d'Appui Général — \"пулемёт общей поддержки\"."
     },
     "sample": {
         "messages": [
@@ -14340,15 +14340,15 @@
     "info": {
         "prompt_len": 1754,
         "generated_len": [
-            1024
+            167
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
 }
 {
     "metric": {
-        "symbol_per_token": 3.9133858267716537,
-        "len": 0.9921259842519685,
+        "symbol_per_token": 3.890625,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -14478,9 +14478,10 @@
             106191,
             12,
             134518,
-            104345
+            104345,
+            13
         ],
-        "text": " Мухто́лово — посёлок городского типа в Ардатовском муниципальном районе Нижегородской области России. Расположен в 25 км к северу от Ардатова. Железнодорожная станция на линии Муром — Арзамас. Статус посёлка городского типа с 1946 года. В посёлке расположено отделение Почты России, индекс 607150. Распоряжением Правительства РФ от 29. 07. 2014 No 1398-р «Об утверждении перечня моногородов», включён в список моногородов Российской Федерации с риском ухудшения социально-экономического положения"
+        "text": " Мухто́лово — посёлок городского типа в Ардатовском муниципальном районе Нижегородской области России. Расположен в 25 км к северу от Ардатова. Железнодорожная станция на линии Муром — Арзамас. Статус посёлка городского типа с 1946 года. В посёлке расположено отделение Почты России, индекс 607150. Распоряжением Правительства РФ от 29. 07. 2014 No 1398-р «Об утверждении перечня моногородов», включён в список моногородов Российской Федерации с риском ухудшения социально-экономического положения."
     },
     "sample": {
         "messages": [
@@ -14501,7 +14502,7 @@
     "info": {
         "prompt_len": 1739,
         "generated_len": [
-            1024
+            167
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -14665,7 +14666,7 @@
     "info": {
         "prompt_len": 1741,
         "generated_len": [
-            1024
+            167
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -14856,7 +14857,7 @@
     "info": {
         "prompt_len": 1768,
         "generated_len": [
-            1024
+            167
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -15057,7 +15058,7 @@
     "info": {
         "prompt_len": 1778,
         "generated_len": [
-            1024
+            167
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -15246,7 +15247,7 @@
     "info": {
         "prompt_len": 1766,
         "generated_len": [
-            1024
+            167
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -15380,7 +15381,7 @@
     "info": {
         "prompt_len": 1711,
         "generated_len": [
-            1024
+            167
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -15556,7 +15557,7 @@
     "info": {
         "prompt_len": 1753,
         "generated_len": [
-            1024
+            167
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -17027,8 +17028,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.8091603053435112,
-        "len": 1.0,
+        "symbol_per_token": 3.7803030303030303,
+        "len": 0.9923664122137404,
         "lcs": 1.0
     },
     "predict": {
@@ -17037,7 +17038,8 @@
             104456,
             13433,
             107146,
-            139725,
+            131369,
+            13999,
             220,
             23,
             24,
@@ -17988,8 +17990,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.8142857142857145,
-        "len": 0.9788732394366197,
+        "symbol_per_token": 3.7412587412587412,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -17997,8 +17999,11 @@
             102612,
             100957,
             101767,
-            102752,
-            111697,
+            100835,
+            9882,
+            4268,
+            34604,
+            18437,
             108175,
             5927,
             110488,
@@ -18134,7 +18139,7 @@
             103588,
             13
         ],
-        "text": " Географическое положениеРасположен в южной части Приазово-Кубанской равнины, в южно-предгорной зоне, на левом берегу Кубани в 3 км на северо-запад от административного центра поселения — хутора Ольгинский.; Климатумеренно континентальный, без резких колебаний суточных и месячных температур. Продолжительность периода с температурой выше 0° С достигает 9-10 месяцев, из них половина — 4-5 месяцев — лето. Среднегодовая температура около +11°, постепенно нарастая от 15° в мае до 30° в августе. Годовая сумма осадков достигает 800 мм."
+        "text": " Географическое положение�Расположен в южной части Приазово-Кубанской равнины, в южно-предгорной зоне, на левом берегу Кубани в 3 км на северо-запад от административного центра поселения — хутора Ольгинский.; Климатумеренно континентальный, без резких колебаний суточных и месячных температур. Продолжительность периода с температурой выше 0° С достигает 9-10 месяцев, из них половина — 4-5 месяцев — лето. Среднегодовая температура около +11°, постепенно нарастая от 15° в мае до 30° в августе. Годовая сумма осадков достигает 800 мм."
     },
     "sample": {
         "messages": [
@@ -19348,9 +19353,9 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.265625,
-        "len": 1.0,
-        "lcs": 1.0
+        "symbol_per_token": 2.9960975609756098,
+        "len": 0.2490234375,
+        "lcs": 0.0
     },
     "predict": {
         "tokens": [
@@ -19608,9 +19613,778 @@
             100434,
             105565,
             13,
-            102988
+            100738,
+            116537,
+            103531,
+            36479,
+            100305,
+            103309,
+            111162,
+            5927,
+            100380,
+            103832,
+            102383,
+            100268,
+            101684,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            17,
+            21,
+            100281,
+            36479,
+            100305,
+            103309,
+            100342,
+            104440,
+            6856,
+            100571,
+            5927,
+            110668,
+            108572,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            18,
+            15,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            16,
+            24,
+            100312,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            18,
+            24,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            17,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            19,
+            15,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            19,
+            16,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            19,
+            17,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            19,
+            18,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            19,
+            19,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            19,
+            20,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            19,
+            21,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            19,
+            22,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            19,
+            23,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            19,
+            24,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            20,
+            15,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            20,
+            16,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            20,
+            17,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            20,
+            18,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            20,
+            19,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            20,
+            20,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            20,
+            21,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            20,
+            22,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            20,
+            23,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            20,
+            24,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            21,
+            15,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            21,
+            16,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            21,
+            17,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            21,
+            18,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            21,
+            19,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            21,
+            20,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            21,
+            21,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            21,
+            22,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            21,
+            23,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            21,
+            24,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            22,
+            15,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            22,
+            16,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            22,
+            17,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            22,
+            18,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            22,
+            19,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            22,
+            20,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            22,
+            21,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            22,
+            22,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            22,
+            23,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            22,
+            24,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            23,
+            15,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            23,
+            16,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            23,
+            17,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220,
+            16,
+            24,
+            23,
+            18,
+            100281,
+            5927,
+            120222,
+            116411,
+            220,
+            19,
+            17,
+            18,
+            100739,
+            13,
+            23784,
+            220
         ],
-        "text": " Известная с XV века, когда относилась к Бобольскому стану Боровского уезда. В материалах дозора 1613 года значится «За боярином, за князем Борисом Михайловичем Лыковым... Кухтина, а в ней пашни паханые крестьянские три полуосмины, да по речке по Кщеме по берегу сена пять копен». В 1782 году Кухтина и слобода на реке Кшома вместе с деревнями Алешина, Левина, Глухова и Реткина во владениях князя Василия Ивановича Долгорукова и Евдокии Александровны Зиновьевой. В 1780 году В. И. Долгоруков выставлял на продажу свои деревни в Медынском уезде, в том числе и Кухтину с 504 крепостными в ней. К 1859 году значилась как деревня 1-го стана Медынского уезда и насчитывала 33 двора и 328 жителей. После реформ 1861 года вошла в Глуховскую волость. К 1914 году население возросло до 391 человек, в деревне открылась земская школа. Примечания"
+        "text": " Известная с XV века, когда относилась к Бобольскому стану Боровского уезда. В материалах дозора 1613 года значится «За боярином, за князем Борисом Михайловичем Лыковым... Кухтина, а в ней пашни паханые крестьянские три полуосмины, да по речке по Кщеме по берегу сена пять копен». В 1782 году Кухтина и слобода на реке Кшома вместе с деревнями Алешина, Левина, Глухова и Реткина во владениях князя Василия Ивановича Долгорукова и Евдокии Александровны Зиновьевой. В 1780 году В. И. Долгоруков выставлял на продажу свои деревни в Медынском уезде, в том числе и Кухтину с 504 крепостными в ней. К 1859 году значилась как деревня 1-го стана Медынского уезда и насчитывала 33 двора и 328 жителей. После реформ 1861 года вошла в Глуховскую волость. К 1914 году население возросло до 391 человек, в деревне открылась земская школа. После Октябрьской революции Кухтина вошла в состав Медынского района. В 1926 году Кухтина была преобразована в рабочий посёлок. В 1930 году в посёлке проживало 419 человек. В 1939 году в посёлке проживало 422 человека. В 1940 году в посёлке проживало 423 человека. В 1941 году в посёлке проживало 423 человека. В 1942 году в посёлке проживало 423 человека. В 1943 году в посёлке проживало 423 ч��ловека. В 1944 году в посёлке проживало 423 человека. В 1945 году в посёлке проживало 423 человека. В 1946 году в посёлке проживало 423 человека. В 1947 году в посёлке проживало 423 человека. В 1948 году в посёлке проживало 423 человека. В 1949 году в посёлке проживало 423 человека. В 1950 году в посёлке проживало 423 человека. В 1951 году в посёлке проживало 423 человека. В 1952 году в посёлке проживало 423 человека. В 1953 году в посёлке проживало 423 человека. В 1954 году в посёлке проживало 423 человека. В 1955 году в посёлке проживало 423 человека. В 1956 году в посёлке проживало 423 человека. В 1957 году в посёлке проживало 423 человека. В 1958 году в посёлке проживало 423 человека. В 1959 году в посёлке проживало 423 человека. В 1960 году в посёлке проживало 423 человека. В 1961 году в посёлке проживало 423 человека. В 1962 году в посёлке проживало 423 человека. В 1963 году в посёлке проживало 423 человека. В 1964 году в посёлке проживало 423 человека. В 1965 году в посёлке проживало 423 человека. В 1966 году в посёлке проживало 423 человека. В 1967 году в посёлке проживало 423 человека. В 1968 году в посёлке проживало 423 человека. В 1969 году в посёлке проживало 423 человека. В 1970 году в посёлке проживало 423 человека. В 1971 году в посёлке проживало 423 человека. В 1972 году в посёлке проживало 423 человека. В 1973 году в посёлке проживало 423 человека. В 1974 году в посёлке проживало 423 человека. В 1975 году в посёлке проживало 423 человека. В 1976 году в посёлке проживало 423 человека. В 1977 году в посёлке проживало 423 человека. В 1978 году в посёлке проживало 423 человека. В 1979 году в посёлке проживало 423 человека. В 1980 году в посёлке проживало 423 человека. В 1981 году в посёлке проживало 423 человека. В 1982 году в посёлке проживало 423 человека. В 1983 году в посёлке проживало 423 человека. В "
     },
     "sample": {
         "messages": [

llmtf_eval/darumeru_cp_para_ru_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {

llmtf_eval/darumeru_cp_para_ru_total.jsonl

@@ -1,9 +1,9 @@
 {
     "task_name": "darumeru/cp_para_ru",
     "results": {
-        "symbol_per_token": 3.9840096010204995,
-        "len": 0.9812951313228986,
-        "lcs": 0.98
+        "symbol_per_token": 3.9799773492348676,
+        "len": 0.9741181435431592,
+        "lcs": 0.96
     },
-    "leaderboard_result": 0.98
+    "leaderboard_result": 0.96
 }

llmtf_eval/darumeru_cp_sent_en.jsonl

@@ -5102,8 +5102,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.266666666666667,
-        "len": 1.0,
+        "symbol_per_token": 4.318181818181818,
+        "len": 0.9772727272727273,
         "lcs": 1.0
     },
     "predict": {
@@ -5150,10 +5150,9 @@
             70960,
             304,
             279,
-            3224,
-            1210
+            3224
         ],
-        "text": " It is likely that it is the largest school dining hall in the country and was described by F. A. M. Webster in his book Our Great Public Schools as, \"one of the most splendid in the country.\""
+        "text": " It is likely that it is the largest school dining hall in the country and was described by F. A. M. Webster in his book Our Great Public Schools as, \"one of the most splendid in the country"
     },
     "sample": {
         "messages": [
@@ -6315,8 +6314,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.1666666666666665,
-        "len": 0.9791666666666666,
+        "symbol_per_token": 3.142857142857143,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -6367,9 +6366,10 @@
             15,
             15,
             296,
-            18
+            18,
+            570
         ],
-        "text": " One source even calculates that the total amount of petroleum in barrels spilled between 1960 and 1997 is upwards of 100 million barrels (16,000,000 m3"
+        "text": " One source even calculates that the total amount of petroleum in barrels spilled between 1960 and 1997 is upwards of 100 million barrels (16,000,000 m3)."
     },
     "sample": {
         "messages": [
@@ -10932,8 +10932,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.7674418604651163,
-        "len": 0.9767441860465116,
+        "symbol_per_token": 3.727272727272727,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -10979,9 +10979,10 @@
             4661,
             4376,
             315,
-            50301
+            50301,
+            1210
         ],
-        "text": " This activity occupied 54 hectares (130 acres) of the island's 150 hectares (370 acres) and \"served the domestic waste disposal needs for almost half of Adelaide"
+        "text": " This activity occupied 54 hectares (130 acres) of the island's 150 hectares (370 acres) and \"served the domestic waste disposal needs for almost half of Adelaide.\""
     },
     "sample": {
         "messages": [
@@ -16979,8 +16980,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.394736842105263,
-        "len": 1.0,
+        "symbol_per_token": 4.45945945945946,
+        "len": 0.972972972972973,
         "lcs": 1.0
     },
     "predict": {
@@ -17020,10 +17021,9 @@
             60,
             1027,
             6532,
-            449,
-            1210
+            449
         ],
-        "text": " Banks worked on the lyrics with the group's Mike Rutherford, which he later dismissed, saying they were \"one of the worst sets of lyrics [I have] been involved with.\""
+        "text": " Banks worked on the lyrics with the group's Mike Rutherford, which he later dismissed, saying they were \"one of the worst sets of lyrics [I have] been involved with"
     },
     "sample": {
         "messages": [
@@ -31259,8 +31259,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.346938775510204,
-        "len": 1.0,
+        "symbol_per_token": 4.395833333333333,
+        "len": 0.9791666666666666,
         "lcs": 1.0
     },
     "predict": {
@@ -31311,10 +31311,9 @@
             4113,
             304,
             1077,
-            5603,
-            1210
+            5603
         ],
-        "text": " The British Royal Philharmonic Society in 2014 named Kopatchinskaja \"instrumentalist of the year\" describing her as an \"irresistible force of nature: passionate, challenging and totally original in her approach.\""
+        "text": " The British Royal Philharmonic Society in 2014 named Kopatchinskaja \"instrumentalist of the year\" describing her as an \"irresistible force of nature: passionate, challenging and totally original in her approach"
     },
     "sample": {
         "messages": [

llmtf_eval/darumeru_cp_sent_en_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {

llmtf_eval/darumeru_cp_sent_en_total.jsonl

@@ -1,9 +1,9 @@
 {
     "task_name": "darumeru/cp_sent_en",
     "results": {
-        "symbol_per_token": 4.416472661458526,
-        "len": 0.9634384484255067,
+        "symbol_per_token": 4.41667825834814,
+        "len": 0.9633845897145296,
         "lcs": 1.0
     },
-    "leaderboard_result": 0.9634384484255067
+    "leaderboard_result": 0.9633845897145296
 }

llmtf_eval/darumeru_cp_sent_ru.jsonl

@@ -1284,8 +1284,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.7962962962962963,
-        "len": 1.0,
+        "symbol_per_token": 3.849056603773585,
+        "len": 0.9811320754716981,
         "lcs": 1.0
     },
     "predict": {
@@ -1341,10 +1341,9 @@
             11,
             22918,
             121629,
-            37773,
-            13
+            37773
         ],
-        "text": " Алекса́ндр Константи́нович Еро́хин — участник Великой Отечественной войны, командир отделения роты связи 1285-го стрелкового полка 60-й Севской стрелковой дивизии 65-й армии Центрального фронта, ефрейтор."
+        "text": " Алекса́ндр Константи́нович Еро́хин — участник Великой Отечественной войны, командир отделения роты связи 1285-го стрелкового полка 60-й Севской стрелковой дивизии 65-й армии Центрального фронта, ефрейтор"
     },
     "sample": {
         "messages": [
@@ -2953,8 +2952,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.196428571428571,
-        "len": 1.0,
+        "symbol_per_token": 4.254545454545455,
+        "len": 0.9818181818181818,
         "lcs": 1.0
     },
     "predict": {
@@ -3012,10 +3011,9 @@
             100764,
             100265,
             119153,
-            102007,
-            13
+            102007
         ],
-        "text": " Появление сайтов социальных сетей, такие как Facebook, Friendster, MySpace, XING, Orkut, Cyworld, Bebo и другие, привело к увеличению связности интернет-пространства, что, как следствие, привело к сильной связности людей во всём мире."
+        "text": " Появление сайтов социальных сетей, такие как Facebook, Friendster, MySpace, XING, Orkut, Cyworld, Bebo и другие, привело к увеличению связности интернет-пространства, что, как следствие, привело к сильной связности людей во всём мире"
     },
     "sample": {
         "messages": [
@@ -3043,8 +3041,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.864864864864865,
-        "len": 1.0,
+        "symbol_per_token": 3.9444444444444446,
+        "len": 0.9722222222222222,
         "lcs": 1.0
     },
     "predict": {
@@ -3083,10 +3081,9 @@
             5524,
             101443,
             13337,
-            109300,
-            13
+            109300
         ],
-        "text": " По пятифакторной модели личности Цукермана, поиск новизны прямо связан с импульсивным поиском впечатлений и по мнению Айзенка — с психотизмом."
+        "text": " По пятифакторной модели личности Цукермана, поиск новизны прямо связан с импульсивным поиском впечатлений и по мнению Айзенка — с психотизмом"
     },
     "sample": {
         "messages": [
@@ -3421,8 +3418,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 5.636363636363637,
-        "len": 1.0,
+        "symbol_per_token": 6.1,
+        "len": 0.9,
         "lcs": 1.0
     },
     "predict": {
@@ -3435,10 +3432,9 @@
             133991,
             116554,
             116837,
-            124147,
-            13
+            124147
         ],
-        "text": " Главой НКБО является действующий командующий ВМФ Нидерландов."
+        "text": " Главой НКБО является действующий командующий ВМФ Нидерландов"
     },
     "sample": {
         "messages": [
@@ -3756,8 +3752,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 6.027777777777778,
-        "len": 1.0,
+        "symbol_per_token": 6.171428571428572,
+        "len": 0.9714285714285714,
         "lcs": 1.0
     },
     "predict": {
@@ -3795,10 +3791,9 @@
             11,
             107523,
             145353,
-            141055,
-            13
+            141055
         ],
-        "text": " Филипп Иванович Балабин — российский и советский военный и научный деятель, полковник РИА, преподаватель советских военных академий, научный сотрудник Всесоюзного арктического института, участник полярных экспедиций."
+        "text": " Филипп Иванович Балабин — российский и советский военный и научный деятель, полковник РИА, преподаватель советских военных академий, научный сотрудник Всесоюзного арктического института, участник полярных экспедиций"
     },
     "sample": {
         "messages": [
@@ -4020,8 +4015,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.6666666666666665,
-        "len": 1.0,
+        "symbol_per_token": 3.857142857142857,
+        "len": 0.9285714285714286,
         "lcs": 1.0
     },
     "predict": {
@@ -4038,10 +4033,9 @@
             103114,
             100335,
             108218,
-            102768,
-            13
+            102768
         ],
-        "text": " Верхняя отметка на высоте 730 метров над уровнем моря."
+        "text": " Верхняя отметка на высоте 730 метров над уровнем моря"
     },
     "sample": {
         "messages": [
@@ -4900,7 +4894,7 @@
     "info": {
         "prompt_len": 436,
         "generated_len": [
-            128
+            61
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -4995,7 +4989,7 @@
     "info": {
         "prompt_len": 463,
         "generated_len": [
-            128
+            61
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -5068,15 +5062,15 @@
     "info": {
         "prompt_len": 440,
         "generated_len": [
-            128
+            61
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
 }
 {
     "metric": {
-        "symbol_per_token": 5.181818181818182,
-        "len": 0.9545454545454546,
+        "symbol_per_token": 5.0,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -5101,9 +5095,10 @@
             105987,
             116188,
             11,
-            103454
+            103454,
+            13
         ],
-        "text": " Мичикальский хребет — горный хребет, расположенный на территории Гумбетовского района республики Дагестан, Россия"
+        "text": " Мичикальский хребет — горный хребет, расположенный на территории Гумбетовского района республики Дагестан, Россия."
     },
     "sample": {
         "messages": [
@@ -5124,15 +5119,15 @@
     "info": {
         "prompt_len": 424,
         "generated_len": [
-            128
+            61
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
 }
 {
     "metric": {
-        "symbol_per_token": 5.785714285714286,
-        "len": 0.9285714285714286,
+        "symbol_per_token": 5.466666666666667,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -5149,9 +5144,10 @@
             105968,
             106638,
             101627,
-            4655
+            4655,
+            13
         ],
-        "text": " Доказательство данного алгоритма сразу следует из основного свойства квадратрисы"
+        "text": " Доказательство данного алгоритма сразу следует из основного свойства квадратрисы."
     },
     "sample": {
         "messages": [
@@ -5172,7 +5168,7 @@
     "info": {
         "prompt_len": 416,
         "generated_len": [
-            128
+            61
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -5233,7 +5229,7 @@
     "info": {
         "prompt_len": 428,
         "generated_len": [
-            128
+            61
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -5298,7 +5294,7 @@
     "info": {
         "prompt_len": 432,
         "generated_len": [
-            128
+            61
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -5363,7 +5359,7 @@
     "info": {
         "prompt_len": 432,
         "generated_len": [
-            128
+            61
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -5531,8 +5527,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.066666666666666,
-        "len": 0.9333333333333333,
+        "symbol_per_token": 3.875,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -5550,9 +5546,10 @@
             11,
             100267,
             126813,
-            116306
+            116306,
+            13
         ],
-        "text": " Всё, что вы всегда хотели знать о сексе, но боялись спросить"
+        "text": " Всё, что вы всегда хотели знать о сексе, но боялись спросить."
     },
     "sample": {
         "messages": [
@@ -5580,8 +5577,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 5.888888888888889,
-        "len": 1.0,
+        "symbol_per_token": 6.076923076923077,
+        "len": 0.9615384615384616,
         "lcs": 1.0
     },
     "predict": {
@@ -5610,10 +5607,9 @@
             23934,
             118166,
             111492,
-            109560,
-            13
+            109560
         ],
-        "text": " Существует гипотеза, что пустота могла возникнуть неподалёку от очень массивных объектов, к которым притягивалось всё вещество из соседних областей Вселенной."
+        "text": " Существует гипотеза, что пустота могла возникнуть неподалёку от очень массивных объектов, к которым притягивалось всё вещество из соседних областей Вселенной"
     },
     "sample": {
         "messages": [
@@ -5641,8 +5637,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 5.520833333333333,
-        "len": 1.0,
+        "symbol_per_token": 5.617021276595745,
+        "len": 0.9787234042553191,
         "lcs": 1.0
     },
     "predict": {
@@ -5692,10 +5688,9 @@
             7740,
             102188,
             103828,
-            102726,
-            13
+            102726
         ],
-        "text": " Ключевые посты в кабинете получили представители пропрезидентской Демократической партии и её партнёров по коалиции — Партии справедливости и благоденствия, Партии национального мандата, Партии единства и развития, Партии национального пробуждения и партии Голкар."
+        "text": " Ключевые посты в кабинете получили представители пропрезидентской Демократической партии и её партнёров по коалиции — Партии справедливости и благоденствия, Партии национального мандата, Партии единства и развития, Партии национального пробуждения и партии Голкар"
     },
     "sample": {
         "messages": [
@@ -6654,8 +6649,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.48,
-        "len": 1.0,
+        "symbol_per_token": 3.5833333333333335,
+        "len": 0.9583333333333334,
         "lcs": 1.0
     },
     "predict": {
@@ -6682,10 +6677,9 @@
             102617,
             118840,
             17721,
-            103186,
-            13
+            103186
         ],
-        "text": " Основан в 1918 г. на национализированной земле Тумаевской экономии помещицы Гагариной."
+        "text": " Основан в 1918 г. на национализированной земле Тумаевской экономии помещицы Гагариной"
     },
     "sample": {
         "messages": [
@@ -7180,8 +7174,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.461538461538462,
-        "len": 1.0,
+        "symbol_per_token": 4.75,
+        "len": 0.9166666666666666,
         "lcs": 1.0
     },
     "predict": {
@@ -7196,10 +7190,9 @@
             117883,
             114122,
             16248,
-            1506,
-            13
+            1506
         ],
-        "text": " Комбинирование оружия теперь не требует наличия верстака."
+        "text": " Комбинирование оружия теперь не требует наличия верстака"
     },
     "sample": {
         "messages": [
@@ -8631,8 +8624,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.25,
-        "len": 0.96875,
+        "symbol_per_token": 3.1818181818181817,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -8667,9 +8660,10 @@
             105278,
             135681,
             101110,
-            17165
+            17165,
+            13
         ],
-        "text": " Расположена в 13 км к югу от райцентра Усвяты, на правом берегу реки Усвяча, напротив деревни Лукашенки"
+        "text": " Расположена в 13 км к югу от райцентра Усвяты, на правом берегу реки Усвяча, напротив деревни Лукашенки."
     },
     "sample": {
         "messages": [
@@ -8835,8 +8829,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 5.045454545454546,
-        "len": 1.0,
+        "symbol_per_token": 5.238095238095238,
+        "len": 0.9523809523809523,
         "lcs": 1.0
     },
     "predict": {
@@ -8860,10 +8854,9 @@
             16742,
             100392,
             116218,
-            126415,
-            13
+            126415
         ],
-        "text": " В грузинском и таджикском фольклоре имя Александра Македонского ассоциируется с отменой этого древнего обычая."
+        "text": " В грузинском и таджикском фольклоре имя Александра Македонского ассоциируется с отменой этого древнего обычая"
     },
     "sample": {
         "messages": [
@@ -9723,8 +9716,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.5,
-        "len": 1.0,
+        "symbol_per_token": 4.733333333333333,
+        "len": 0.9333333333333333,
         "lcs": 1.0
     },
     "predict": {
@@ -9742,10 +9735,9 @@
             100702,
             101639,
             105440,
-            101151,
-            13
+            101151
         ],
-        "text": " Когда фон Порат заинтересовался боксом, то стал быстро прогрессировать."
+        "text": " Когда фон Порат заинтересовался боксом, то стал быстро прогрессировать"
     },
     "sample": {
         "messages": [
@@ -9855,8 +9847,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 5.0,
-        "len": 1.0,
+        "symbol_per_token": 5.2,
+        "len": 0.95,
         "lcs": 1.0
     },
     "predict": {
@@ -9879,10 +9871,9 @@
             105446,
             5927,
             101237,
-            113272,
-            13
+            113272
         ],
-        "text": " Уравнение также можно применить к основаниям, указав протонированную форму основания в качестве кислоты."
+        "text": " Уравнение также можно применить к основаниям, указав протонированную форму основания в качестве кислоты"
     },
     "sample": {
         "messages": [
@@ -10188,8 +10179,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.7272727272727275,
-        "len": 1.0,
+        "symbol_per_token": 4.904761904761905,
+        "len": 0.9523809523809523,
         "lcs": 1.0
     },
     "predict": {
@@ -10213,10 +10204,9 @@
             107092,
             5927,
             122938,
-            108911,
-            13
+            108911
         ],
-        "text": " Как источник тестостерона их употребляли даже в качестве допинга на Олимпийских играх в Древней Греции."
+        "text": " Как источник тестостерона их употребляли даже в качестве допинга на Олимпийских играх в Древней Греции"
     },
     "sample": {
         "messages": [
@@ -10819,8 +10809,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.607142857142857,
-        "len": 1.0,
+        "symbol_per_token": 3.7037037037037037,
+        "len": 0.9629629629629629,
         "lcs": 1.0
     },
     "predict": {
@@ -10850,10 +10840,9 @@
             17,
             15,
             15,
-            19,
-            13
+            19
         ],
-        "text": " «Welcome to My World» — club-line, релиз которого состоялся за рубежом под проектом «Agent C», 2004."
+        "text": " «Welcome to My World» — club-line, релиз которого состоялся за рубежом под проектом «Agent C», 2004"
     },
     "sample": {
         "messages": [
@@ -11672,8 +11661,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.105263157894737,
-        "len": 0.9473684210526315,
+        "symbol_per_token": 3.95,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -11695,9 +11684,10 @@
             579,
             17,
             13,
-            470
+            470,
+            13
         ],
-        "text": " За несколько дней до этого SOE зарегистрировала доменное имя planetside2. com"
+        "text": " За несколько дней до этого SOE зарегистрировала доменное имя planetside2. com."
     },
     "sample": {
         "messages": [
@@ -13821,8 +13811,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.0,
-        "len": 0.9285714285714286,
+        "symbol_per_token": 3.8,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -13839,9 +13829,10 @@
             100580,
             56999,
             5372,
-            109121
+            109121,
+            13
         ],
-        "text": " Рядом с селом расположен пруд и протекает река Стуженёк"
+        "text": " Рядом с селом расположен пруд и протекает река Стуженёк."
     },
     "sample": {
         "messages": [
@@ -15629,8 +15620,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.90625,
-        "len": 0.96875,
+        "symbol_per_token": 3.8181818181818183,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -15665,9 +15656,10 @@
             5927,
             109284,
             129307,
-            14525
+            14525,
+            13
         ],
-        "text": " Ольгино и Пружинки разделяет балка, по дну которой на север течёт небольшая пересыхающая речка, впадающая затем в реку Лубна"
+        "text": " Ольгино и Пружинки разделяет балка, по дну которой на север течёт небольшая пересыхающая речка, впадающая затем в реку Лубна."
     },
     "sample": {
         "messages": [
@@ -15755,8 +15747,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.7894736842105265,
-        "len": 0.9473684210526315,
+        "symbol_per_token": 4.6,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -15778,9 +15770,10 @@
             109623,
             109510,
             112360,
-            119912
+            119912,
+            13
         ],
-        "text": " Устанавливалась сроком на 1 год, но могла продляться по результатам экзаменационной сессии"
+        "text": " Устанавливалась сроком на 1 год, но могла продляться по результатам экзаменационной сессии."
     },
     "sample": {
         "messages": [
@@ -16574,8 +16567,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.4655172413793105,
-        "len": 1.0,
+        "symbol_per_token": 3.4237288135593222,
+        "len": 0.9827586206896551,
         "lcs": 1.0
     },
     "predict": {
@@ -16636,9 +16629,10 @@
             101717,
             12,
             19871,
-            97065
+            97065,
+            13
         ],
-        "text": " Надпись на круглой капители в виде плетенной корзинки с валиком из «Каралезской базилики» — остатков храма, найденного при строительстве пруда в начале 1980-х годов на западной окраине села Ходжа-Сала"
+        "text": " Надпись на круглой капители в виде плетенной корзинки с валиком из «Каралезской базилики» — остатков храма, найденного при строительстве пруда в начале 1980-х годов на западной окраине села Ходжа-Сала."
     },
     "sample": {
         "messages": [
@@ -16914,8 +16908,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.9,
-        "len": 0.9,
+        "symbol_per_token": 4.545454545454546,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -16928,9 +16922,10 @@
             101547,
             100268,
             104876,
-            105304
+            105304,
+            13
         ],
-        "text": " Входит в состав Заболотского сельского поселения"
+        "text": " Входит в состав Заболотского сельского поселения."
     },
     "sample": {
         "messages": [
@@ -17201,8 +17196,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.56,
-        "len": 0.96,
+        "symbol_per_token": 4.423076923076923,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -17230,9 +17225,10 @@
             103649,
             7740,
             105959,
-            107164
+            107164,
+            13
         ],
-        "text": " Происходит с Дальнего Востока, однако начиная с 1990-х годов активно распространяется в Европе и Северной Америке"
+        "text": " Происходит с Дальнего Востока, однако начиная с 1990-х годов активно распространяется в Европе и Северной Америке."
     },
     "sample": {
         "messages": [
@@ -17581,8 +17577,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.7941176470588234,
-        "len": 0.9705882352941176,
+        "symbol_per_token": 3.7142857142857144,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -17619,9 +17615,10 @@
             104823,
             16742,
             104234,
-            112806
+            112806,
+            13
         ],
-        "text": " Рокко Кратер Рокко, не путать с кратером Рокка, — маленький удар��ый кратер в восточной части Океана Бурь на видимой стороне Луны"
+        "text": " Рокко Кратер Рокко, не путать с кратером Рокка, — маленький ударный кратер в восточной части Океана Бурь на видимой стороне Луны."
     },
     "sample": {
         "messages": [
@@ -18002,8 +17999,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 2.272727272727273,
-        "len": 1.0,
+        "symbol_per_token": 2.4,
+        "len": 0.9,
         "lcs": 1.0
     },
     "predict": {
@@ -18016,10 +18013,9 @@
             20,
             20,
             18,
-            20,
-            13
+            20
         ],
-        "text": " Почтовый индекс — 85535."
+        "text": " Почтовый индекс — 85535"
     },
     "sample": {
         "messages": [
@@ -18406,8 +18402,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 2.9285714285714284,
-        "len": 0.9761904761904762,
+        "symbol_per_token": 2.883720930232558,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -18452,9 +18448,10 @@
             101940,
             107049,
             124771,
-            101418
+            101418,
+            13
         ],
-        "text": " Шаллан — коммуна на западе Франции, регион Пеи-де-ла-Луар, департамент Вандея, округ Ле-Сабль-д'Олон, центр кантона Шаллан"
+        "text": " Шаллан — коммуна на западе Франции, регион Пеи-де-ла-Луар, департамент Вандея, округ Ле-Сабль-д'Олон, центр кантона Шаллан."
     },
     "sample": {
         "messages": [
@@ -19695,8 +19692,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.9,
-        "len": 0.975,
+        "symbol_per_token": 4.804878048780488,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -19739,9 +19736,10 @@
             105577,
             117323,
             104395,
-            132821
+            132821,
+            13
         ],
-        "text": " Василий Лазаревич Храпко — участник Великой Отечественной войны, сапёр-разведчик взвода управления 41-го инженерно-сапёрного батальона, гвардии старший сержант, кавалер ордена Славы трёх степеней"
+        "text": " Василий Лазаревич Храпко — участник Великой Отечественной войны, сапёр-разведчик взвода управления 41-го инженерно-сапёрного батальона, гвардии старший сержант, кавалер ордена Славы трёх степеней."
     },
     "sample": {
         "messages": [
@@ -19769,8 +19767,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 5.260869565217392,
-        "len": 1.0,
+        "symbol_per_token": 5.454545454545454,
+        "len": 0.9545454545454546,
         "lcs": 1.0
     },
     "predict": {
@@ -19795,10 +19793,9 @@
             102475,
             101327,
             141629,
-            120381,
-            13
+            120381
         ],
-        "text": " Пример полной седловой поверхности лежащей между двумя праллельными плоскостями можно найти среди поверхностей вращения."
+        "text": " Пример полной седловой поверхности лежащей между двумя праллельными плоскостями можно найти среди поверхностей вращения"
     },
     "sample": {
         "messages": [
@@ -20724,8 +20721,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 5.017857142857143,
-        "len": 0.9821428571428571,
+        "symbol_per_token": 4.947368421052632,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -20784,9 +20781,10 @@
             107503,
             109106,
             108107,
-            88596
+            88596,
+            13
         ],
-        "text": " Лайза Миннелли, которая выступала в основном как интерпретатор музыкальных песен и поп-стандартов с большим оркестровым аккомпанементом, на этом же альбоме певица берётся за исполнение джазовых стандартов нескольких композиторов и авторов песен из великого американского песенника"
+        "text": " Лайза Миннелли, которая выступала в основном как интерпретатор музыкальных песен и поп-стандартов с большим оркестровым аккомпанементом, на этом же альбоме певица берётся за исполнение джазовых стандартов нескольких композиторов и авторов песен из великого американского песенника."
     },
     "sample": {
         "messages": [
@@ -20814,8 +20812,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.0625,
-        "len": 0.96875,
+        "symbol_per_token": 3.0,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -20850,9 +20848,10 @@
             15,
             21,
             12,
-            12415
+            12415,
+            13
         ],
-        "text": " Брюно Минжон — французский бобслеист, пилот, выступавший за сборную Франции с 1988 года по 2006-й"
+        "text": " Брюно Минжон — французский бобслеист, пилот, выступавший за сборную Франции с 1988 года по 2006-й."
     },
     "sample": {
         "messages": [
@@ -21333,8 +21332,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 2.9791666666666665,
-        "len": 1.0,
+        "symbol_per_token": 3.021276595744681,
+        "len": 0.9787234042553191,
         "lcs": 1.0
     },
     "predict": {
@@ -21384,10 +21383,9 @@
             15,
             16,
             15,
-            100260,
-            13
+            100260
         ],
-        "text": " Статья в журнале New Scientist, посвящённая возможному столкновению кометы с Землей Кривая блеска кометы P/2005 JQ и прогноз на 2009—2010 год."
+        "text": " Статья в журнале New Scientist, посвящённая возможному столкновению кометы с Землей Кривая блеска кометы P/2005 JQ и прогноз на 2009—2010 год"
     },
     "sample": {
         "messages": [
@@ -21613,7 +21611,7 @@
     "info": {
         "prompt_len": 450,
         "generated_len": [
-            128
+            112
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -21674,7 +21672,7 @@
     "info": {
         "prompt_len": 428,
         "generated_len": [
-            128
+            112
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -21752,7 +21750,7 @@
     "info": {
         "prompt_len": 446,
         "generated_len": [
-            128
+            112
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -21834,7 +21832,7 @@
     "info": {
         "prompt_len": 449,
         "generated_len": [
-            128
+            112
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -21875,7 +21873,7 @@
     "info": {
         "prompt_len": 408,
         "generated_len": [
-            128
+            112
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -21919,7 +21917,7 @@
     "info": {
         "prompt_len": 411,
         "generated_len": [
-            128
+            112
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -21990,7 +21988,7 @@
     "info": {
         "prompt_len": 439,
         "generated_len": [
-            128
+            112
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -22035,7 +22033,7 @@
     "info": {
         "prompt_len": 413,
         "generated_len": [
-            128
+            112
         ],
         "generated_cumulative_logprob": "TODO: calculate for hf model"
     }
@@ -22254,8 +22252,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.6153846153846154,
-        "len": 1.0,
+        "symbol_per_token": 3.72,
+        "len": 0.96,
         "lcs": 1.0
     },
     "predict": {
@@ -22283,10 +22281,9 @@
             24,
             21,
             24,
-            100281,
-            13
+            100281
         ],
-        "text": " Список 1969 год в телевидении описывает события в мире телевидения, произошедшие в 1969 году."
+        "text": " Список 1969 год в телевидении описывает события в мире телевидения, произошедшие в 1969 году"
     },
     "sample": {
         "messages": [
@@ -23133,8 +23130,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.15625,
-        "len": 0.96875,
+        "symbol_per_token": 4.0606060606060606,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -23169,9 +23166,10 @@
             12,
             101229,
             35723,
-            101212
+            101212,
+            13
         ],
-        "text": " При \"макроморфологическом исследовании\" участок обызвествления отличается твёрдой консистенцией и обычно имеет белесовато-серый цвет"
+        "text": " При \"макроморфологическом исследовании\" участок обызвествления отличается твёрдой консистенцией и обычно имеет белесовато-серый цвет."
     },
     "sample": {
         "messages": [
@@ -23324,8 +23322,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.653846153846154,
-        "len": 1.0,
+        "symbol_per_token": 4.8,
+        "len": 0.96,
         "lcs": 1.0
     },
     "predict": {
@@ -23353,10 +23351,9 @@
             120942,
             111527,
             12507,
-            8105,
-            13
+            8105
         ],
-        "text": " Внутри церкви находилась мраморная доска, напоминающая о посещении её в 1887 году германским императором Вильгельмом II."
+        "text": " Внутри церкви находилась мраморная доска, напоминающая о посещении её в 1887 году германским императором Вильгельмом II"
     },
     "sample": {
         "messages": [
@@ -23656,8 +23653,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.515151515151515,
-        "len": 1.0,
+        "symbol_per_token": 3.59375,
+        "len": 0.96875,
         "lcs": 1.0
     },
     "predict": {
@@ -23692,10 +23689,9 @@
             100381,
             81856,
             10693,
-            102254,
-            13
+            102254
         ],
-        "text": " С 1780-х годов начал сотрудничать с известным купцом и основателем Российско-Американской компании Г. И. Шелеховым."
+        "text": " С 1780-х годов начал сотрудничать с известным купцом и основателем Российско-Американской компании Г. И. Шелеховым"
     },
     "sample": {
         "messages": [
@@ -23770,8 +23766,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 2.740740740740741,
-        "len": 1.0,
+        "symbol_per_token": 2.7735849056603774,
+        "len": 0.9811320754716981,
         "lcs": 1.0
     },
     "predict": {
@@ -23827,10 +23823,9 @@
             16,
             18,
             17,
-            5524,
-            13
+            5524
         ],
-        "text": " Члены Правительствующего Сената — высшего законосовещательного органа Российской империи: 22 февраля 1711 — 3 марта 1917 / Готика, 2005 г. — 132 с."
+        "text": " Члены Правительствующего Сената — высшего законосовещательного органа Российской империи: 22 февраля 1711 — 3 марта 1917 / Готика, 2005 г. — 132 с"
     },
     "sample": {
         "messages": [
@@ -23955,8 +23950,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 5.037037037037037,
-        "len": 1.0,
+        "symbol_per_token": 5.1923076923076925,
+        "len": 0.9615384615384616,
         "lcs": 1.0
     },
     "predict": {
@@ -23985,10 +23980,9 @@
             20440,
             111489,
             111491,
-            111596,
-            13
+            111596
         ],
-        "text": " Существует мнение, что, по меньшей мере, один из кодексов попал в частную коллекцию и стал недоступен для мирового научного сообщества."
+        "text": " Существует мнение, что, по меньшей мере, один из кодексов попал в частную коллекцию и стал недоступен для мирового научного сообщества"
     },
     "sample": {
         "messages": [
@@ -25203,19 +25197,19 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.0,
+        "symbol_per_token": 3.5,
         "len": 0.46153846153846156,
         "lcs": 0.0
     },
     "predict": {
         "tokens": [
             64571,
-            44075,
-            5372,
-            11,
-            101909,
-            104236,
+            100442,
+            100490,
+            105381,
             11,
+            48489,
+            99845,
             112471,
             5927,
             102215,
@@ -25223,7 +25217,7 @@
             106027,
             13
         ],
-        "text": " Бреден, Александр Иванович, похоронен в городе Брянске."
+        "text": " Бытовал слух, что он похоронен в городе Брянске."
     },
     "sample": {
         "messages": [
@@ -25732,8 +25726,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.217391304347826,
-        "len": 1.0,
+        "symbol_per_token": 3.3181818181818183,
+        "len": 0.9545454545454546,
         "lcs": 1.0
     },
     "predict": {
@@ -25758,10 +25752,9 @@
             13,
             45458,
             13,
-            116187,
-            13
+            116187
         ],
-        "text": " В октябре 1979 года создан литературно-мемориальный музей А. М. Горького."
+        "text": " В октябре 1979 года создан литературно-мемориальный музей А. М. Горького"
     },
     "sample": {
         "messages": [
@@ -26221,8 +26214,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.3,
-        "len": 0.9,
+        "symbol_per_token": 4.0,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -26235,9 +26228,10 @@
             24,
             12,
             66349,
-            114431
+            114431,
+            13
         ],
-        "text": " Депутат Верховного Совета УССР 9-го созыва"
+        "text": " Депутат Верховного Совета УССР 9-го созыва."
     },
     "sample": {
         "messages": [
@@ -26924,8 +26918,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 5.176470588235294,
-        "len": 1.0,
+        "symbol_per_token": 5.303030303030303,
+        "len": 0.9696969696969697,
         "lcs": 1.0
     },
     "predict": {
@@ -26961,10 +26955,9 @@
             37277,
             109994,
             104765,
-            104049,
-            13
+            104049
         ],
-        "text": " После пребывания в распоряжении Управления кадров Сухопутных войск в декабре 1946 года назначен заместителем командира 1-го стрелкового корпуса Туркестанского военного округа."
+        "text": " После пребывания в распоряжении Управления кадров Сухопутных войск в декабре 1946 года назначен заместителем командира 1-го стрелкового корпуса Туркестанского военного округа"
     },
     "sample": {
         "messages": [
@@ -27754,8 +27747,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 5.25,
-        "len": 0.9583333333333334,
+        "symbol_per_token": 5.08,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -27782,9 +27775,10 @@
             124049,
             5927,
             101198,
-            60748
+            60748,
+            13
         ],
-        "text": " Команды, принявшие автоматическое приглашение, могут выступать на другой технике, но не имеют права переходить в другой класс"
+        "text": " Команды, принявшие автоматическое приглашение, могут выступать на другой технике, но не имеют права переходить в другой класс."
     },
     "sample": {
         "messages": [
@@ -27918,8 +27912,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 3.375,
-        "len": 1.0,
+        "symbol_per_token": 3.4782608695652173,
+        "len": 0.9565217391304348,
         "lcs": 1.0
     },
     "predict": {
@@ -27945,10 +27939,9 @@
             132363,
             104275,
             100266,
-            105294,
-            13
+            105294
         ],
-        "text": " Родился в 1903 году в селе Деврус Зангезурского уезда Елизаветпольской губернии."
+        "text": " Родился в 1903 году в селе Деврус Зангезурского уезда Елизаветпольской губернии"
     },
     "sample": {
         "messages": [
@@ -28994,8 +28987,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.684210526315789,
-        "len": 0.9473684210526315,
+        "symbol_per_token": 4.5,
+        "len": 1.0,
         "lcs": 1.0
     },
     "predict": {
@@ -29017,9 +29010,10 @@
             108386,
             100349,
             103798,
-            101292
+            101292,
+            13
         ],
-        "text": " Основной фон передних крыльев серовато-коричневого цвета с поперечными чёрными полосками"
+        "text": " Основной фон передних крыльев серовато-коричневого цвета с поперечными чёрными полосками."
     },
     "sample": {
         "messages": [
@@ -29470,8 +29464,8 @@
 }
 {
     "metric": {
-        "symbol_per_token": 4.103448275862069,
-        "len": 1.0,
+        "symbol_per_token": 4.214285714285714,
+        "len": 0.9642857142857143,
         "lcs": 1.0
     },
     "predict": {
@@ -29502,10 +29496,9 @@
             107499,
             101684,
             134409,
-            100768,
-            13
+            100768
         ],
-        "text": " Михаил Степанович Посякин родился 27 ноября 1899 года в селе Никитино ныне Починковского района Нижегородской области."
+        "text": " Михаил Степанович Посякин родился 27 ноября 1899 года в селе Никитино ныне Починковского района Нижегородской области"
     },
     "sample": {
         "messages": [

llmtf_eval/darumeru_cp_sent_ru_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {

llmtf_eval/darumeru_cp_sent_ru_total.jsonl

@@ -1,9 +1,9 @@
 {
     "task_name": "darumeru/cp_sent_ru",
     "results": {
-        "symbol_per_token": 3.958846363652826,
-        "len": 0.9810206403044489,
+        "symbol_per_token": 3.959579067863063,
+        "len": 0.980424354124537,
         "lcs": 0.9815195071868583
     },
-    "leaderboard_result": 0.9810206403044489
+    "leaderboard_result": 0.980424354124537
 }

llmtf_eval/darumeru_ruMMLU.jsonl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:6dc60f13a8ab067932dfd59fb38f4df1a210488b4c0c2c4937e5a99ddc95dde7
-size 89172709
+oid sha256:5fec4c197ca1bec7e729af5b7d2900f42a582bf2dfa60041a2ba9e7d015dab0f
+size 89172940

llmtf_eval/darumeru_ruMMLU_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {

llmtf_eval/darumeru_ruMMLU_total.jsonl

@@ -1,7 +1,7 @@
 {
     "task_name": "darumeru/ruMMLU",
     "results": {
-        "acc": 0.5159133991818817
+        "acc": 0.5146163823206624
     },
-    "leaderboard_result": 0.5159133991818817
+    "leaderboard_result": 0.5146163823206624
 }

llmtf_eval/darumeru_ruOpenBookQA_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {

llmtf_eval/darumeru_ruWorldTree.jsonl

@@ -1159,10 +1159,10 @@
         ]
     },
     "predict": {
-        "A": 0.9484309554100037,
-        "B": 0.004976908676326275,
-        "C": 0.009298089891672134,
-        "D": 0.028640132397413254
+        "A": 0.9516626000404358,
+        "B": 0.004993867129087448,
+        "C": 0.009329772554337978,
+        "D": 0.025360949337482452
     },
     "sample": {
         "messages": [
@@ -1207,10 +1207,10 @@
         ]
     },
     "predict": {
-        "A": 0.038688354194164276,
-        "B": 0.012560268864035606,
-        "C": 0.8805428743362427,
-        "D": 0.06378631293773651
+        "A": 0.034628015011548996,
+        "B": 0.011242070235311985,
+        "C": 0.893068253993988,
+        "D": 0.05709194019436836
     },
     "sample": {
         "messages": [
@@ -1255,10 +1255,10 @@
         ]
     },
     "predict": {
-        "A": 0.8142087459564209,
-        "B": 0.11019117385149002,
-        "C": 0.016898363828659058,
-        "D": 0.045934516936540604
+        "A": 0.8141388893127441,
+        "B": 0.11018171906471252,
+        "C": 0.016896912828087807,
+        "D": 0.04593057557940483
     },
     "sample": {
         "messages": [
@@ -1303,10 +1303,10 @@
         ]
     },
     "predict": {
-        "A": 0.062289051711559296,
-        "B": 0.0428105928003788,
-        "C": 0.8598737716674805,
-        "D": 0.025965938344597816
+        "A": 0.06250517070293427,
+        "B": 0.04295912757515907,
+        "C": 0.8628572225570679,
+        "D": 0.02299436554312706
     },
     "sample": {
         "messages": [
@@ -1351,10 +1351,10 @@
         ]
     },
     "predict": {
-        "A": 0.022656265646219254,
-        "B": 0.0034744509030133486,
-        "C": 0.0034744509030133486,
-        "D": 0.9633688926696777
+        "A": 0.020078521221876144,
+        "B": 0.0030791412573307753,
+        "C": 0.0030791412573307753,
+        "D": 0.9674373865127563
     },
     "sample": {
         "messages": [
@@ -1399,10 +1399,10 @@
         ]
     },
     "predict": {
-        "A": 0.014603231102228165,
-        "B": 0.02124757692217827,
-        "C": 0.9034699201583862,
-        "D": 0.05775689706206322
+        "A": 0.014603586867451668,
+        "B": 0.021248092874884605,
+        "C": 0.9034919142723083,
+        "D": 0.057758305221796036
     },
     "sample": {
         "messages": [
@@ -1447,10 +1447,10 @@
         ]
     },
     "predict": {
-        "A": 0.013722991570830345,
-        "B": 0.0057205939665436745,
-        "C": 0.962056040763855,
-        "D": 0.013722991570830345
+        "A": 0.013718714937567711,
+        "B": 0.0057188114151358604,
+        "C": 0.9617562294006348,
+        "D": 0.013718714937567711
     },
     "sample": {
         "messages": [
@@ -1495,10 +1495,10 @@
         ]
     },
     "predict": {
-        "A": 0.08843427151441574,
-        "B": 0.8390410542488098,
-        "C": 0.015367573127150536,
-        "D": 0.04733545705676079
+        "A": 0.07934458553791046,
+        "B": 0.8530347347259521,
+        "C": 0.015623876824975014,
+        "D": 0.04247009754180908
     },
     "sample": {
         "messages": [
@@ -1543,10 +1543,10 @@
         ]
     },
     "predict": {
-        "A": 0.028913138434290886,
-        "B": 0.00237333495169878,
-        "C": 0.00828375294804573,
-        "D": 0.9574716091156006
+        "A": 0.025628741830587387,
+        "B": 0.0023838444612920284,
+        "C": 0.007342757191509008,
+        "D": 0.9617114663124084
     },
     "sample": {
         "messages": [
@@ -1591,10 +1591,10 @@
         ]
     },
     "predict": {
-        "A": 0.974272608757019,
-        "B": 0.0016597902867943048,
-        "C": 0.0021312127355486155,
-        "D": 0.013897252269089222
+        "A": 0.9759019017219543,
+        "B": 0.0016625659773126245,
+        "C": 0.002134776907041669,
+        "D": 0.01228479202836752
     },
     "sample": {
         "messages": [
@@ -1639,10 +1639,10 @@
         ]
     },
     "predict": {
-        "A": 0.013480165041983128,
-        "B": 0.94503253698349,
-        "C": 0.010498364455997944,
-        "D": 0.02222503535449505
+        "A": 0.01347627118229866,
+        "B": 0.9447595477104187,
+        "C": 0.010495331138372421,
+        "D": 0.0222186166793108
     },
     "sample": {
         "messages": [
@@ -1687,10 +1687,10 @@
         ]
     },
     "predict": {
-        "A": 0.06342139095067978,
-        "B": 0.012488410808146,
-        "C": 0.875505268573761,
-        "D": 0.04358883947134018
+        "A": 0.0634031817317009,
+        "B": 0.01248482521623373,
+        "C": 0.8752538561820984,
+        "D": 0.04357632249593735
     },
     "sample": {
         "messages": [
@@ -1735,10 +1735,10 @@
         ]
     },
     "predict": {
-        "A": 0.019307803362607956,
-        "B": 0.006268325727432966,
-        "C": 0.9303020238876343,
-        "D": 0.04087461903691292
+        "A": 0.017082270234823227,
+        "B": 0.0062842159532010555,
+        "C": 0.9326603412628174,
+        "D": 0.04097823426127434
     },
     "sample": {
         "messages": [
@@ -1783,10 +1783,10 @@
         ]
     },
     "predict": {
-        "A": 0.11698025465011597,
-        "B": 0.008474021218717098,
-        "C": 0.005139753222465515,
-        "D": 0.8643736243247986
+        "A": 0.11702734977006912,
+        "B": 0.00847743358463049,
+        "C": 0.005141823086887598,
+        "D": 0.8647216558456421
     },
     "sample": {
         "messages": [
@@ -1831,10 +1831,10 @@
         ]
     },
     "predict": {
-        "A": 0.012676965445280075,
-        "B": 0.0024962425231933594,
-        "C": 0.37047523260116577,
-        "D": 0.610810399055481
+        "A": 0.012673873454332352,
+        "B": 0.002495633903890848,
+        "C": 0.37038490176200867,
+        "D": 0.6106614470481873
     },
     "sample": {
         "messages": [
@@ -1879,10 +1879,10 @@
         ]
     },
     "predict": {
-        "A": 0.768819272518158,
-        "B": 0.007537239696830511,
-        "C": 0.05569308623671532,
-        "D": 0.151389479637146
+        "A": 0.7826483249664307,
+        "B": 0.007672814652323723,
+        "C": 0.05669485777616501,
+        "D": 0.13600388169288635
     },
     "sample": {
         "messages": [

llmtf_eval/darumeru_ruWorldTree_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {

llmtf_eval/evaluation_log.txt

@@ -277,3 +277,270 @@ INFO: 2024-10-14 17:52:40,654: llmtf.base.evaluator: Ended eval
 INFO: 2024-10-14 17:52:40,665: llmtf.base.evaluator: 
 mean	daru/treewayabstractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/USE	darumeru/cp_para_en	darumeru/cp_para_ru	darumeru/cp_sent_en	darumeru/cp_sent_ru	darumeru/ruMMLU	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/enMMLU	nlpcoreteam/ruMMLU	russiannlp/rucola_custom
 0.641	0.231	0.430	0.720	0.507	0.574	0.062	1.000	0.980	0.963	0.981	0.516	0.736	0.866	0.685	0.565	0.434
+INFO: 2024-10-14 18:14:22,049: llmtf.base.evaluator: Starting eval on ['darumeru/multiq', 'darumeru/parus', 'darumeru/rcb', 'darumeru/ruopenbookqa', 'darumeru/ruworldtree', 'darumeru/rwsd', 'darumeru/use', 'russiannlp/rucola_custom']
+INFO: 2024-10-14 18:14:22,051: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:14:22,051: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:14:22,798: llmtf.base.evaluator: Starting eval on ['darumeru/rummlu']
+INFO: 2024-10-14 18:14:22,799: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:14:22,799: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:14:24,660: llmtf.base.evaluator: Starting eval on ['nlpcoreteam/rummlu']
+INFO: 2024-10-14 18:14:24,661: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:14:24,661: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:14:26,344: llmtf.base.evaluator: Starting eval on ['nlpcoreteam/enmmlu']
+INFO: 2024-10-14 18:14:26,345: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:14:26,345: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:14:28,729: llmtf.base.evaluator: Starting eval on ['daru/treewayabstractive']
+INFO: 2024-10-14 18:14:28,729: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:14:28,729: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:14:30,599: llmtf.base.evaluator: Starting eval on ['daru/treewayextractive']
+INFO: 2024-10-14 18:14:30,599: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:14:30,599: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:14:32,435: llmtf.base.evaluator: Starting eval on ['darumeru/cp_sent_ru', 'darumeru/cp_sent_en', 'darumeru/cp_para_ru', 'darumeru/cp_para_en']
+INFO: 2024-10-14 18:14:32,436: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:14:32,436: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:14:36,755: llmtf.base.darumeru/cp_sent_ru: Loading Dataset: 4.32s
+INFO: 2024-10-14 18:14:44,237: llmtf.base.daru/treewayextractive: Loading Dataset: 13.64s
+INFO: 2024-10-14 18:14:45,157: llmtf.base.darumeru/MultiQ: Loading Dataset: 23.11s
+INFO: 2024-10-14 18:14:47,866: llmtf.base.daru/treewayabstractive: Loading Dataset: 19.14s
+INFO: 2024-10-14 18:15:54,592: llmtf.base.darumeru/ruMMLU: Loading Dataset: 91.79s
+INFO: 2024-10-14 18:17:41,911: llmtf.base.daru/treewayextractive: Processing Dataset: 177.67s
+INFO: 2024-10-14 18:17:41,914: llmtf.base.daru/treewayextractive: Results for daru/treewayextractive:
+INFO: 2024-10-14 18:17:42,127: llmtf.base.daru/treewayextractive: {'r-prec': 0.41475829725829727}
+INFO: 2024-10-14 18:17:42,164: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-14 18:17:42,199: llmtf.base.evaluator: 
+mean	daru/treewayabstractive	daru/treewayextractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/USE	darumeru/cp_para_en	darumeru/cp_para_ru	darumeru/cp_sent_en	darumeru/cp_sent_ru	darumeru/ruMMLU	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/enMMLU	nlpcoreteam/ruMMLU	russiannlp/rucola_custom
+0.627	0.231	0.415	0.430	0.720	0.507	0.574	0.062	1.000	0.980	0.963	0.981	0.516	0.736	0.866	0.685	0.565	0.434
+INFO: 2024-10-14 18:17:53,326: llmtf.base.nlpcoreteam/enMMLU: Loading Dataset: 206.98s
+INFO: 2024-10-14 18:18:33,858: llmtf.base.darumeru/MultiQ: Processing Dataset: 228.70s
+INFO: 2024-10-14 18:18:33,859: llmtf.base.darumeru/MultiQ: Results for darumeru/MultiQ:
+INFO: 2024-10-14 18:18:33,865: llmtf.base.darumeru/MultiQ: {'f1': 0.48323651229633574, 'em': 0.367112810707457}
+INFO: 2024-10-14 18:18:33,875: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:18:33,876: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:18:37,304: llmtf.base.darumeru/PARus: Loading Dataset: 3.43s
+INFO: 2024-10-14 18:18:43,545: llmtf.base.darumeru/PARus: Processing Dataset: 6.24s
+INFO: 2024-10-14 18:18:43,547: llmtf.base.darumeru/PARus: Results for darumeru/PARus:
+INFO: 2024-10-14 18:18:43,560: llmtf.base.darumeru/PARus: {'acc': 0.72}
+INFO: 2024-10-14 18:18:43,562: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:18:43,562: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:18:46,981: llmtf.base.nlpcoreteam/ruMMLU: Loading Dataset: 262.32s
+INFO: 2024-10-14 18:18:47,349: llmtf.base.darumeru/RCB: Loading Dataset: 3.79s
+INFO: 2024-10-14 18:18:58,026: llmtf.base.darumeru/RCB: Processing Dataset: 10.67s
+INFO: 2024-10-14 18:18:58,028: llmtf.base.darumeru/RCB: Results for darumeru/RCB:
+INFO: 2024-10-14 18:18:58,037: llmtf.base.darumeru/RCB: {'acc': 0.55, 'f1_macro': 0.4643770525787481}
+INFO: 2024-10-14 18:18:58,039: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:18:58,039: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:19:12,716: llmtf.base.darumeru/ruOpenBookQA: Loading Dataset: 14.68s
+INFO: 2024-10-14 18:20:23,567: llmtf.base.darumeru/ruOpenBookQA: Processing Dataset: 70.85s
+INFO: 2024-10-14 18:20:23,569: llmtf.base.darumeru/ruOpenBookQA: Results for darumeru/ruOpenBookQA:
+INFO: 2024-10-14 18:20:23,597: llmtf.base.darumeru/ruOpenBookQA: {'acc': 0.7371134020618557, 'f1_macro': 0.7358424630320096}
+INFO: 2024-10-14 18:20:23,612: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:20:23,613: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:20:26,102: llmtf.base.darumeru/ruWorldTree: Loading Dataset: 2.49s
+INFO: 2024-10-14 18:20:30,186: llmtf.base.darumeru/ruWorldTree: Processing Dataset: 4.08s
+INFO: 2024-10-14 18:20:30,187: llmtf.base.darumeru/ruWorldTree: Results for darumeru/ruWorldTree:
+INFO: 2024-10-14 18:20:30,194: llmtf.base.darumeru/ruWorldTree: {'acc': 0.8666666666666667, 'f1_macro': 0.8654128672745693}
+INFO: 2024-10-14 18:20:30,195: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:20:30,196: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:20:34,435: llmtf.base.darumeru/RWSD: Loading Dataset: 4.24s
+INFO: 2024-10-14 18:20:44,138: llmtf.base.darumeru/RWSD: Processing Dataset: 9.70s
+INFO: 2024-10-14 18:20:44,140: llmtf.base.darumeru/RWSD: Results for darumeru/RWSD:
+INFO: 2024-10-14 18:20:44,175: llmtf.base.darumeru/RWSD: {'acc': 0.5686274509803921}
+INFO: 2024-10-14 18:20:44,177: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:20:44,177: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:20:59,838: llmtf.base.darumeru/USE: Loading Dataset: 15.66s
+INFO: 2024-10-14 18:21:17,184: llmtf.base.darumeru/cp_sent_ru: Processing Dataset: 400.43s
+INFO: 2024-10-14 18:21:17,186: llmtf.base.darumeru/cp_sent_ru: Results for darumeru/cp_sent_ru:
+INFO: 2024-10-14 18:21:17,209: llmtf.base.darumeru/cp_sent_ru: {'symbol_per_token': 3.959579067863063, 'len': 0.980424354124537, 'lcs': 0.9815195071868583}
+INFO: 2024-10-14 18:21:17,212: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:21:17,212: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:21:20,775: llmtf.base.darumeru/cp_sent_en: Loading Dataset: 3.56s
+INFO: 2024-10-14 18:26:01,388: llmtf.base.darumeru/ruMMLU: Processing Dataset: 606.76s
+INFO: 2024-10-14 18:26:01,391: llmtf.base.darumeru/ruMMLU: Results for darumeru/ruMMLU:
+INFO: 2024-10-14 18:26:01,402: llmtf.base.darumeru/ruMMLU: {'acc': 0.5146163823206624}
+INFO: 2024-10-14 18:26:01,478: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-14 18:26:01,500: llmtf.base.evaluator: 
+mean	daru/treewayabstractive	daru/treewayextractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/USE	darumeru/cp_para_en	darumeru/cp_para_ru	darumeru/cp_sent_en	darumeru/cp_sent_ru	darumeru/ruMMLU	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/enMMLU	nlpcoreteam/ruMMLU	russiannlp/rucola_custom
+0.627	0.231	0.415	0.425	0.720	0.507	0.569	0.062	1.000	0.980	0.963	0.980	0.515	0.736	0.866	0.685	0.565	0.434
+INFO: 2024-10-14 18:26:07,030: llmtf.base.darumeru/USE: Processing Dataset: 307.19s
+INFO: 2024-10-14 18:26:07,033: llmtf.base.darumeru/USE: Results for darumeru/USE:
+INFO: 2024-10-14 18:26:07,038: llmtf.base.darumeru/USE: {'grade_norm': 0.054901960784313725}
+INFO: 2024-10-14 18:26:07,045: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:26:07,045: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:26:27,701: llmtf.base.russiannlp/rucola_custom: Loading Dataset: 20.66s
+INFO: 2024-10-14 18:27:55,196: llmtf.base.russiannlp/rucola_custom: Processing Dataset: 87.49s
+INFO: 2024-10-14 18:27:55,199: llmtf.base.russiannlp/rucola_custom: Results for russiannlp/rucola_custom:
+INFO: 2024-10-14 18:27:55,212: llmtf.base.russiannlp/rucola_custom: {'acc': 0.5999282382490133, 'mcc': 0.26826918795125926}
+INFO: 2024-10-14 18:27:55,223: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-14 18:27:55,232: llmtf.base.evaluator: 
+mean	daru/treewayabstractive	daru/treewayextractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/USE	darumeru/cp_para_en	darumeru/cp_para_ru	darumeru/cp_sent_en	darumeru/cp_sent_ru	darumeru/ruMMLU	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/enMMLU	nlpcoreteam/ruMMLU	russiannlp/rucola_custom
+0.626	0.231	0.415	0.425	0.720	0.507	0.569	0.055	1.000	0.980	0.963	0.980	0.515	0.736	0.866	0.685	0.565	0.434
+INFO: 2024-10-14 18:28:09,184: llmtf.base.darumeru/cp_sent_en: Processing Dataset: 408.41s
+INFO: 2024-10-14 18:28:09,186: llmtf.base.darumeru/cp_sent_en: Results for darumeru/cp_sent_en:
+INFO: 2024-10-14 18:28:09,192: llmtf.base.darumeru/cp_sent_en: {'symbol_per_token': 4.41667825834814, 'len': 0.9633845897145296, 'lcs': 1.0}
+INFO: 2024-10-14 18:28:09,194: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:28:09,195: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:28:12,669: llmtf.base.darumeru/cp_para_ru: Loading Dataset: 3.47s
+INFO: 2024-10-14 18:28:38,665: llmtf.base.nlpcoreteam/enMMLU: Processing Dataset: 645.34s
+INFO: 2024-10-14 18:28:38,667: llmtf.base.nlpcoreteam/enMMLU: Results for nlpcoreteam/enMMLU:
+INFO: 2024-10-14 18:28:38,712: llmtf.base.nlpcoreteam/enMMLU:                                        metric
+subject                                      
+abstract_algebra                     0.380000
+anatomy                              0.592593
+astronomy                            0.736842
+business_ethics                      0.720000
+clinical_knowledge                   0.716981
+college_biology                      0.770833
+college_chemistry                    0.500000
+college_computer_science             0.610000
+college_mathematics                  0.410000
+college_medicine                     0.676301
+college_physics                      0.509804
+computer_security                    0.810000
+conceptual_physics                   0.638298
+econometrics                         0.578947
+electrical_engineering               0.675862
+elementary_mathematics               0.611111
+formal_logic                         0.365079
+global_facts                         0.310000
+high_school_biology                  0.816129
+high_school_chemistry                0.605911
+high_school_computer_science         0.750000
+high_school_european_history         0.787879
+high_school_geography                0.808081
+high_school_government_and_politics  0.870466
+high_school_macroeconomics           0.712821
+high_school_mathematics              0.525926
+high_school_microeconomics           0.768908
+high_school_physics                  0.443709
+high_school_psychology               0.860550
+high_school_statistics               0.666667
+high_school_us_history               0.852941
+high_school_world_history            0.835443
+human_aging                          0.721973
+human_sexuality                      0.793893
+international_law                    0.776860
+jurisprudence                        0.787037
+logical_fallacies                    0.766871
+machine_learning                     0.473214
+management                           0.834951
+marketing                            0.888889
+medical_genetics                     0.790000
+miscellaneous                        0.793103
+moral_disputes                       0.687861
+moral_scenarios                      0.289385
+nutrition                            0.748366
+philosophy                           0.717042
+prehistory                           0.734568
+professional_accounting              0.524823
+professional_law                     0.475880
+professional_medicine                0.661765
+professional_psychology              0.689542
+public_relations                     0.745455
+security_studies                     0.767347
+sociology                            0.830846
+us_foreign_policy                    0.850000
+virology                             0.493976
+world_religions                      0.807018
+INFO: 2024-10-14 18:28:38,720: llmtf.base.nlpcoreteam/enMMLU:                                    metric
+subject                                  
+STEM                             0.607461
+humanities                       0.683374
+other (business, health, misc.)  0.676694
+social sciences                  0.773071
+INFO: 2024-10-14 18:28:38,732: llmtf.base.nlpcoreteam/enMMLU: {'acc': 0.685150317271941}
+INFO: 2024-10-14 18:28:38,801: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-14 18:28:38,813: llmtf.base.evaluator: 
+mean	daru/treewayabstractive	daru/treewayextractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/USE	darumeru/cp_para_en	darumeru/cp_para_ru	darumeru/cp_sent_en	darumeru/cp_sent_ru	darumeru/ruMMLU	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/enMMLU	nlpcoreteam/ruMMLU	russiannlp/rucola_custom
+0.626	0.231	0.415	0.425	0.720	0.507	0.569	0.055	1.000	0.980	0.963	0.980	0.515	0.736	0.866	0.685	0.565	0.434
+INFO: 2024-10-14 18:31:34,379: llmtf.base.nlpcoreteam/ruMMLU: Processing Dataset: 767.40s
+INFO: 2024-10-14 18:31:34,382: llmtf.base.nlpcoreteam/ruMMLU: Results for nlpcoreteam/ruMMLU:
+INFO: 2024-10-14 18:31:34,428: llmtf.base.nlpcoreteam/ruMMLU:                                        metric
+subject                                      
+abstract_algebra                     0.340000
+anatomy                              0.385185
+astronomy                            0.651316
+business_ethics                      0.630000
+clinical_knowledge                   0.558491
+college_biology                      0.534722
+college_chemistry                    0.440000
+college_computer_science             0.530000
+college_mathematics                  0.360000
+college_medicine                     0.560694
+college_physics                      0.450980
+computer_security                    0.670000
+conceptual_physics                   0.582979
+econometrics                         0.429825
+electrical_engineering               0.572414
+elementary_mathematics               0.539683
+formal_logic                         0.341270
+global_facts                         0.320000
+high_school_biology                  0.696774
+high_school_chemistry                0.512315
+high_school_computer_science         0.690000
+high_school_european_history         0.715152
+high_school_geography                0.757576
+high_school_government_and_politics  0.595855
+high_school_macroeconomics           0.574359
+high_school_mathematics              0.440741
+high_school_microeconomics           0.563025
+high_school_physics                  0.390728
+high_school_psychology               0.695413
+high_school_statistics               0.527778
+high_school_us_history               0.637255
+high_school_world_history            0.687764
+human_aging                          0.582960
+human_sexuality                      0.625954
+international_law                    0.752066
+jurisprudence                        0.620370
+logical_fallacies                    0.588957
+machine_learning                     0.392857
+management                           0.669903
+marketing                            0.773504
+medical_genetics                     0.560000
+miscellaneous                        0.604087
+moral_disputes                       0.630058
+moral_scenarios                      0.220112
+nutrition                            0.679739
+philosophy                           0.639871
+prehistory                           0.577160
+professional_accounting              0.361702
+professional_law                     0.371578
+professional_medicine                0.470588
+professional_psychology              0.542484
+public_relations                     0.545455
+security_studies                     0.661224
+sociology                            0.726368
+us_foreign_policy                    0.770000
+virology                             0.463855
+world_religions                      0.678363
+INFO: 2024-10-14 18:31:34,436: llmtf.base.nlpcoreteam/ruMMLU:                                    metric
+subject                                  
+STEM                             0.517960
+humanities                       0.573844
+other (business, health, misc.)  0.544336
+social sciences                  0.623961
+INFO: 2024-10-14 18:31:34,444: llmtf.base.nlpcoreteam/ruMMLU: {'acc': 0.5650255790093989}
+INFO: 2024-10-14 18:31:34,525: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-14 18:31:34,574: llmtf.base.evaluator: 
+mean	daru/treewayabstractive	daru/treewayextractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/USE	darumeru/cp_para_en	darumeru/cp_para_ru	darumeru/cp_sent_en	darumeru/cp_sent_ru	darumeru/ruMMLU	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/enMMLU	nlpcoreteam/ruMMLU	russiannlp/rucola_custom
+0.626	0.231	0.415	0.425	0.720	0.507	0.569	0.055	1.000	0.980	0.963	0.980	0.515	0.736	0.866	0.685	0.565	0.434
+INFO: 2024-10-14 18:37:06,192: llmtf.base.darumeru/cp_para_ru: Processing Dataset: 533.52s
+INFO: 2024-10-14 18:37:06,211: llmtf.base.darumeru/cp_para_ru: Results for darumeru/cp_para_ru:
+INFO: 2024-10-14 18:37:06,232: llmtf.base.darumeru/cp_para_ru: {'symbol_per_token': 3.9799773492348676, 'len': 0.9741181435431592, 'lcs': 0.96}
+INFO: 2024-10-14 18:37:06,233: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [147075, 198, 271]
+INFO: 2024-10-14 18:37:06,233: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n']
+INFO: 2024-10-14 18:37:08,580: llmtf.base.daru/treewayabstractive: Processing Dataset: 1340.71s
+INFO: 2024-10-14 18:37:08,584: llmtf.base.daru/treewayabstractive: Results for daru/treewayabstractive:
+INFO: 2024-10-14 18:37:08,590: llmtf.base.daru/treewayabstractive: {'rouge1': 0.3325254442550525, 'rouge2': 0.12953796507174228}
+INFO: 2024-10-14 18:37:08,596: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-14 18:37:08,607: llmtf.base.evaluator: 
+mean	daru/treewayabstractive	daru/treewayextractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/USE	darumeru/cp_para_en	darumeru/cp_para_ru	darumeru/cp_sent_en	darumeru/cp_sent_ru	darumeru/ruMMLU	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/enMMLU	nlpcoreteam/ruMMLU	russiannlp/rucola_custom
+0.625	0.231	0.415	0.425	0.720	0.507	0.569	0.055	1.000	0.960	0.963	0.980	0.515	0.736	0.866	0.685	0.565	0.434
+INFO: 2024-10-14 18:37:09,536: llmtf.base.darumeru/cp_para_en: Loading Dataset: 3.30s
+INFO: 2024-10-14 18:51:43,471: llmtf.base.darumeru/cp_para_en: Processing Dataset: 873.93s
+INFO: 2024-10-14 18:51:43,473: llmtf.base.darumeru/cp_para_en: Results for darumeru/cp_para_en:
+INFO: 2024-10-14 18:51:43,478: llmtf.base.darumeru/cp_para_en: {'symbol_per_token': 4.435138601612895, 'len': 0.9922018370708586, 'lcs': 1.0}
+INFO: 2024-10-14 18:51:43,478: llmtf.base.evaluator: Ended eval
+INFO: 2024-10-14 18:51:43,491: llmtf.base.evaluator: 
+mean	daru/treewayabstractive	daru/treewayextractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/USE	darumeru/cp_para_en	darumeru/cp_para_ru	darumeru/cp_sent_en	darumeru/cp_sent_ru	darumeru/ruMMLU	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/enMMLU	nlpcoreteam/ruMMLU	russiannlp/rucola_custom
+0.625	0.231	0.415	0.425	0.720	0.507	0.569	0.055	1.000	0.960	0.963	0.980	0.515	0.736	0.866	0.685	0.565	0.434

llmtf_eval/evaluation_results.txt

@@ -1,2 +1,2 @@
-mean	daru/treewayabstractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/USE	darumeru/cp_para_en	darumeru/cp_para_ru	darumeru/cp_sent_en	darumeru/cp_sent_ru	darumeru/ruMMLU	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/enMMLU	nlpcoreteam/ruMMLU	russiannlp/rucola_custom
-0.641	0.231	0.430	0.720	0.507	0.574	0.062	1.000	0.980	0.963	0.981	0.516	0.736	0.866	0.685	0.565	0.434
+mean	daru/treewayabstractive	daru/treewayextractive	darumeru/MultiQ	darumeru/PARus	darumeru/RCB	darumeru/RWSD	darumeru/USE	darumeru/cp_para_en	darumeru/cp_para_ru	darumeru/cp_sent_en	darumeru/cp_sent_ru	darumeru/ruMMLU	darumeru/ruOpenBookQA	darumeru/ruWorldTree	nlpcoreteam/enMMLU	nlpcoreteam/ruMMLU	russiannlp/rucola_custom
+0.625	0.231	0.415	0.425	0.720	0.507	0.569	0.055	1.000	0.960	0.963	0.980	0.515	0.736	0.866	0.685	0.565	0.434

llmtf_eval/nlpcoreteam_enMMLU.jsonl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a0f460cb7376ca2ffc63c633d5530776583533df6ae72e6f7c3ccf165a22aae4
-size 72923317
+oid sha256:c78f219714889cebbfc87de87814e39c5e7a469cc5dac0fa797ffcbe7b6e2d94
+size 72923227

llmtf_eval/nlpcoreteam_enMMLU_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {

llmtf_eval/nlpcoreteam_enMMLU_total.jsonl

@@ -1,7 +1,7 @@
 {
     "task_name": "nlpcoreteam/enMMLU",
     "results": {
-        "acc": 0.6845408165512243
+        "acc": 0.685150317271941
     },
-    "leaderboard_result": 0.6845408165512243
+    "leaderboard_result": 0.685150317271941
 }

llmtf_eval/nlpcoreteam_ruMMLU.jsonl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:873b040ab28877f456e55160c430ddaba0c3f1dc48a7799b683b823703ca46bf
-size 110914983
+oid sha256:e0a26fbda0d442429c92882571731a03d8362f9e23d04ca96d20e4533fcad29b
+size 110914830

llmtf_eval/nlpcoreteam_ruMMLU_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {

llmtf_eval/nlpcoreteam_ruMMLU_total.jsonl

@@ -1,7 +1,7 @@
 {
     "task_name": "nlpcoreteam/ruMMLU",
     "results": {
-        "acc": 0.5648600813341976
+        "acc": 0.5650255790093989
     },
-    "leaderboard_result": 0.5648600813341976
+    "leaderboard_result": 0.5650255790093989
 }

llmtf_eval/russiannlp_rucola_custom_params.jsonl

@@ -19,7 +19,7 @@
             "temperature": 0.1,
             "top_k": 40,
             "top_p": 0.9,
-            "transformers_version": "4.38.2",
+            "transformers_version": "4.45.2",
             "trust_remote_code": false
         },
         "conversation_template": {