Update models and default texts

app.py

@@ -15,16 +15,16 @@ TRANSLATION_NL_TO_EN = "translation_nl_to_en"
 
 GENERATOR_LIST = [
     {
-        "model_name": "yhavinga/t5-small-24L-ccmatrix-multi",
-        "desc": "T5 small nl24 ccmatrix en->nl",
+        "model_name": "yhavinga/longt5-local-eff-large-nl8-voc8k-ddwn-neddx2-en-nl",
+        "desc": "longT5 large nl8 en->nl",
         "task": TRANSLATION_EN_TO_NL,
-        "split_sentences": True,
+        "split_sentences": False,
     },
     {
-        "model_name": "yhavinga/t5-small-24L-ccmatrix-multi",
-        "desc": "T5 small nl24 ccmatrix nl-en",
+        "model_name": "yhavinga/longt5-local-eff-large-nl8-voc8k-ddwn-neddx2-nl-en",
+        "desc": "longT5 large nl8 nl->en",
         "task": TRANSLATION_NL_TO_EN,
-        "split_sentences": True,
+        "split_sentences": False,
     },
     {
         "model_name": "Helsinki-NLP/opus-mt-en-nl",
@@ -39,10 +39,16 @@ GENERATOR_LIST = [
         "split_sentences": True,
     },
     {
-        "model_name": "yhavinga/longt5-local-eff-large-nl8-voc8k-ddwn-neddx2-en-nl",
-        "desc": "longT5 large nl8 en->nl",
+        "model_name": "yhavinga/t5-small-24L-ccmatrix-multi",
+        "desc": "T5 small nl24 ccmatrix en->nl",
         "task": TRANSLATION_EN_TO_NL,
-        "split_sentences": False,
+        "split_sentences": True,
+    },
+    {
+        "model_name": "yhavinga/t5-small-24L-ccmatrix-multi",
+        "desc": "T5 small nl24 ccmatrix nl-en",
+        "task": TRANSLATION_NL_TO_EN,
+        "split_sentences": True,
     },
     {
         "model_name": "yhavinga/byt5-small-ccmatrix-en-nl",

default_texts.py

@@ -1,5 +1,5 @@
 default_texts = {
-    "A Scanner Darkly": {
+    "A Scanner Darkly (en)": {
         "url": "https://en.wikipedia.org/wiki/A_Scanner_Darkly",
         "year": 1977,
         "text": """"You're chickening out?" the girl said, haughtily, with contempt. "You don't have it at gut level to stick with a decision? To get off the filth? You're going to crawl back out of here on your belly?" All three of them glared at him with anger.
@@ -10,18 +10,7 @@ default_texts = {
 "You'll have to plead," the other said. "You may have to do a lot of heavy pleading. And even then we may not want you."
 "In fact, we don't want you now," the girl said.""",
     },
-    "The Invisible Censor": {
-        "url": "https://www.gutenberg.org/files/35091/35091-h/35091-h.html",
-        "year": 1921,
-        "text": """It was a wet, gusty night and I had a lonely walk home. By taking the river road, though I hated it, I saved two miles, so I sloshed ahead trying not to think at all. Through the barbed wire fence I could see the racing river. Its black swollen body writhed along with extraordinary swiftness, breathlessly silent, only occasionally making a swishing ripple. I did not enjoy looking at it. I was somehow afraid.
-
-And there, at the end of the river road where I swerved off, a figure stood waiting for me, motionless and enigmatic. I had to meet it or turn back.
-
-It was a quite young girl, unknown to me, with a hood over her head, and with large unhappy eyes.
-
-“My father is very ill,” she said without a word of introduction. “The nurse is frightened. Could you come in and help?”""",
-    },
-    "ISS Crash 2031": {
+    "ISS Crash 2031 (en)": {
         "url": "https://www.bbc.com/news/science-environment-60246032",
         "year": 2022,
         "text": """The International Space Station (ISS) will continue working until 2030, before plunging into the Pacific Ocean in early 2031, according to Nasa.
@@ -36,23 +25,23 @@ Nasa said that in the future space activities close to Earth would be led by the
 
 The ISS - a joint project involving five space agencies - has been in orbit since 1998 and has been continuously crewed since 2000. More than 3,000 research investigations have taken place in its microgravity laboratory.""",
     },
-    "Fish Dinner": {
-        "url": "https://www.goodreads.com/en/book/show/274065",
-        "year": 1941,
-        "text": """You must consider of it less narrowly: sub specie aeternitatis. Supposition is, every conceivable bunch of circumstances, that is to say, every conceivable world, exists: but unworlded, unbunched: to our more mean capacities an unpassable bog or flux of seas, cities, rivers, lakes, wolds and deserts and mountain ranges, all with their plants, forests, mosses, water-weeds, what you will; and all manner of peoples, beasts, birds, fishes, creeping things, climes, dreams, loves, loathings, abominations, ecstasies, dissolutions, hopes, fears, forgetfulnesses, infinite in variety, infinite in number, fantasies beyond nightmare or madness. All this in potentia. All are there, even-just as are all the particulars in a landscape: He, like as the landscape-painter, selects and orders. The one paints a picture, the Other creates a world.""",
-    },
-    "Encylopedia of Swearing": {
+    "Encylopedia of Swearing (en)": {
         "url": "https://www.academia.edu/32398800/Encyclopedia_of_Swearing",
         "year": 2006,
         "text": """"Animal terms figure notably in the history of swearing, although they were not a major feature of Anglo-Saxon literature. The major exception was wulf, used to refer to a cruel, rapacious, or evil person, often in the title “the Devil’s wolf.” Otherwise, the chosen animals themselves are not especially dangerous or repulsive, though some are poisonous, such as the snake, and others malodorous, such as the skunk and polecat. For some cultural reason the pig provides the richest verbal field, together with the variants sow and swine. (The same pattern is seen, interestingly, in the dominance of French cochon and German schweinhund.) Swine is the oldest term in the field, being recorded in Chaucer’s richest swearing resource, the Wife of Bath, who condemns “Metellius, the foule cherl, the swyn” (Prologue l. 460). Unlike sow, swine continues to have resonance in swearing in the British Isles, especially among the older generation, while pig has become more a feature of U. S. swearing, having been especially fashionable among radical youth in the 1960s as an opprobrious term for the police.""",
     },
-    "Hersenschimmen": {
+    "Het Verboden Rijk (nl)": {
+        "url": "https://nl.wikipedia.org/wiki/Het_Verboden_Rijk",
+        "year": 1932,
+        "text": """Geduldig als een dode zat ik op het dek van de boot te wachten die mij de stroom op zou varen. Het was een sombere dag. De vele kleuren van Lisboa waren verduisterd door een nevel die hoogst zelden de mond van de Taag kan vinden. Het duurde lang. Telkens kwamen nog een paar mensen of een paar vaten de plank over. Maar opeens stroomde een brede strook water tussen de stroom en de oever. Ik zag een ruiter wegrijden, ik kende zijn gelaat: een koerier, hij moest berichten dat ik veilig vertrokken was. Maar wie zou mij beletten in het water te springen en met enkele armslagen de oever weer te bereiken! Ik deed het niet, al was het gemakkelijk. Weinig wist ik dat ik later toch dien sprong zou doen om een duizendvoudigen afstand te overzwemmen, niet meer om mijn ziel, maar om mijn lichaam te redden, en een stuk papier."""
+    },
+    "Hersenschimmen (nl)": {
         "url": "https://www.bibliotheek.nl/catalogus/titel.37120397X.html/hersenschimmen/",
         "year": 1960,
         "text": """Misschien komt het door de sneeuw dat ik me ’s morgens al zo moe voel. Vera niet, zij houdt van sneeuw. Volgens haar gaat er niks boven een sneeuwlandschap. Als de sporen van de mens uit de natuur verdwijnen, als alles één smetteloze witte vlakte wordt; zo mooi! Dwepend bijna zegt ze dat. Maar lang duurt die toestand hier niet. Al na een paar uur zie je overal schoenafdrukken, bandensporen en worden de hoofdwegen door sneeuwruimers schoongeploegd.
 Ik hoor haar in de keuken bezig met de koffie. Alleen de okergele haltepaal van de schoolbus geeft nog aan waar de Field Road langs ons huis loopt. Ik begrijp trouwens niet waar de kinderen blijven vandaag. Iedere ochtend sta ik hier zo voor het raam. Eerst controleer ik de temperatuur en dan wacht ik tot ze in de vroege winterochtend van alle kanten tussen de boomstammen tevoorschijn komen met hun rugtassen, hun kleurige mutsen en dassen en hun schelle Amerikaanse stemmen. Die bonte kleuren stemmen me vrolijk. Vuurrood, kobaltblauw. Eén jongetje heeft een eigeel jack aan met een pauw op de rug geborduurd, een jongetje dat licht hinkt en altijd als laatste in de schoolbus klautert. Dat is Richard, de zoon van Tom, de vuurtorenwachter, geboren met een te kort linkerbeen. Een hemelsblauw wijduitstaande pauwenstaart vol donker starende ogen. Ik begrijp niet waar ze blijven vandaag.""",
     },
-    "De Uitvreter": {
+    "De Uitvreter (nl)": {
         "url": "https://www.jeugdbibliotheek.nl/12-18-jaar/lezen-voor-de-lijst/15-18-jaar/niveau-5/de-uitvreter-titaantjes-dichtertje.html",
         "year": 1911,
         "text": """‘Is u Amsterdammer?’ vroeg Bavink. ‘Ja, Goddank,’ zei Japi. ‘Ik ook,’ zei Bavink. ‘U schildert niet?’ vroeg Bavink. Het was een rare burgermansvraag, maar Bavink dacht aldoor maar: wat zou dat toch voor een kerel wezen? ‘Nee, Goddank,’ zei Japi, ‘en ik dicht ook niet en ik ben geen natuurvriend en geen anarchist. Ik ben Goddank heelemaal niks.’