Spaces:

osiria
/

minilm-l6-h384-italian-cased-ner

Running

App Files Files Community

osiria commited on Oct 9, 2023

Commit

e710530

•

1 Parent(s): 243d541

Create app.py

Browse files

Files changed (1) hide show

app.py +216 -0

app.py ADDED Viewed

	@@ -0,0 +1,216 @@

+import os
+import gradio as gr
+import subprocess
+import sys
+def install(package):
+    subprocess.check_call([sys.executable, "-m", "pip", "install", package])
+install("numpy")
+install("torch")
+install("transformers")
+install("unidecode")
+import numpy as np
+import torch
+from transformers import AutoTokenizer
+from transformers import AutoModelForTokenClassification
+from collections import Counter
+from unidecode import unidecode
+import string
+import re
+tokenizer = AutoTokenizer.from_pretrained("osiria/minilm-l6-h384-italian-cased-ner")
+model = AutoModelForTokenClassification.from_pretrained("osiria/minilm-l6-h384-italian-cased-ner", num_labels = 5)
+device = torch.device("cpu")
+model = model.to(device)
+model.eval()
+from transformers import pipeline
+ner = pipeline('ner', model=model, tokenizer=tokenizer, device=-1)
+header = '''--------------------------------------------------------------------------------------------------
+<style>
+.vertical-text {
+    writing-mode: vertical-lr;
+    text-orientation: upright;
+    background-color:red;
+}
+</style>
+<center>
+<body>
+<span class="vertical-text" style="background-color:lightgreen;border-radius: 3px;padding: 3px;"> </span>
+<span class="vertical-text" style="background-color:orange;border-radius: 3px;padding: 3px;"> D</span>
+<span class="vertical-text" style="background-color:lightblue;border-radius: 3px;padding: 3px;">    E</span>
+<span class="vertical-text" style="background-color:tomato;border-radius: 3px;padding: 3px;">    M</span>
+<span class="vertical-text" style="background-color:lightgrey;border-radius: 3px;padding: 3px;"> O</span>
+<span class="vertical-text" style="background-color:#CF9FFF;border-radius: 3px;padding: 3px;"> </span>
+</body>
+</center>
+<br>
+'''
+maps = {"O": "NONE", "PER": "PER", "LOC": "LOC", "ORG": "ORG", "MISC": "MISC", "DATE": "DATE"}
+reg_month = "(?:gennaio|febbraio|marzo|aprile|maggio|giugno|luglio|agosto|settembre|ottobre|novembre|dicembre|january|february|march|april|may|june|july|august|september|october|november|december)"
+reg_date = "(?:\d{1,2}\°{0,1}|primo|\d{1,2}\º{0,1})" + " " + reg_month + " " + "\d{4}|"
+reg_date = reg_date + reg_month + " " + "\d{4}|"
+reg_date = reg_date + "\d{1,2}" + " " + reg_month
+reg_date = reg_date + "\d{1,2}" + "(?:\/|\.)\d{1,2}(?:\/|\.)" + "\d{4}|"
+reg_date = reg_date + "(?<=dal )\d{4}|(?<=al )\d{4}|(?<=nel )\d{4}|(?<=anno )\d{4}|(?<=del )\d{4}|"
+reg_date = reg_date + "\d{1,5} a\.c\.|\d{1,5} d\.c\."
+map_punct = {"’": "'", "«": '"', "»": '"', "”": '"', "“": '"', "–": "-", "$": ""}
+preps = "^di |^del |^dello |^della |^dei |^degli |^delle |^a |^al |^allo |^alla |^ai |^agli |^alle |^da |^dal |^dallo |^dalla |^dai |^dagli |^dalle |^in |^nel |^nello |^nella |^nei |^negli |^nelle |^con |^col |^coi |^su |^sul |^sullo |^sulla |^sui |^sugli |^sulle |^per "
+unk_tok = 9005
+merge_th_1 = 0.8
+merge_th_2 = 0.4
+min_th = 0.5
+def extract(text):
+    text = text.strip()
+    for mp in map_punct:
+        text = text.replace(mp, map_punct[mp])
+    text = re.sub("\[\d+\]", "", text)
+    for p in string.punctuation:
+            text = text.replace(p, " " + p + " ")
+    warn_flag = False
+    res_total = []
+    out_text = ""
+    for p_text in text.split("\n"):
+        if p_text:
+            toks = tokenizer.encode(p_text)
+            if unk_tok in toks:
+                warn_flag = True
+            res_orig = ner(p_text, aggregation_strategy = "first")
+            res_orig = [el for r, el in enumerate(res_orig) if len(el["word"].strip()) > 1]
+            res = []
+            for r, ent in enumerate(res_orig):
+                if len(res) > 0 and res[-1]["entity_group"] != "PER" and ent["score"] < merge_th_1 and ent["start"] <= res[-1]["end"] + 1 and ent["score"] <= res[-1]["score"]:
+                    res[-1]["word"] = res[-1]["word"] + " " + ent["word"]
+                    res[-1]["score"] = merge_th_1*(res[-1]["score"] > merge_th_2)
+                    res[-1]["end"] = ent["end"]
+                elif r < len(res_orig) - 1 and res_orig[r+1]["entity_group"] != "PER" and ent["score"] < merge_th_1 and res_orig[r+1]["start"] <= ent["end"] + 1 and res_orig[r+1]["score"] > ent["score"]:
+                    res_orig[r+1]["word"] = ent["word"] + " " + res_orig[r+1]["word"]
+                    res_orig[r+1]["score"] = merge_th_1*(res_orig[r+1]["score"] > merge_th_2)
+                    res_orig[r+1]["start"] = ent["start"]
+                else:
+                    res.append(ent)
+                if len(res) > 1 and res[-1]["entity_group"] == res[-2]["entity_group"] and res[-1]["start"] <= res[-2]["end"] + 1:
+                    res[-2]["word"] = res[-2]["word"] + " " + res[-1]["word"]
+                    res[-2]["score"] = 0.5*(res[-1]["score"] + res[-2]["score"])
+                    res[-2]["end"] = res[-1]["end"]
+            res = [el for r, el in enumerate(res) if el["score"] >= min_th]
+            for r, ent in enumerate(res):
+                if ent["entity_group"] != "PER":
+                    res[r]["word"] = p_text[ent["start"]:ent["end"]]
+                    len_start = len(res[r]["word"])
+                    res[r]["word"] = re.sub(preps, "", res[r]["word"])
+                    len_end = len(res[r]["word"])
+                    off = len_start - len_end
+                    if off:
+                        res[r]["start"] = res[r]["start"] + off
+            dates = [{"entity_group": "DATE", "score": 1.0, "word": p_text[el.span()[0]:el.span()[1]], "start": el.span()[0], "end": el.span()[1]} for el in re.finditer(reg_date, p_text, flags = re.IGNORECASE)]
+            res.extend(dates)
+            res = sorted(res, key = lambda t: t["start"])
+            res_total.extend(res)
+            chunks = [("", "", 0, "NONE")]
+            for el in res:
+                if maps[el["entity_group"]] != "NONE":
+                    tag = maps[el["entity_group"]]
+                    chunks.append((p_text[el["start"]: el["end"]], p_text[chunks[-1][2]:el["end"]], el["end"], tag))
+            if chunks[-1][2] < len(p_text):
+                chunks.append(("END", p_text[chunks[-1][2]:], -1, "NONE"))
+            chunks = chunks[1:]
+            n_text = []
+            for i, chunk in enumerate(chunks):
+                rep = chunk[0]
+                if chunk[3] == "PER":
+                    rep = '<span style="background-color:lightgreen;border-radius: 3px;padding: 3px;"><b>ᴘᴇʀ</b> ' + chunk[0] + '</span>'
+                elif chunk[3] == "LOC":
+                    rep = '<span style="background-color:orange;border-radius: 3px;padding: 3px;"><b>ʟᴏᴄ</b> ' + chunk[0] + '</span>'
+                elif chunk[3] == "ORG":
+                    rep = '<span style="background-color:lightblue;border-radius: 3px;padding: 3px;"><b>ᴏʀɢ</b> ' + chunk[0] + '</span>'
+                elif chunk[3] == "MISC":
+                    rep = '<span style="background-color:tomato;border-radius: 3px;padding: 3px;"><b>ᴍɪsᴄ</b> ' + chunk[0] + '</span>'
+                elif chunk[3] == "DATE":
+                    rep = '<span style="background-color:lightgrey;border-radius: 3px;padding: 3px;"><b>ᴅᴀᴛᴇ</b> ' + chunk[0] + '</span>'
+                n_text.append(chunk[1].replace(chunk[0], rep))
+            n_text = "".join(n_text)
+            if out_text:
+                out_text = out_text + "<br>" + n_text
+            else:
+                out_text = n_text
+    out_text = out_text.replace(" ,", ",").replace(" .", ".").replace(" :", ":").replace(" ;", ";").replace(" ' ", "'").replace("( ", "(").replace(" )", ")").replace(" !", "!").replace(" ?", "?")
+    tags = [el["word"] for el in res_total if el["entity_group"] not in ['DATE', None]]
+    cnt = Counter(tags)
+    tags = sorted(list(set([el for el in tags if cnt[el] > 1])), key = lambda t: cnt[t]*np.exp(-tags.index(t)))[::-1]
+    tags = [" ".join(re.sub("[^A-Za-z0-9\s]", "", unidecode(tag)).split()) for tag in tags]
+    tags = ['<span style="background-color:#CF9FFF;border-radius: 3px;padding: 3px;"><b>ᴛᴀɢ </b> ' + el + '</span>' for el in tags]
+    tags = "    ".join(tags)
+    if tags:
+        out_text = out_text + "<br><br><b>Tags:</b> " + tags
+    if warn_flag:
+        out_text = out_text + "<br><br><b>Warning ⚠️:</b> Unknown tokens detected in text.  The model might behave erratically"
+    return out_text
+init_text = '''L'Agenzia spaziale europea, nota internazionalmente con l'acronimo ESA dalla denominazione inglese European Space Agency, è un'agenzia internazionale fondata nel 1975 incaricata di coordinare i progetti spaziali di 22 Paesi europei. Il suo quartier generale si trova a Parigi in Francia, con uffici a Mosca, Bruxelles, Washington e Houston. Il personale dell'ESA del 2016 ammontava a 2 200 persone (esclusi sub-appaltatori e le agenzie nazionali) e il budget del 2022 è di 7,15 miliardi di euro. Attualmente il direttore generale dell'agenzia è l'austriaco Josef Aschbacher, il quale ha sostituito il tedesco Johann-Dietrich Wörner il primo marzo 2021.
+Lo spazioporto dell'ESA è il Centre Spatial Guyanais a Kourou, nella Guyana francese, un sito scelto, come tutte le basi di lancio, per via della sua vicinanza con l'equatore. Durante gli ultimi anni il lanciatore Ariane 5 ha consentito all'ESA di raggiungere una posizione di primo piano nei lanci commerciali e l'ESA è il principale concorrente della NASA nell'esplorazione spaziale.
+Le missioni scientifiche dell'ESA hanno le loro basi al Centro europeo per la ricerca e la tecnologia spaziale (ESTEC) di Noordwijk, nei Paesi Bassi. Il Centro europeo per le operazioni spaziali (ESOC), di Darmstadt in Germania, è responsabile del controllo dei satelliti ESA in orbita. Le responsabilità del Centro europeo per l'osservazione della Terra (ESRIN) di Frascati, in Italia, includono la raccolta, l'archiviazione e la distribuzione di dati satellitari ai partner dell'ESA; oltre a ciò, la struttura agisce come centro di informazione tecnologica per l'intera agenzia. [...]
+L'Agenzia Spaziale Italiana (ASI) venne fondata nel 1988 per promuovere, coordinare e condurre le attività spaziali in Italia. Opera in collaborazione con il Ministero dell'università e della ricerca scientifica e coopera in numerosi progetti con entità attive nella ricerca scientifica e nelle attività commerciali legate allo spazio. Internazionalmente l'ASI fornisce la delegazione italiana per l'Agenzia Spaziale Europea e le sue sussidiarie.'''
+init_output = extract(init_text)
+with gr.Blocks(css="footer {visibility: hidden}", theme=gr.themes.Default(text_size="lg", spacing_size="lg")) as interface:
+    with gr.Row():
+        gr.Markdown(header)
+    with gr.Row():
+        text = gr.Text(label="Extract entities", lines = 10, value = init_text)
+    with gr.Row():
+        with gr.Column():
+            button = gr.Button("Extract").style(full_width=False)
+    with gr.Row():
+        with gr.Column():
+            entities = gr.Markdown(init_output)
+    with gr.Row():
+        with gr.Column():
+            gr.Markdown("<center>The input examples in this demo are extracted from https://it.wikipedia.org</center>")
+    button.click(extract, inputs=[text], outputs = [entities])
+interface.launch()