Deploy

app.py

@@ -0,0 +1,24 @@
+import gradio as gr
+import json
+import template
+import complex_extractor_gpt
+
+def greet(text, template_id):
+    if text == "":
+        raise gr.Error("Texto vazio! Informe um texto para extração de palavras complexas.")
+    
+    if template_id == "":
+        raise gr.Error("Template não selecionado! Selecione um template para continuar.")
+    
+    output = complex_extractor_gpt.extrair_complex_words(template.get_template(template_id), text)
+
+    return json.dumps(output, indent=4)
+
+inputs = [
+    gr.Textbox(lines=5, label="Digite o texto de entrada"),
+    gr.Dropdown(['template_1', 'template_2', 'template_3', 'template_4', 'template_5'], label="Selecione o Template para avaliação:")
+]
+
+demo = gr.Interface(fn=greet, inputs=inputs, outputs="json")
+
+demo.launch()

complex_extractor_gpt.py

@@ -0,0 +1,35 @@
+import os
+
+from typing import List
+from pydantic import BaseModel, Field
+from langchain.chat_models import ChatOpenAI
+from langchain.prompts import ChatPromptTemplate
+from langchain.utils.openai_functions import convert_pydantic_to_openai_function
+from langchain.output_parsers.openai_functions import JsonKeyOutputFunctionsParser
+
+OPENAI_API_KEY = os.environ.get("OPENAI_API_KEY")
+
+class PalavraComplexa(BaseModel):
+    """Informações de uma palavra complexa."""
+    palavra_complexa: str = Field(description="palavra complexa")
+    palavra_substituta: str = Field(description="substituto da palavra complexa")
+
+
+class Informacao(BaseModel):
+    """Lista de palavras complexas para extrair a informação."""
+    palavras: List[PalavraComplexa] = Field(description="Lista de informações de palavras complexas")
+
+
+
+def extrair_complex_words(template, texto):
+
+    model = ChatOpenAI(openai_api_key=OPENAI_API_KEY)
+    extraction_functions = [convert_pydantic_to_openai_function(Informacao)]
+    extraction_model = model.bind(functions=extraction_functions, function_call={"name":"Informacao"})
+
+    prompt_step = ChatPromptTemplate.from_template(template)
+    extraction_chain_model = prompt_step | extraction_model | JsonKeyOutputFunctionsParser(key_name="palavras")
+
+    retorno = extraction_chain_model.invoke({"trecho": texto})
+
+    return retorno

requirements.txt

@@ -0,0 +1,4 @@
+gradio
+langchain==0.0.348
+openai==1.3.8
+pydantic==1.10.8

template.py

@@ -0,0 +1,75 @@
+
+def _get_template_1():
+    return """Atue como um especialista em extrair palavras complexas de textos jurídicos. Considere como público alvo pessoas com baixa escolaridade, com idade de 18 anos.
+Não considere como complexo: nomes de pessoas, entidades, números.
+Considere apenas as palavras existentes no trecho. Se não houver palavras complexas, deixe vazio.
+Não exagere, não selecione como palavra complexa mais do que 40% das palavras do trecho. Dê preferência para as mais complexas.
+Uma palavra complexa não deve ser considerada como simplificação de outra palavra complexa.
+
+Extraia palavras complexas e suas respectivas palavras simples substitutas: {trecho}.
+
+Considere o gênero e grau das palavras ao redor da palavra complexa para sugerir a palavra simples substituta.
+Na palavra simples, faça o ajuste morfológico necessário para que a frase permaneça coesa e coerente.
+"""
+
+def _get_template_2():
+    return """Atue como um especialista em extrair palavras complexas de textos jurídicos. Considere como público alvo pessoas com baixa escolaridade, com idade de 20 anos.
+Não considere como complexo: nomes de pessoas, entidades, números.
+Considere apenas as palavras existentes no trecho. Se não houver palavras complexas, deixe vazio.
+Não selecione palavras simples como complexas e dê preferência para as mais complexas.
+Uma palavra complexa não deve ser considerada como simplificação de outra palavra complexa.
+
+Extraia palavras complexas e suas respectivas palavras simples substitutas: {trecho}.
+
+Considere o gênero e grau das palavras ao redor da palavra complexa para sugerir a palavra simples substituta. Na palavra simples, faça o ajuste morfológico necessário para que a frase permaneça coesa e coerente.
+"""
+
+def _get_template_3():
+    return """Atue como um especialista em extrair palavras complexas de textos jurídicos. Considere como público alvo pessoas com baixa ou média escolaridade, com idade de 24 anos.
+Não considere como complexo: nomes de pessoas, entidades, números.
+Considere apenas as palavras existentes no trecho. Se não houver palavras complexas, deixe vazio.
+Não selecione palavras simples como complexas e dê preferência para as mais complexas.
+Uma palavra complexa não deve ser considerada como simplificação de outra palavra complexa.
+
+Extraia palavras complexas e suas respectivas palavras simples substitutas: {trecho}.
+
+Considere o gênero e grau das palavras ao redor da palavra complexa para sugerir a palavra simples substituta. Na palavra simples, faça o ajuste morfológico necessário para que a frase permaneça coesa e coerente.
+"""
+
+def _get_template_4():
+    return """Atue como um especialista em extrair palavras complexas de textos jurídicos.
+Não considere como complexo: nomes de pessoas, entidades, números.
+Considere apenas as palavras existentes no trecho. Se não houver palavras complexas, deixe vazio.
+Não selecione palavras simples como complexas e dê preferência para as mais complexas.
+Uma palavra complexa não deve ser considerada como simplificação de outra palavra complexa.
+Considere como complexa palavras do juridiquês ou palavras formais.
+
+Extraia palavras complexas e suas respectivas palavras simples substitutas: {trecho}.
+
+Considere o gênero e grau das palavras ao redor da palavra complexa para sugerir a palavra simples substituta. Na palavra simples, faça o ajuste morfológico necessário para que a frase permaneça coesa e coerente.
+"""
+
+def _get_template_5():
+    return """Atue como um especialista em extrair palavras complexas de textos jurídicos.
+Não considere como complexo: nomes de pessoas, entidades, números ou datas
+Considere apenas as palavras existentes no trecho. Se não houver palavras complexas, deixe vazio.
+Não selecione palavras simples como complexas e dê preferência para as mais complexas.
+Uma palavra complexa não deve ser considerada como simplificação de outra palavra complexa.
+Considere como complexa palavras do juridiquês ou palavras formais.
+Se a simplificação de uma palavra for ela mesma, não considere como palavra complexa.
+
+Extraia palavras complexas e suas respectivas palavras simples substitutas: {trecho}.
+
+Considere o gênero e grau das palavras ao redor da palavra complexa para sugerir a palavra simples substituta. Na palavra simples, faça o ajuste morfológico necessário para que a frase permaneça coesa e coerente.
+"""
+
+templates = {}
+
+templates["template_1"] = _get_template_1()
+templates["template_2"] = _get_template_2()
+templates["template_3"] = _get_template_3()
+templates["template_4"] = _get_template_4()
+templates["template_5"] = _get_template_5()
+
+def get_template(template_id):
+    return templates[template_id]