README.md

---
base_model: TinyLlama/TinyLlama-1.1B-Chat-v1.0
library_name: peft
---

# Modelo Tiny Llama com Fine Tuning (LORA)

Este repositório contém um modelo de linguagem Tiny Llama 1 treinado com Fine Tuning pelo uso do LORA. Esse modelo está especializado em responder perguntas relacionadas a legislação da Universidade Federal do Amazonas.

O repositório contém os dados do modelo, uma pasta `Relatórios`, em que se encontram os relatórios de pré processamento, desempenho do modelo e de eficácia do sistema. Além disso, a pasta `Notebooks`, é onde temos todos os notebooks utilizados para realizar o fine tuning desse modelo, desde o pré processamento até o uso do RAG.


## Pré Processamento
No pré processamento, foi utilizado o OCR para extrair as informações dos PDFs das legislações e armazenar elas em um arquivo de texto. Com os textos extraídos, geramos uma base de dados sintética de instruções, fazendo requisições para a API do modelo `Llama-3-70B-Instruct` e usando um prompt em inglês.


## LORA
O LORA está sendo utilizado da seguinte forma:
- Configuração do LORA:

    lora_r, lora_alpha, lora_dropout: Esses parâmetros controlam o tamanho e a complexidade das matrizes de baixo rank adicionadas a cada camada.
    peft_config: Essa configuração define os parâmetros do LORA para o modelo.

- Carregamento do modelo base:

    O modelo pré-treinado TinyLlama-1.1B-Chat-v1.0 é carregado com a configuração de quantização para economizar memória.

- Criação do modelo fine-tuned:

    O modelo base é combinado com a configuração LORA para criar um novo modelo que será treinado nos dados específicos.

- Treinamento:

    O modelo fine-tuned é treinado nos dados de treinamento, ajustando os parâmetros do LORA para a tarefa específica de responder perguntas sobre legislação.



## RAG
- A fazer.


### Avaliação
Para avaliar o modelo, fizemos no notebook do Lora um dataframe que agrupa os resultados previstos pelo modelo e os resultados reais (pelos dados separados para teste), permitindo uma análise comparativa acerca do desempenho do modelo.