Update README.md
Browse files
README.md
CHANGED
@@ -36,8 +36,23 @@ O LORA está sendo utilizado da seguinte forma:
|
|
36 |
|
37 |
|
38 |
## RAG
|
39 |
-
|
40 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
41 |
|
42 |
### Avaliação
|
43 |
Para avaliar o modelo, fizemos no notebook do Lora um dataframe que agrupa os resultados previstos pelo modelo e os resultados reais (pelos dados separados para teste), permitindo uma análise comparativa acerca do desempenho do modelo.
|
|
|
36 |
|
37 |
|
38 |
## RAG
|
39 |
+
O rag pode ser utilizado rodando o notebook 'rag.ipynb' presente na pasta `Notebooks`. Todos os detalhes da implementação são comentados no relatório correspondente. Porém o notebook segue a seguinte estrutura:
|
40 |
|
41 |
+
- Segmentação:
|
42 |
+
|
43 |
+
Carregamento da base de dados e quebra do conteúdo em chunks.
|
44 |
+
|
45 |
+
- Indexação:
|
46 |
+
|
47 |
+
Salvar os embeddings e o conteúdo usando FAISS
|
48 |
+
|
49 |
+
- Recuperação:
|
50 |
+
|
51 |
+
Carregar o Modelo fine-tuned, o tokenizador e as configs. Preparar o pipeline para interação com a doc_chain. Criar retriever para recuperar os dados da base. Criar retriever chain para conseguirmos "buscar" na base de dados.
|
52 |
+
|
53 |
+
- Geração:
|
54 |
+
|
55 |
+
Testes de geração no final do notebook.
|
56 |
|
57 |
### Avaliação
|
58 |
Para avaliar o modelo, fizemos no notebook do Lora um dataframe que agrupa os resultados previstos pelo modelo e os resultados reais (pelos dados separados para teste), permitindo uma análise comparativa acerca do desempenho do modelo.
|