bonfimr commited on
Commit
9305717
1 Parent(s): 44ad7c2

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +16 -1
README.md CHANGED
@@ -36,8 +36,23 @@ O LORA está sendo utilizado da seguinte forma:
36
 
37
 
38
  ## RAG
39
- - A fazer.
40
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
41
 
42
  ### Avaliação
43
  Para avaliar o modelo, fizemos no notebook do Lora um dataframe que agrupa os resultados previstos pelo modelo e os resultados reais (pelos dados separados para teste), permitindo uma análise comparativa acerca do desempenho do modelo.
 
36
 
37
 
38
  ## RAG
39
+ O rag pode ser utilizado rodando o notebook 'rag.ipynb' presente na pasta `Notebooks`. Todos os detalhes da implementação são comentados no relatório correspondente. Porém o notebook segue a seguinte estrutura:
40
 
41
+ - Segmentação:
42
+
43
+ Carregamento da base de dados e quebra do conteúdo em chunks.
44
+
45
+ - Indexação:
46
+
47
+ Salvar os embeddings e o conteúdo usando FAISS
48
+
49
+ - Recuperação:
50
+
51
+ Carregar o Modelo fine-tuned, o tokenizador e as configs. Preparar o pipeline para interação com a doc_chain. Criar retriever para recuperar os dados da base. Criar retriever chain para conseguirmos "buscar" na base de dados.
52
+
53
+ - Geração:
54
+
55
+ Testes de geração no final do notebook.
56
 
57
  ### Avaliação
58
  Para avaliar o modelo, fizemos no notebook do Lora um dataframe que agrupa os resultados previstos pelo modelo e os resultados reais (pelos dados separados para teste), permitindo uma análise comparativa acerca do desempenho do modelo.