vvv-knyazeva commited on
Commit
d443ca4
1 Parent(s): cabf168

Update stri.py

Browse files
Files changed (1) hide show
  1. stri.py +1 -17
stri.py CHANGED
@@ -38,22 +38,6 @@ annot = books['annotation']
38
 
39
  # Получение эмбеддингов аннотаций каждой книги в датасете
40
  max_len = 128
41
- # token_annot = annot.apply(lambda x: tokenizer.encode(x, add_special_tokens=True,
42
- # truncation=True, max_length=max_len))
43
-
44
- # padded = np.array([i + [0] * (max_len - len(i)) for i in token_annot.values]) # заполним недостающую длину нулями
45
- # attention_mask = np.where(padded != 0, 1, 0) # создадим маску, отметим где есть значения а где пустота
46
- # # Переведем numpy массивы в тензоры PyTorch
47
- # input_ids = torch.tensor(padded, dtype=torch.long)
48
- # attention_mask = torch.tensor(attention_mask, dtype=torch.long)
49
-
50
- # book_embeddings = []
51
- # for inputs, attention_masks in zip(input_ids, attention_mask):
52
- # with torch.no_grad():
53
- # book_embedding = model(inputs.unsqueeze(0), attention_mask=attention_masks.unsqueeze(0))
54
- # book_embedding = book_embedding[0][:, 0, :] #.detach().cpu().numpy()
55
- # book_embeddings.append(np.squeeze(book_embedding))
56
-
57
 
58
  # Определение запроса пользователя
59
  query = st.text_input("Введите запрос")
@@ -74,7 +58,7 @@ if st.button('**Generating recommendations**'):
74
 
75
  with torch.no_grad():
76
  query_embedding = model(query_padded.unsqueeze(0), query_mask.unsqueeze(0))
77
- query_embedding = query_embedding[0][:, 0, :] #.detach().cpu().numpy()
78
 
79
  # Вычисление косинусного расстояния между эмбеддингом запроса и каждой аннотацией
80
  cosine_similarities = torch.nn.functional.cosine_similarity(
 
38
 
39
  # Получение эмбеддингов аннотаций каждой книги в датасете
40
  max_len = 128
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
41
 
42
  # Определение запроса пользователя
43
  query = st.text_input("Введите запрос")
 
58
 
59
  with torch.no_grad():
60
  query_embedding = model(query_padded.unsqueeze(0), query_mask.unsqueeze(0))
61
+ query_embedding = query_embedding[0][:, 0, :]
62
 
63
  # Вычисление косинусного расстояния между эмбеддингом запроса и каждой аннотацией
64
  cosine_similarities = torch.nn.functional.cosine_similarity(