nograd

app.py

@@ -82,8 +82,9 @@ def merge_dialog_data(
 
 tokenized_dialog = tokenize_dialog_data(tokenizer, sample, MAX_SEQ_LENGTH, sorted_dialog_columns)
 tokens = merge_dialog_data(tokenizer, tokenized_dialog)
-logits = model(**tokens).logits
-probas = torch.sigmoid(logits)[0].cpu().detach().numpy()
+with torch.inference_mode():
+    logits = model(**tokens).logits
+    probas = torch.sigmoid(logits)[0].cpu().detach().numpy()
 
 st.metric(
     label='Вероятность того, что последний ответ диалогового агента релевантный',