немного причесал код, убрал лишние манипуляции с выдачей gpt

README.md

@@ -44,6 +44,7 @@ from transformers import AutoTokenizer, AutoModelForCausalLM
 device = "cuda" if torch.cuda.is_available() else "cpu"
 
 tokenizer = AutoTokenizer.from_pretrained("inkoziev/rugpt_interpreter")
+tokenizer.add_special_tokens({'bos_token': '<s>', 'eos_token': '</s>', 'pad_token': '<pad>'})
 model = AutoModelForCausalLM.from_pretrained("inkoziev/rugpt_interpreter")
 model.to(device)
 
@@ -51,8 +52,10 @@ model.to(device)
 # В конце добавляем символ "#"
 input_text = """<s>- Как тебя зовут?
 - Джульетта Мао #"""
-encoded_prompt = tokenizer.encode(input_text, add_special_tokens=False, return_tensors="pt")
-encoded_prompt = encoded_prompt.to(device)
+#input_text = """<s>- Что Предтечи забрали у Предшественников?
+#- Они узурпировали у них Мантию — защиту всего живого в галактике #"""
+
+encoded_prompt = tokenizer.encode(input_text, add_special_tokens=False, return_tensors="pt").to(device)
 
 output_sequences = model.generate(
     input_ids=encoded_prompt,
@@ -63,12 +66,10 @@ output_sequences = model.generate(
     repetition_penalty=1.2,
     do_sample=True,
     num_return_sequences=1,
-    pad_token_id=0
+    pad_token_id=tokenizer.pad_token_id,
 )
 
-generated_sequence = output_sequences[0].tolist()
-text = tokenizer.decode(output_sequences[0].tolist(), clean_up_tokenization_spaces=True)
+text = tokenizer.decode(output_sequences[0].tolist(), clean_up_tokenization_spaces=True)[len(input_text)+1:]
 text = text[: text.find('</s>')]
-text = text[text.find('#')+1:].strip() # Результат генерации содержит входную строку, поэтому отрезаем ее до символа "#".
 print(text)
 ```