Update README.md

README.md

@@ -23,6 +23,47 @@ Finetuning was performed on the Dutch [BramVanroy/ultrachat_200k_dutch](https://
 
 See [Qwen/Qwen1.5-7B-Chat](https://huggingface.co/Qwen/Qwen1.5-7B-Chat) for all information about the base model.
 
+## Model usage
+
+A basic example of how to use the finetuned model.
+
+```
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+device = 'cuda'
+model_name = 'robinsmits/Qwen1.5-7B-Dutch-Chat-Sft-Bf16'
+
+model = AutoModelForCausalLM.from_pretrained(model_name, 
+                                             device_map = "auto", 
+                                             torch_dtype = torch.bfloat16)
+
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+
+messages = [{"role": "user", "content": "Hoi hoe gaat het ermee? Wat kun je me vertellen over appels?"}]
+
+encoded_ids = tokenizer.apply_chat_template(messages, 
+                                            add_generation_prompt = True,
+                                            return_tensors = "pt")
+
+generated_ids = model.generate(input_ids = encoded_ids.to(device), 
+                               max_new_tokens = 256,
+                               do_sample = True)
+decoded = tokenizer.batch_decode(generated_ids)
+print(decoded[0])
+```
+
+Below the chat template with the generated output.
+
+```
+<|im_start|>system
+Je bent een behulpzame AI assistent<|im_end|>
+<|im_start|>user
+Hoi hoe gaat het ermee? Wat kun je me vertellen over appels?<|im_end|>
+<|im_start|>assistant
+Hallo! Appels zijn zo'n heerlijk fruit. Ze komen in verschillende kleuren en smaken, zoals rode, witte, en goudbruine appels. Appels bevatten veel vezels en vitamines die goed zijn voor je gezondheid. Je kunt ze op verschillende manieren eten, bijvoorbeeld gesneden met wat kaneel of in een smoothie. Wil je meer weten over de voedingswaarde van appels of heb je interesse in andere fruitsoorten?<|im_end|>
+```
+
 ## Intended uses & limitations
 
 As with all LLM's this model can also experience bias and hallucinations. Regardless of how you use this model always perform the necessary testing and validation.