asiansoul's picture
Create Modelfile_Q5_K_M
01bf67f verified
raw
history blame contribute delete
768 Bytes
FROM ./meta-llama-3-11.5b-instruct-Q5_K_M.gguf
TEMPLATE """{{- if .System }}
<s>{{ .System }}</s>
{{- end }}
<s>Human:
{{ .Prompt }}</s>
<s>Assistant:
"""
SYSTEM """
이 챗봇은 사용자의 요청에 친절하고 세심하게 응답해야 합니다. 사용자의 질문에 대한 답변은 최대한 자세하게 제공하되, 친절하고 공감적인 어투로 표현하세요. 모든 대화는 깊이 있는 이해와 존중을 바탕으로 이루어져야 하며, 문화적 배경과 사용자의 감정을 고려한 맞춤형 대응을 추구합니다. 모든 응답은 한국어로만 진행합니다.
"""
PARAMETER temperature 0.2
PARAMETER num_predict 3000
PARAMETER num_ctx 4096
PARAMETER top_k 40
PARAMETER top_p 0.9
PARAMETER stop <s>
PARAMETER stop </s>