File size: 5,338 Bytes
8a76550
 
 
ca1045e
8a76550
 
 
 
 
ca1045e
bc1d730
 
7f372bb
bc1d730
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
7f372bb
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
---
language:
- th
pipeline_tag: text-generation
---
This model quantized from openthaigpt/openthaigpt-1.0.0-beta-7b-chat-ckpt-hf to 4-bit GUFF format. 

Reference :
- https://huggingface.co/openthaigpt/openthaigpt-1.0.0-beta-7b-chat-ckpt-hf
- https://github.com/ggerganov/llama.cpp#prepare-data--run
  
Example run inference in colab.  
```
# Download GUFF model from file and version.
!git clone https://github.com/ggerganov/llama.cpp.git
!pip install -r llama.cpp/requirements.txt
!./llama.cpp/main -m /content/openthaigpt-1.0.0-beta-7b-chat-ckpt-hf.gguf.Q4_0.bin -p "ยกตัวอย่างอาหารไทย สัก 5 ตัวอย่าง" -n 400 -e

#result example
#ยกตัวอย่างอาหารไทย สัก 5 ตัวอย่างมาแนะนำ
#ยากมากค่ะ เพราะแต่ละบ้านมีสูตรอาหารที่ต่างกัน บางคนทำอาหารอร่อยบางคนก็ใส่ขิงเยอะเกินไป ฯลฯ แต่เอาจริงๆ แล้ว อาหารไทยที่คนส่วนใหญ่ชอบทานคือ ปลาร้าทอด หรือปลาสลิดแห้ง แล้วก็ไก่ย่าง แต่นั่นไม่ได้แปลว่าคุณจะไม่มีอย่างอื่นที่จะลองได้ 🙂
#- ปลาร้าหรือปลาสลิงเป็นปลาน้ำเค็มที่ดองไว้ 2-7 เดือน บางครั้งก็ใช้ชื่อปลาสลิลก็ได้ ปลาสากจะปรุงแล้วกินกับไข่ต้ม น้ำจิ้มแจ่ว หรือผักหลายอย่าง และบางครั้งก็ใส่ข้าวด้วย ส่วนปลาสลิดแห้งคือปลาที่ใส่เกลือนานถึงปี จะทำให้หนังกรอบ เนื้อนุ่ม (เรียกอีกชื่อว่า "ปลากะทิก") บางบ้านก็เอามาทอดหรือแกงส้ม บางคนก็จะหั่นเป็นชิ้นเล็กๆ ใส่ในห่อใบตองแล้วนำไปตากแดดให้แห้ง 
#- ไก่ย่างเป็นไก่ที่รับประทานกันอย่างแพร่หลาย มี 2 ประเภทที่นิยม คือ แบบที่ใช้เกลือและพริกไทย หรือแบบที่ปรุงด้วยน้ำมันงาเค็มทั้งตัว บางครั้งก็มีการใส่น้ำปลาพริกป่นอีกเล็กน้อย ส่วนประเภทที่สองนั้นจะกินคู่กับผักหรือเครื่องเคียง เช่น ถั่วงอก ลูกกระวาน กะปิ น้ำจิ้มแจ่ว ฯลฯ
#- ข้าวสาร เป็นข้าวที่ต้มสุกแล้วห่อใบตอง แล้วเอาไปตากแดดให้เหลืองกรอบ บางสูตรก็นึ่งข้าวเหนียวลงในภาชนะดินเผา หรือยัดลงไปในหม้อทองแดงกับน้ำเกลือเค็ม แล้วนำฝาลงอีกชั้นหนึ่ง มีบางสูตรก็นึ่งข้าวเหนียวใส่ในกะละมังหรือกระป๋องไม้จิ้มฟันก่อน จึงจะใส่ในกระชัง 
#- หมูย่างเป็นหมูที่รับประทานกันในหลายวิธี เช่นหมักด้วยสมุนไพรแล้วเอาไปต้ม ผัดไฟ ย่าง น้ำปลา หรือกินแบบดิบๆ (เรียกว่า "บะระแต๋ว") บางบ้านก็ทำให้นุ่มโดยนำไปนึ่งกับดินเผา แล้วราดเกลือหรือน้ำมันงาก่อน ใส่ใบมะรุม ใบสะกัด แตงกวา ถั่วงอก ฯลฯ
#- ปลาร้าผัดขิง เป็นอาหารอย่างหนึ่งที่รับประทานกันในหลายวิธี เช่นหมักปลา
#llama_print_timings:        load time =    1602.86 ms
#llama_print_timings:      sample time =     354.40 ms /   400 runs   (    0.89 ms per token,  1128.68 tokens per second)
#llama_print_timings: prompt eval time =    6304.05 ms /     7 tokens (  900.58 ms per token,     1.11 tokens per second)
#llama_print_timings:        eval time =  338178.42 ms /   399 runs   (  847.56 ms per token,     1.18 tokens per second)
#llama_print_timings:       total time =  345091.08 ms
```