colab without gpu

!pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

!pip uninstall -y tensorflow && pip install tensorflow-cpu

import torch
from transformers import pipeline

تعيين المعالج (CPU)

DEVICE = torch.device("cpu")

تحميل الـ pipeline مع تمكين التخزين المؤقت

pipe = pipeline(
"text-generation",
model="unsloth/Phi-3-mini-4k-instruct",
trust_remote_code=True,
device=DEVICE,
use_cache=True, # تمكين التخزين المؤقت لتحسين الأداء
max_length=100, # تحديد الحد الأقصى للطول لتقليل استهلاك الذاكرة
torch_dtype=torch.float16 # استخدام دقة عائمة 16 بت إذا كان المدعوم
)

الرسالة التي تريد إرسالها للنموذج

messages = [
{"role": "user", "content": "Who are you?"}
]

توليد الرد

try:
output = pipe(messages)
print(output)
except RuntimeError as e:
print(f"حدث خطأ: {e}")