Update README.md
Browse files
README.md
CHANGED
@@ -29,7 +29,7 @@ model v2 :2023.3.12(百度百科知识增强)
|
|
29 |
|
30 |
1、请使用下面方式调用模型输出结果,Hosted inference API的结果因为我无法修改后台推理程序,不能保证模型输出效果,只是举了两个例子展示。
|
31 |
|
32 |
-
2、模型采用top
|
33 |
|
34 |
3、目前模型还是初步迭代完2epoch,数据种类和数据量现阶段算是比较少模型效果的话勉勉强强,后续还会加入更多数据进行迭代优化,到时候会更新。
|
35 |
|
@@ -58,13 +58,13 @@ model_trained.to(device)
|
|
58 |
def postprocess(text):
|
59 |
return text.replace(".", "").replace('</>','')
|
60 |
|
61 |
-
def answer_fn(text,
|
62 |
encoding = tokenizer(text=[text], truncation=True, padding=True, max_length=256, return_tensors="pt").to(device)
|
63 |
-
out = model.generate(**encoding, return_dict_in_generate=True, output_scores=False, max_length=512,temperature=0.5,do_sample=True,repetition_penalty=3.0 ,
|
64 |
result = tokenizer.batch_decode(out["sequences"], skip_special_tokens=True)
|
65 |
return postprocess(result[0])
|
66 |
text="宫颈癌的早期会有哪些危险信号"
|
67 |
-
result=answer_fn(text,
|
68 |
print('prompt:',text)
|
69 |
print("result:",result)
|
70 |
```
|
|
|
29 |
|
30 |
1、请使用下面方式调用模型输出结果,Hosted inference API的结果因为我无法修改后台推理程序,不能保证模型输出效果,只是举了两个例子展示。
|
31 |
|
32 |
+
2、模型采用top k的解码方式,每次运行可能结果都略微有些不同。
|
33 |
|
34 |
3、目前模型还是初步迭代完2epoch,数据种类和数据量现阶段算是比较少模型效果的话勉勉强强,后续还会加入更多数据进行迭代优化,到时候会更新。
|
35 |
|
|
|
58 |
def postprocess(text):
|
59 |
return text.replace(".", "").replace('</>','')
|
60 |
|
61 |
+
def answer_fn(text, top_k=50):
|
62 |
encoding = tokenizer(text=[text], truncation=True, padding=True, max_length=256, return_tensors="pt").to(device)
|
63 |
+
out = model.generate(**encoding, return_dict_in_generate=True, output_scores=False, max_length=512,temperature=0.5,do_sample=True,repetition_penalty=3.0 ,top_k=top_k)
|
64 |
result = tokenizer.batch_decode(out["sequences"], skip_special_tokens=True)
|
65 |
return postprocess(result[0])
|
66 |
text="宫颈癌的早期会有哪些危险信号"
|
67 |
+
result=answer_fn(text, top_k=50)
|
68 |
print('prompt:',text)
|
69 |
print("result:",result)
|
70 |
```
|