mxmax commited on
Commit
ab41742
1 Parent(s): fe92635

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +4 -4
README.md CHANGED
@@ -29,7 +29,7 @@ model v2 :2023.3.12(百度百科知识增强)
29
 
30
  1、请使用下面方式调用模型输出结果,Hosted inference API的结果因为我无法修改后台推理程序,不能保证模型输出效果,只是举了两个例子展示。
31
 
32
- 2、模型采用top p的解码方式,每次运行可能结果都略微有些不同。
33
 
34
  3、目前模型还是初步迭代完2epoch,数据种类和数据量现阶段算是比较少模型效果的话勉勉强强,后续还会加入更多数据进行迭代优化,到时候会更新。
35
 
@@ -58,13 +58,13 @@ model_trained.to(device)
58
  def postprocess(text):
59
  return text.replace(".", "").replace('</>','')
60
 
61
- def answer_fn(text, top_p=0.6):
62
  encoding = tokenizer(text=[text], truncation=True, padding=True, max_length=256, return_tensors="pt").to(device)
63
- out = model.generate(**encoding, return_dict_in_generate=True, output_scores=False, max_length=512,temperature=0.5,do_sample=True,repetition_penalty=3.0 ,top_p=top_p)
64
  result = tokenizer.batch_decode(out["sequences"], skip_special_tokens=True)
65
  return postprocess(result[0])
66
  text="宫颈癌的早期会有哪些危险信号"
67
- result=answer_fn(text, top_p=0.6)
68
  print('prompt:',text)
69
  print("result:",result)
70
  ```
 
29
 
30
  1、请使用下面方式调用模型输出结果,Hosted inference API的结果因为我无法修改后台推理程序,不能保证模型输出效果,只是举了两个例子展示。
31
 
32
+ 2、模型采用top k的解码方式,每次运行可能结果都略微有些不同。
33
 
34
  3、目前模型还是初步迭代完2epoch,数据种类和数据量现阶段算是比较少模型效果的话勉勉强强,后续还会加入更多数据进行迭代优化,到时候会更新。
35
 
 
58
  def postprocess(text):
59
  return text.replace(".", "").replace('</>','')
60
 
61
+ def answer_fn(text, top_k=50):
62
  encoding = tokenizer(text=[text], truncation=True, padding=True, max_length=256, return_tensors="pt").to(device)
63
+ out = model.generate(**encoding, return_dict_in_generate=True, output_scores=False, max_length=512,temperature=0.5,do_sample=True,repetition_penalty=3.0 ,top_k=top_k)
64
  result = tokenizer.batch_decode(out["sequences"], skip_special_tokens=True)
65
  return postprocess(result[0])
66
  text="宫颈癌的早期会有哪些危险信号"
67
+ result=answer_fn(text, top_k=50)
68
  print('prompt:',text)
69
  print("result:",result)
70
  ```