Update README_zh.md

README_zh.md

@@ -12,7 +12,6 @@ license: apache-2.0
 2. 使用 GLU (Gated Linear Unit) [^2] 替换普通的激活函数。
 3. 设置 attention dropout 为 0 以方便应用 `xformers` 和 `flash_attn` 等优化。
 4. 使用 Unpadding 技术去除对 padding token 的无用计算 [^3]（默认关闭，需要结合 `flash_attn` 或 `xformers` 使用来获得最高加速）。
-5. 设置 `vocab_size % 64 = 0`。
 
 
 ### 推荐：启用 Unpadding 和 xformers 加速
@@ -32,7 +31,7 @@ elif pytorch 使用 pip 安装 :
 ```
 更多信息可参考 [installing-xformers](https://github.com/facebookresearch/xformers?tab=readme-ov-file#installing-xformers)。
 
-然后，加载模型时设置 `unpad_inputs` 和 `use_memory_efficient_attention` 为 `true`，并启用 `fp16` 混合精度计算，即可获得最快加速。
+然后，加载模型时设置 `unpad_inputs` 和 `use_memory_efficient_attention` 为 `true`，并设置 `torch_dtype` 为 `torch.float16` (or `torch.bfloat16`)，即可获得加速。
 
 ```python
 import torch
@@ -46,11 +45,13 @@ model = AutoModel.from_pretrained(
     trust_remote_code=True,
     unpad_inputs=True,
     use_memory_efficient_attention=True,
+    torch_dtype=torch.float16
 ).to(device)
 
-with torch.autocast(device_type=device.type, dtype=torch.float16):  # 或bfloat16
-    with torch.inference_mode():
-        outputs = model(**inputs.to(device))
+inputs = tokenzier(['test input'], truncation=True, max_length=8192, padding=True, return_tensors='pt')
+
+with torch.inference_mode():
+    outputs = model(**inputs.to(device))
 
 ```
 也可以直接修改模型的 `config.json` 中 `unpad_inputs` 和 `use_memory_efficient_attention` 为 `true`，省去代码中的设置。
@@ -72,6 +73,21 @@ with torch.autocast(device_type=device.type, dtype=torch.float16):  # 或bfloat1
 
 ---
 
+
+## Citation
+```
+@misc{zhang2024mgte,
+  title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval}, 
+  author={Xin Zhang and Yanzhao Zhang and Dingkun Long and Wen Xie and Ziqi Dai and Jialong Tang and Huan Lin and Baosong Yang and Pengjun Xie and Fei Huang and Meishan Zhang and Wenjie Li and Min Zhang},
+  year={2024},
+  eprint={2407.19669},
+  archivePrefix={arXiv},
+  primaryClass={cs.CL},
+  url={https://arxiv.org/abs/2407.19669}, 
+}
+```
+
+
 [^1]: Su, Jianlin, Murtadha Ahmed, Yu Lu, Shengfeng Pan, Wen Bo, and Yunfeng Liu. "Roformer: Enhanced transformer with rotary position embedding." Neurocomputing 568 (2024): 127063.
 
 [^2]: Shazeer, Noam. "Glu variants improve transformer." arXiv preprint arXiv:2002.05202 (2020).