remove unused image token

README.md

@@ -9,12 +9,18 @@ tags:
 ---
 # ChatGLM-6B
 ## 介绍
+ChatGLM-6B-INT4-Slim是在ChatGLM-6B-INT4的基础上通过裁剪词表构建的。因为ChatGLM-6B使用了icetk，在其词表中，前20000个token是预留给图片的，在文本模型中没有用到这些图片token，但是在infer和微调的时候，这些token对应的embedding依然需要被加载，并且在解码每一个token的时候需要多计算20K个logits，会占用不少显存。因此将这一部分token裁剪掉以节省显存。
+
+除了词表外，ChatGLM-6B-INT4-Slim的其他结构与ChatGLM-6B-INT4完全一致，性能也完全一样，可以认为是ChatGLM-6B-INT4的一个低显存版等价平替。
+
 ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 [General Language Model (GLM)](https://github.com/THUDM/GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 [ChatGLM](https://chatglm.cn) 相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
 
 ChatGLM-6B-INT4 是 ChatGLM-6B 量化后的模型权重。具体的， ChatGLM-6B-INT4 对 ChatGLM-6B 中的 28 个 GLM Block 进行了 INT4 量化，没有对 Embedding 和 LM Head 进行量化。量化后的模型理论上仅需 5.2G 内存（使用 CPU 上推理，float）或 4G显存（使用 CUDA 推理，fp16）即可加载，具有在嵌入式设备（如树莓派）上运行的可能。
 
 在 CPU 上运行时，会根据硬件自动编译 CPU Kernel ，请确保已安装 GCC 和 OpenMP （Linux一般已安装，对于Windows则需手动安装），以获得最佳并行计算能力。
 
+模型所有版权和Credit归ChatGLM官方团队所有，ChatGLM-6B-INT4-Slim只是为了方便大家使用而制作。
+
 ## 软件依赖
 
 ```shell
@@ -27,8 +33,8 @@ pip install protobuf==3.20.0 transformers==4.26.1 icetk cpm_kernels
 
 ```ipython
 >>> from transformers import AutoTokenizer, AutoModel
->>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)
->>> model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True).half().cuda()
+>>> tokenizer = AutoTokenizer.from_pretrained("silver/chatglm-6b-int4-slim", trust_remote_code=True)
+>>> model = AutoModel.from_pretrained("silver/chatglm-6b-int4-slim", trust_remote_code=True).half().cuda()
 >>> response, history = model.chat(tokenizer, "你好", history=[])
 >>> print(response)
 你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。
@@ -46,7 +52,7 @@ pip install protobuf==3.20.0 transformers==4.26.1 icetk cpm_kernels
 如果这些方法无法帮助你入睡,你可以考虑咨询医生或睡眠专家,寻求进一步的建议。
 ```
 
-关于更多的使用说明，包括如何运行命令行和网页版本的 DEMO，以及使用模型量化以节省显存，请参考我们的 [Github Repo](https://github.com/THUDM/ChatGLM-6B)。
+关于更多的使用说明，包括如何运行命令行和网页版本的 DEMO，以及使用模型量化以节省显存，请参考 [Github Repo](https://github.com/THUDM/ChatGLM-6B)。
 
 ## 协议
 
@@ -54,7 +60,7 @@ pip install protobuf==3.20.0 transformers==4.26.1 icetk cpm_kernels
 
 ## 引用
 
-如果你觉得我们的工作有帮助的话，请考虑引用下列论文：
+如果你觉得这个工作有帮助的话，请考虑引用ChatGLM官方团队的论文：
 
 ```
 @inproceedings{

config.json

@@ -1,5 +1,5 @@
 {
-  "_name_or_path": "THUDM/chatglm-6b",
+  "_name_or_path": "silver/chatglm-6b-int4-slim",
   "architectures": [
     "ChatGLMModel"
   ],
@@ -8,8 +8,8 @@
     "AutoModel": "modeling_chatglm.ChatGLMForConditionalGeneration",
     "AutoModelForSeq2SeqLM": "modeling_chatglm.ChatGLMForConditionalGeneration"
   },
-  "bos_token_id": 150004,
-  "eos_token_id": 150005,
+  "bos_token_id": 130004,
+  "eos_token_id": 130005,
   "hidden_size": 4096,
   "inner_hidden_size": 16384,
   "layernorm_epsilon": 1e-05,
@@ -23,5 +23,5 @@
   "torch_dtype": "float16",
   "transformers_version": "4.23.1",
   "use_cache": true,
-  "vocab_size": 150528
+  "vocab_size": 130528
 }

configuration_chatglm.py

@@ -19,7 +19,7 @@ class ChatGLMConfig(PretrainedConfig):
 
 
     Args:
-        vocab_size (`int`, *optional*, defaults to 150528):
+        vocab_size (`int`, *optional*, defaults to 130528):
             Vocabulary size of the ChatGLM-6B model. Defines the number of different tokens that can be represented by the
             `inputs_ids` passed when calling [`~ChatGLMModel`] or
             [`~TFChatGLMModel`].
@@ -58,14 +58,14 @@ class ChatGLMConfig(PretrainedConfig):
 
     def __init__(
             self,
-            vocab_size=150528,
+            vocab_size=130528,
             hidden_size=4096,
             num_layers=28,
             num_attention_heads=32,
             layernorm_epsilon=1e-5,
             use_cache=False,
-            bos_token_id=150004,
-            eos_token_id=150005,
+            bos_token_id=130004,
+            eos_token_id=130005,
             pad_token_id=0,
             max_sequence_length=2048,
             inner_hidden_size=16384,

modeling_chatglm.py

@@ -43,7 +43,7 @@ _CHECKPOINT_FOR_DOC = "THUDM/ChatGLM-6B"
 _CONFIG_FOR_DOC = "ChatGLM6BConfig"
 
 CHATGLM_6B_PRETRAINED_MODEL_ARCHIVE_LIST = [
-    "THUDM/chatglm-6b",
+    "silver/chatglm-6b-int4-slim",
     # See all ChatGLM-6B models at https://huggingface.co/models?filter=chatglm
 ]
 
@@ -52,7 +52,7 @@ class InvalidScoreLogitsProcessor(LogitsProcessor):
     def __call__(self, input_ids: torch.LongTensor, scores: torch.FloatTensor) -> torch.FloatTensor:
         if torch.isnan(scores).any() or torch.isinf(scores).any():
             scores.zero_()
-            scores[..., 20005] = 5e4
+            scores[..., 5] = 5e4
         return scores
 
 
@@ -838,7 +838,7 @@ class ChatGLMModel(ChatGLMPreTrainedModel):
                 )
 
             if position_ids is None:
-                MASK, gMASK = 150000, 150001
+                MASK, gMASK = 130000, 130001
                 mask_token = MASK if MASK in input_ids else gMASK
                 use_gmask = False if MASK in input_ids else gMASK
 
@@ -980,7 +980,7 @@ class ChatGLMForConditionalGeneration(ChatGLMPreTrainedModel):
             **kwargs
     ) -> dict:
 
-        MASK, gMASK = 150000, 150001
+        MASK, gMASK = 130000, 130001
         mask_token = MASK if MASK in input_ids else gMASK
         use_gmask = False if MASK in input_ids else gMASK
         seq = input_ids[0].tolist()

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a600479082394992066f4aa462ceff95c18a6569b21bd5999c510addc0d6ffba
-size 4058980803
+oid sha256:1cd6407b0c7cba4e3b5ad3369f1d576a87d7c51ad2d9e4298c66aaf45d8fa8d8
+size 4058984265

tokenization_chatglm.py

@@ -16,7 +16,7 @@ from transformers.utils import logging
 logger = logging.get_logger(__name__)
 
 PRETRAINED_POSITIONAL_EMBEDDINGS_SIZES = {
-    "THUDM/chatglm-6b": 2048,
+    "silver/chatglm-6b-int4-slim": 2048,
 }
 
 
@@ -85,17 +85,13 @@ class SPTokenizer:
     def get_tab_token():
         return f"<|tab|>"
 
-    @property
-    def num_image_tokens(self):
-        return 20000
-
     @property
     def num_text_tokens(self):
         return self.text_tokenizer.num_tokens
 
     @property
     def num_tokens(self):
-        return self.num_image_tokens + self.num_text_tokens
+        return self.num_text_tokens
 
     @staticmethod
     def _encode_whitespaces(text: str, max_len: int = 80):
@@ -125,11 +121,11 @@ class SPTokenizer:
         if not add_dummy_prefix:
             text = "<n>" + text
         tmp = self._get_text_tokenizer(encode_special_tokens=special_tokens).encode(text)
-        tokens = [x + self.num_image_tokens for x in tmp]
+        tokens = [x for x in tmp]
         return tokens if add_dummy_prefix else tokens[2:]
 
     def decode(self, text_ids: List[int], special_tokens=False) -> str:
-        ids = [int(_id) - self.num_image_tokens for _id in text_ids]
+        ids = [int(_id) for _id in text_ids]
         ids = [_id for _id in ids if _id >= 0]
         text = self._get_text_tokenizer(encode_special_tokens=special_tokens).decode(ids)
         text = text.replace("<n>", "\n")
@@ -156,15 +152,9 @@ class SPTokenizer:
 
     def __getitem__(self, x: Union[int, str]):
         if isinstance(x, int):
-            if x < self.num_image_tokens:
-                return "<image_{}>".format(x)
-            else:
-                return self.text_tokenizer.convert_id_to_token(x - self.num_image_tokens)
+            return self.text_tokenizer.convert_id_to_token(x)
         elif isinstance(x, str):
-            if x.startswith("<image_") and x.endswith(">") and x[7:-1].isdigit():
-                return int(x[7:-1])
-            else:
-                return self.text_tokenizer.convert_token_to_id(x) + self.num_image_tokens
+            return self.text_tokenizer.convert_token_to_id(x)
         else:
             raise ValueError("The key should be str or int.")