Update app.py

app.py

@@ -75,17 +75,13 @@ def normalize_content(content):
         # 如果是其他类型，返回空字符串
         return ""
 
-def calculate_tokens_via_tiktoken(text, model="gpt-4o"):
+def calculate_tokens_via_tiktoken(text, model="gpt-3.5-turbo"):
     """
     使用 tiktoken 库根据 GPT 模型计算 token 数量。
     Claude 模型与 GPT 模型的 token 计算机制类似，因此可以使用 tiktoken。
-    这里我们指定本地的编码文件路径。
     """
-    # 假设您将编码文件放在 /app/cl100k_base.tiktoken
-    encoding_path = '/app/cl100k_base.tiktoken'
-    
-    # 打开本地编码文件
-    encoding = tiktoken.Encoding.open(encoding_path)
+    # 获取模型的编码器
+    encoding = tiktoken.get_encoding("cl100k_base")
     
     # 对文本进行 tokenization
     tokens = encoding.encode(text)
@@ -128,7 +124,7 @@ def messages():
         previous_messages = "\n\n".join([normalize_content(msg['content']) for msg in json_body['messages']])
 
         # 动态计算输入的 token 数量，使用 tiktoken 进行 tokenization
-        input_tokens = calculate_tokens_via_tiktoken(previous_messages, model="gpt-4o")
+        input_tokens = calculate_tokens_via_tiktoken(previous_messages, model="gpt-3.5-turbo")
 
         msg_id = str(uuid.uuid4())
         response_event = Event()
@@ -231,7 +227,7 @@ def messages():
                     sio.disconnect()
 
             # 动态计算输出的 token 数量，使用 tiktoken 进行 tokenization
-            output_tokens = calculate_tokens_via_tiktoken(''.join(response_text), model="gpt-4o")
+            output_tokens = calculate_tokens_via_tiktoken(''.join(response_text), model="gpt-3.5-turbo")
 
             yield create_event("content_block_stop", {"type": "content_block_stop", "index": 0})
             yield create_event("message_delta", {
@@ -306,7 +302,7 @@ def handle_non_stream(previous_messages, msg_id, model, input_tokens):
         response_event.wait(timeout=30)
 
         # 动态计算输出的 token 数量，使用 tiktoken 进行 tokenization
-        output_tokens = calculate_tokens_via_tiktoken(''.join(response_text), model="gpt-4o")
+        output_tokens = calculate_tokens_via_tiktoken(''.join(response_text), model="gpt-3.5-turbo")
 
         # 生成完整的响应
         full_response = {