Update app.py

app.py

@@ -27,7 +27,6 @@ if proxy_url:
     transport = requests.Session()
     transport.proxies.update(proxies)
 else:
-    proxies = None
     transport = None
 
 sio = socketio.Client(http_session=transport, logger=True, engineio_logger=True)
@@ -78,23 +77,17 @@ def normalize_content(content):
 
 def calculate_tokens_via_tiktoken(text, model="gpt-3.5-turbo"):
     """
-    使用 tiktoken 库根据 GPT 模型计算 token 数量。
+    使用 tiktoken 库根据 GPT 模型计算 token 数量，支持从本地加载编码器文件。
     Claude 模型与 GPT 模型的 token 计算机制类似，因此可以使用 tiktoken。
     """
-    # 临时禁用代理环境变量
-    original_http_proxy = os.environ.pop('http_proxy', None)
-    original_https_proxy = os.environ.pop('https_proxy', None)
 
-    try:
-        encoding = tiktoken.encoding_for_model(model)  # 获取模型的编码器
-        tokens = encoding.encode(text)  # 对文本进行 tokenization
-        return len(tokens)
-    finally:
-        # 恢复代理
-        if original_http_proxy:
-            os.environ['http_proxy'] = original_http_proxy
-        if original_https_proxy:
-            os.environ['https_proxy'] = original_https_proxy
+    # 手动加载本地的 tiktoken 编码器文件
+    encoding_path = "/app/cl100k_base.tiktoken"  # 本地路径
+    with open(encoding_path, "rb") as f:
+        encoding = tiktoken.Encoding.load(f)  # 加载本地编码文件
+
+    tokens = encoding.encode(text)  # 对文本进行 tokenization
+    return len(tokens)
 
 @app.route('/')
 def root():