Update app.py
Browse files
app.py
CHANGED
@@ -79,9 +79,14 @@ def calculate_tokens_via_tiktoken(text, model="gpt-3.5-turbo"):
|
|
79 |
"""
|
80 |
使用 tiktoken 库根据 GPT 模型计算 token 数量。
|
81 |
Claude 模型与 GPT 模型的 token 计算机制类似,因此可以使用 tiktoken。
|
|
|
82 |
"""
|
83 |
-
#
|
84 |
-
|
|
|
|
|
|
|
|
|
85 |
|
86 |
# 对文本进行 tokenization
|
87 |
tokens = encoding.encode(text)
|
@@ -335,8 +340,8 @@ def not_found(error):
|
|
335 |
@app.errorhandler(500)
|
336 |
def server_error(error):
|
337 |
logging.error(f"Server error: {str(error)}")
|
338 |
-
|
339 |
-
|
340 |
|
341 |
def create_event(event, data):
|
342 |
if isinstance(data, dict):
|
|
|
79 |
"""
|
80 |
使用 tiktoken 库根据 GPT 模型计算 token 数量。
|
81 |
Claude 模型与 GPT 模型的 token 计算机制类似,因此可以使用 tiktoken。
|
82 |
+
这里我们指定本地的编码文件路径。
|
83 |
"""
|
84 |
+
# 假设您将编码文件放在 /app/cl100k_base.tiktoken
|
85 |
+
encoding_path = '/app/cl100k_base.tiktoken'
|
86 |
+
|
87 |
+
# 使用 tiktoken 的 Encoding 类手动加载本地编码文件
|
88 |
+
with open(encoding_path, 'rb') as f:
|
89 |
+
encoding = tiktoken.Encoding.load(f)
|
90 |
|
91 |
# 对文本进行 tokenization
|
92 |
tokens = encoding.encode(text)
|
|
|
340 |
@app.errorhandler(500)
|
341 |
def server_error(error):
|
342 |
logging.error(f"Server error: {str(error)}")
|
343 |
+
log_request(request.remote_addr, request.path, 500)
|
344 |
+
return "Something broke!", 500
|
345 |
|
346 |
def create_event(event, data):
|
347 |
if isinstance(data, dict):
|