增加日志信息

This commit is contained in:
zxc 2025-03-03 17:28:33 +08:00
parent 50c83b0b11
commit bbe7ae0ce9
3 changed files with 16 additions and 12 deletions

View File

@ -14,7 +14,7 @@ git clone地址http://47.98.59.178:3000/zy123/zbparse.git
## 项目结构:
![1](md_files\1.png)
![1](md_files/1.png)
.env存放一些密钥大模型、textin等它是gitignore忽略了因此在服务器上git pull项目的时候这个文件不会更新因为密钥比较重要需要手动维护服务器相应位置的.env。
@ -22,7 +22,7 @@ git clone地址http://47.98.59.178:3000/zy123/zbparse.git
1. 进入项目文件夹
![1](md_files\0.png)
![1](md_files/0.png)
**注意:**需要确认.env是否存在在服务器默认是隐藏的
输入cat .env

View File

@ -1,6 +1,6 @@
# flask_app/routes/upload.py
import multiprocessing
import urllib.parse
from flask import Blueprint, request, jsonify,g
import json
import os
@ -57,6 +57,8 @@ def zbparse(): #大解析
logger.info("大解析开始!!!")
received_data = request.get_json()
logger.info("Received JSON data: " + str(received_data))
file_name = urllib.parse.unquote(file_url).split('/')[-1]
logger.info(f"Starting parsing file: {file_name}")
file_url = g.file_url
zb_type = g.zb_type
try:
@ -65,7 +67,7 @@ def zbparse(): #大解析
except Exception as e:
logger.error('Exception occurred: ' + str(e))
if hasattr(g, 'unique_id'):
log_error_unique_id(g.unique_id,1)
log_error_unique_id(g.unique_id,1,file_name=file_name)
error_response = create_response(
message='处理文件时发生异常',
status='error',
@ -75,7 +77,7 @@ def zbparse(): #大解析
except Exception as e:
logger.error('Unexpected exception: ' + str(e))
if hasattr(g, 'unique_id'):
log_error_unique_id(g.unique_id,1)
log_error_unique_id(g.unique_id,1,file_name=file_name)
error_response = create_response(
message='内部服务器错误',
status='error',
@ -92,12 +94,12 @@ def process_and_stream(file_url, zb_type):
filename = "ztbfile"
downloaded_filename = os.path.join(output_folder, filename)
start_time = time.time()
file_name = urllib.parse.unquote(file_url).split('/')[-1]
try:
downloaded_filepath, file_type = download_file(file_url, downloaded_filename, True)
if not downloaded_filepath or file_type == 4:
logger.error("下载文件失败或不支持的文件类型")
log_error_unique_id(unique_id, 1)
log_error_unique_id(unique_id, 1, file_name=file_name)
error_response = create_response(
message='下载文件失败或不支持的文件类型',
status='error',
@ -185,7 +187,7 @@ def process_and_stream(file_url, zb_type):
logger.info(f"摘取后的数据已保存到 '{extracted_info_path}'")
except IOError as e:
logger.error(f"保存JSON文件时出错: {e}")
log_error_unique_id(unique_id,1) # 记录失败的 unique_id
log_error_unique_id(unique_id,1,file_name=file_name) # 记录失败的 unique_id
try:
with open(output_json_path, 'w', encoding='utf-8') as json_file:
@ -193,7 +195,7 @@ def process_and_stream(file_url, zb_type):
logger.info(f"合并后的数据已保存到 '{output_json_path}'")
except IOError as e:
logger.error(f"保存JSON文件时出错: {e}")
log_error_unique_id(unique_id,1) # 记录失败的 unique_id
log_error_unique_id(unique_id,1,file_name=file_name) # 记录失败的 unique_id
extracted_info_response = create_response(
message='extracted_info',
@ -218,7 +220,7 @@ def process_and_stream(file_url, zb_type):
except Exception as e:
logger.error(f"Unexpected error in process_and_stream: {e}")
log_error_unique_id(unique_id,1) # 记录失败的 unique_id
log_error_unique_id(unique_id,1,file_name=file_name) # 记录失败的 unique_id
error_response = create_response(
message='内部服务器错误',
status='error',

View File

@ -2,6 +2,7 @@
import json
import os
from functools import wraps
from datetime import datetime
from flask import request, jsonify, current_app, g
from flask_app.general.llm.清除file_id import read_file_ids, delete_file_by_ids
from flask_app.logger_setup import create_logger
@ -188,7 +189,7 @@ def sse_format(response):
return f"data: {json.dumps(response, ensure_ascii=False)}\n\n"
def log_error_unique_id(unique_id, selection=6):
def log_error_unique_id(unique_id, selection=6, file_name="x"):
"""
记录失败调用的 unique_id 到对应的错误日志文件中
@ -211,7 +212,8 @@ def log_error_unique_id(unique_id, selection=6):
# 获取对应的错误文件名,如果 selection 不在映射中,则使用默认文件名
error_file_name = error_file_map.get(selection, 'general_error.txt')
error_file_path = os.path.join(error_dir, error_file_name)
current_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
# 将 unique_id 写入错误文件
with open(error_file_path, 'a', encoding='utf-8') as f:
f.write(f"{unique_id}\n")
f.write(f"{current_time} - {file_name} - {unique_id}\n")