zbparse/flask_app/货物标/投标人须知正文提取指定内容货物标版.py

import json
import re
from functools import cmp_to_key

from flask_app.general.投标人须知正文提取指定内容 import get_requirements_with_gpt, concatenate_keys_values, extract_between_sections

# def process_with_outer_key(data):
#     processed_data = {}
#
#     # 遍历外层的键值对
#     for outer_key, inner_data in data.items():
#         # 调用 transform_json 函数对内层数据进行处理
#         processed_inner_data = transform_json(inner_data)
#
#         # 将处理后的数据保留在外层键下
#         processed_data[outer_key] = processed_inner_data
#
#     return processed_data


"""
递归处理嵌套的数据结构（字典和列表）。
对最内层的字符串值应用 post_process 函数。
post_process 函数尝试将长字符串按特定模式分割成块，每块至少包含50个中英文字符。
如果字典中所有值都是 ""、"/" 或空列表，则返回'键'的列表。
"""

# 读取JSON数据，提取内容，转换结构，并打印结果
def extract_from_notice(merged_baseinfo_path, clause_path, type):
    """
    从公告中提取特定类型的内容。

    Args:
        merged_baseinfo_path (str): 合并后的基础信息路径。
        clause_path (str): 包含条款的JSON文件路径。
        type (int): 提取的类型。
            1 - ["投标文件","响应文件","响应性文件"]
            2 - ["开标", "评标", "定标","磋商程序","中标","程序","步骤"]
            3 - ["重新招标、不再招标和终止招标", "重新招标", "不再招标", "终止招标"]
            4 - ["评标"]   # 测试

    Returns:
        dict 或 str: 提取并处理后的数据，或在 `clause_path` 为空或发生错误时返回空字符串 `""`。
    """
    # 定义默认的返回结果
    DEFAULT_RESULT = ""

    # 映射 type 到 target_values
    type_target_map = {
        1: ["投标文件", "响应文件", "响应性文件"],
        2: ["开标", "评标", "定标","评审","成交","合同","磋商","谈判", "中标", "程序", "步骤"],
        3: ["重新招标、不再招标和终止招标", "重新招标", "重新采购", "不再招标", "不再采购", "终止招标", "终止采购"],
        4: ["评标"]  # 测试
    }

    target_values = type_target_map.get(type)
    if not target_values:
        print(f"Error: Invalid type specified: {type}. Use 1, 2, 3, or 4.")
        return DEFAULT_RESULT

    try:
        # 如果 clause_path 不为空，尝试从 JSON 文件中提取数据
        if clause_path:
            with open(clause_path, 'r', encoding='utf-8') as file:
                data = json.load(file)
            # 提取目标部分
            extracted_data = extract_between_sections(data, target_values)  # 读取json，截取大标题之间的内容
            # 如果成功提取到数据，进行后续处理并返回
            if extracted_data:
                # 合并键值对，启用结构化
                extracted_data_concatenated = {
                    section: concatenate_keys_values(content)
                    for section, content in extracted_data.items()
                }
                # transformed_data = process_with_outer_key(extracted_data)                       #取消注释这三行
                # final_result = process_nested_data(transformed_data)
                # return final_result
                return extracted_data_concatenated

        # 如果 clause_path 为空或提取数据失败，调用回退函数
        final_result = get_requirements_with_gpt(merged_baseinfo_path, type)
        return final_result

    except Exception as e:
        print(f"Error occurred: {e}")
        return DEFAULT_RESULT

#TODO:可以通过判断格式来看是否需要调用GPT 1.1  2.1....

if __name__ == "__main__":
    clause_path = r'C:\Users\Administrator\Desktop\文件解析问题\文件解析问题\910f6c0c-8a71-438d-a25c-7a6b34aa689c\tmp\clause1.json'
    merged_baseinfo_path=r"D:\flask_project\flask_app\static\output\output1\ce279982-aeeb-4f08-ab39-df6ee2732eae\ztbfile.pdf"
    # file_path = 'D:\\flask_project\\flask_app\\static\\output\\fee18877-0c60-4c28-911f-9a5f7d1325a7\\clause1.json'
    try:
        res = extract_from_notice(merged_baseinfo_path,clause_path, 2)  # 可以改变此处的 type 参数测试不同的场景
        res2=json.dumps(res,ensure_ascii=False,indent=4)
        print(res2)
    except ValueError as e:
        print(e)