o bi= @sddlmZmZmZmZmZddlmZmZddl m Z m Z m Z m Z mZmZmZddlmZmZddlZddlZddlZddlZeZGdddZGdd d Zed kred zz[d Zd ZdZdZ dZ!dZ"edeee ej#$ese%dee&dej#'eZ(ej#$e(se)e(ede(eeee!e"ee Z*e*+\Z,Z-e,duredne%dWne.yZ/zej0de1e/ddWYdZ/[/ndZ/[/wwWede2dSWede2dSede2wdS))upload_image_to_cosget_image_memory_size json_format setup_logging json_to_excel)call_tongyi_ocr_streamcall_tongyi_ocr)COS_URL MYSQL_HOST MYSQL_PORT MYSQL_USERMYSQL_PASSWORDMYSQL_DB OCR_MODEL)Image ImageDrawNc@,eZdZddZddZddZddZd S) WorkflowResultcCs||_||_||_||_|d|d||_||_||_t|j|_d|_ d|_ d|_ d|_ d|_ d|_td||td|td|td|td |dS) 初始化工作流结果对象 Args: local_file_path (str): 本地文件路径 cos_path_prefix (str): COS存储路径，不包含前面的域名部分 file_id (str): 前端识别用的id filename (str): filename json_output_path (str): JSON输出文件路径 excel_output_path (str): Excel输出文件路径 /rNsuccess:WorkflowResult对象初始化完成: 文件=%s, file_id=%s本地文件路径: %sCOS路径前缀: %sJSON输出路径: %sExcel输出路径: %s)local_file_pathcos_path_prefixfile_idfilenamecos_pathjson_output_pathexcel_output_pathr cos_url_full file_sizeocr_json_result input_tokens output_tokens ocr_cost_time task_statusloggerinfodebug)selfrrrrr!r"r.7/home/project/hydrological_data_analyse/src/workflow.py__init__s&     zWorkflowResult.__init__c Cstd|jd}td|jt}z]t|d|j\|_|_ |_ t t||_ |jdur=d|_ td|jWdSt|jddd }||jWdn1sVwYtd |j|j |j |j td |jWdSty}zd|_ tjd t|d dd}~ww)N开始OCR识别单张图片: %s# 你是一个专业的OCR工具，识别图片里表格的内容： 1. 检测出图片里完整的表格，如果表格不完整，则直接忽略 2. 表格数据前31行表示一年中每一天的数据，竖向记录，一列表示一个月，识别时也要竖向识别，按月份返回数据。切记这是真实数据，只有一月、三月、五月、七月、八月、十月、十二月，有31天。二月只有28或者29天，其余月份只有30天 3. 第32行记录的是平均数，若均值不存在，则对应值记录为None 数据返回为JSON格式:{"1月": {"data": [0.1, 0.2], "avg": 0.3}, "2月": {...}}，每个月份数据的长度，要与这个月的天数相符。如果某个月份存在数据缺失，则用null进行填充 准备处理图片: %s识别图中的表格 ocr_faileduOCR识别失败: %swzutf-8)encodinguHOCR识别成功: 文件=%s, 耗时=%d秒, 输入token=%d, 输出token=%duOCR结果已保存到: %s"OCR识别过程中发生异常: %sTexc_info)r*r+rr,r timerr#r%r&r'intr(r)erroropenr!write Exceptionstr)r- system_promptZocr_start_timefer.r.r/llm_ocr_single_image0s2  z#WorkflowResult.llm_ocr_single_imagec Csztd|j|jdstd|jdStd|jt|j|j}|s4d|_ t d|jdStd|j zt |j}t||_td |jWntyl}zt d t|d |_WYd }~nd }~ww||j d krt d|j dSztdt|j}t||j}tdWnty}ztj dt|ddWYd }~dSd }~wwtd|j|S)处理单个文件的工作流 需要导入MySQL的数据: `id` bigint NOT NULL AUTO_INCREMENT COMMENT '唯一主键', `file_id` varchar(255) NOT NULL COMMENT 'web生成的id，也是cos的一个路径', `file_name` varchar(255) NOT NULL COMMENT '图片原始文件名', `file_storage_url` varchar(500) NOT NULL COMMENT '图片在云存储的地址(URL)', `ocr_json_result` longtext COMMENT 'OCR识别出的完整JSON结果', `file_size` bigint DEFAULT '0' COMMENT '图片文件大小（字节）', `task_status` varchar(20) NOT NULL DEFAULT 'uploading' COMMENT '任务状态: uploading(上传中), processing(识别中), success, failed', `ocr_engine` varchar(50) DEFAULT NULL COMMENT '使用的OCR引擎，如 tesseract, aliyun_ocr', `create_time` TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '任务开始时间', `ocr_cost_time` float DEFAULT 0 COMMENT 'OCR处理完成时间', `input_tokens` int unsigned DEFAULT NULL COMMENT '本次OCR调用消耗的输入Token数', `output_tokens` int unsigned DEFAULT NULL COMMENT '本次OCR调用消耗的输出Token数', "开始执行单文件工作流: %sz.pngz.jpgz.jpeg跳过非图片文件: %sNN开始上传文件到COS: %s upload_failed文件上传失败: %s文件上传成功: %s图片大小: %d 字节获取图片大小失败: %srNr(工作流处理失败，当前状态: %su开始处理OCR结果u,OCR结果处理完成，Excel文件已生成u"处理OCR结果时发生异常: %sTr9"单文件工作流执行完成: %s)r*r+rrlowerendswithwarningrr r)r=r#rr>rr$r,r@rArErr%rr")r-is_upload_successimagerDjson_res data_detailr.r.r/run_single_workflowTsH      z"WorkflowResult.run_single_workflowc Cs.|j|j|j|j|j|j|j|j|jd }|S)获取用于数据库插入的参数元组 Returns: dict: 包含所有需要插入数据库的字段值 rrr#r%r$r)r(r&r'r\r- db_paramsr.r.r/db_insert_paramss zWorkflowResult.db_insert_paramsN__name__ __module__ __qualname__r0rErZr_r.r.r.r/rs $ >rc@r) WorkflowResultStreamcCstt}||_||_||_||_|d|d||_||_||_ t |j|_ d|_ d|_ |d|||d||d||d||d|d S) rrrrrrrrrN)logging getLoggerrarrrrr r!r"r r#r$r)r+r,)r-rrrrr!r"r*r.r.r/r0s     zWorkflowResultStream.__init__c Csjtd|jd}td|jz t|d|j}|WSty4}zd|_tj dt |ddd}~ww) Nr1r2r3r4r5r8Tr9) r*r+rr,r rr#r@r)r=rA)r-rB stream_outputrDr.r.r/rEs z)WorkflowResultStream.llm_ocr_single_imagec Cstd|j|jdstd|jdStd|jt|j|j}|s4d|_ t d|jdStd|j zt |j}t||_td |jWntyl}zt d t|d |_WYd }~nd }~ww|}|j d krt d|j d Std|j|S)rFrGrHrIrJrKrLrMrNrOrPrNrrQrR)r*r+rrrSrTrUrr r)r=r#rr>rr$r,r@rArE)r-rVrWrDrgr.r.r/rZs4   z(WorkflowResultStream.run_single_workflowcCs|j|j|j|j|jd}|S)r[rrr#r$r)rhr]r.r.r/r_s z%WorkflowResultStream.db_insert_paramsNr`r.r.r.r/rds   4rd__main__u,=== 水文数据分析程序开始运行 ===z2D:\project\hydrological_data_analyse\input\102.jpgz images/ruiwenz>D:\project\hydrological_data_analyse\output\102_processed.jsonz;D:\project\hydrological_data_analyse\output\102_output.xlsxZ testfileid123z102.jpgu<程序参数: 输入文件=%s, 输出JSON=%s, 输出Excel=%su输入文件不存在: %su创建输出目录: %su程序执行成功完成u!程序执行过程中出现错误u%程序执行出现未预期错误: %sTr9u,=== 水文数据分析程序运行结束 ===)3utilsrrrrrZcall_llmrrvarr r r r r rrZPILrrosr; tracebackrer*rrdrar+rrr!r"rrpathexistsr=exitdirnameZ output_dirmakedirsworkflowrZrYZ_imager@rDcriticalrAshutdownr.r.r.r/sj$