feat[paper]: HTTP模式支持内存文件解析流程（不使用磁盘存储），并且支持将文件上传至OBS（可配置规则映射）

## 新增特性

### 文件抽象层

新增文件存储抽象层，支持以相同的API通过配置切换使用本地存储或AWS S3兼容的远程OBS存储。
默认使用本地存储，且映射规则与原本的本地存储路径兼容。
当前版本通过config.yaml配置使用的存储服务及其映射规则，后续版本将修改为通过环境变量配置。

MinerU解析出的文档图片已切换为使用该接口进行上传。

### 文档解析优先使用内存数据

为了支持从HTTP接口调用MinerU解析服务，MinerU+VL解析流程通过修改文件读取方式，优先使用内存中存放的文件二进制进行解析。

### 新增文档/会议解析HTTP接口

新增以下两个HTTP接口。

`POST` `/deepinsight/paper/conference_meta`
- 请求体参数：`kb_id`, `kb_name`。外部知识库的知识库ID与知识库名称，类型均为`str`，当前仅允许知识库名称的格式为`会议简称+会议年份`。
- 用于查询指定的知识库是否关联了一个已知的会议。如果否，则创建一个新的会议；否则使用已存在的会议。
- 响应体：如果成功，通过`id`与`fullname`返回会议ID与会议全称。如运行发生已知的异常则通过`error`输出该异常的错误消息。

---

`POST` `/deepinsight/paper/parse/binary`
- 请求体参数：
  - `filename`, `binary`：待解析的文件名与文件内容，均为`str`类型，其中`binary`使用base64编码；
  - `conference_id`：该论文所对应的会议ID，由`/deepinsight/paper/conference_meta`返回；
  - `external_kb_id`：该文件在外部知识库服务中对应的ID，仅用于为解析产生的图片提供索引；
  - `img_base_url`：为解析该文件产生的图片添加的URL前缀。省略时使用配置选项`workspace.resource_base_uri`的值。
  - 预留字段：`from_page`, `to_page`：解析后使用的页码范围，不生效。如传入应当为`int`；
- 调用MinerU（如果配置中启用了通过VL进行图片描述，还包括VL）将一个原始二进制文件视为论文进行解析，提取出该论文的信息并将其存入会议数据库。
- 响应体：如果成功，通过`sections`输出解析后的二进制文本，并通过`title`, `author_info`, `abstract`, `keywords`, `topic`字段报告解析出的论文元数据。如果发生了已知的异常，通过`error`字段报告异常信息。

类型	指派人员	状态
审查	idol yanhaishuang openeuler-ci-bot jimmy_hero openEuler-Personal 胡正策 wangqianli liumiao	已完成 (0/0人)
测试	openeuler-ci-bot	已完成 (0/0人)

openEuler/deepInsight关闭 .gitee-modal { width: 500px !important; }

搜索帮助

openEuler/deepInsight
关闭