# multimo **Repository Path**: handsomepj/multimo ## Basic Information - **Project Name**: multimo - **Description**: No description available - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2026-11-05 - **Last Updated**: 2026-11-05 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # Multimo:无人机视频多模态分析系统 Multimo 对无人机视频、航拍图像、遥感影像和相关文档做统一接入与分析:抽取关键帧并自动标注,识别目标,把画面对齐到地理坐标,支持混合检索和基于证据的问答,并内置一套自动化评测,用固定的评测集验证各项指标。 当前进度:阶段 0(仓库骨架与一键启动)。各阶段计划见下文“开发阶段”。 ## 架构 ```mermaid flowchart LR subgraph feRepo [multimo-frontend] UI["React 工作台"] end subgraph beRepo [multimo-backend GoFrame] API["HTTP API / SSE"] Queue["PG 任务队列"] Ingest["解析器 + FFmpeg"] Perception["关键帧 / 目标识别"] GeoAlign["空间对齐"] Search["混合检索"] QA["RAG 问答"] Suite["testsuite"] GW["AI Gateway"] end PG[("PostgreSQL + pgvector")] YOLO["YOLO sidecar"] VLM["qwen3.8-max"] EMB["qwen3.7-text-embedding"] DEC["d3-ultra System One"] UI --> API API --> Queue --> Ingest --> Perception --> GeoAlign API --> QA --> Search Suite --> QA Suite --> Search Perception --> YOLO Perception --> GW GeoAlign --> GW QA --> GW GW --> VLM GW --> EMB GW --> DEC Ingest --> PG Perception --> PG Search --> PG ``` - 前端 nginx 托管静态页面,并把 `/api` 反代到后端。 - 后端所有模型调用都经过 AI Gateway,统一处理重试、降级、限流、日志与缓存。 - 决策模型 d3-ultra 不生成文本,负责规划、打分与复核;文本由 VLM 生成。选型理由见 [docs/DECISIONS.md](docs/DECISIONS.md),接口实测细节见 [docs/AI_NOTES.md](docs/AI_NOTES.md)。 ## 仓库结构 本项目由三个仓库组成: | 仓库 | 内容 | | --- | --- | | [multimo](https://gitee.com/handsomepj/multimo) | 主仓库:编排、脚本、评测集、文档 | | [multimo-backend](https://gitee.com/handsomepj/multimo-backend) | 子模块:GoFrame 后端 | | [multimo-frontend](https://gitee.com/handsomepj/multimo-frontend) | 子模块:Vite + React 前端 | ### 克隆 ```bash git clone --recurse-submodules https://gitee.com/handsomepj/multimo.git cd multimo ``` 已经克隆但没带子模块时: ```bash git submodule update --init --recursive ``` ### 更新 ```bash git pull git submodule update --init --recursive # 切到主仓库记录的子模块版本 git submodule update --remote --merge # 或者:拉取子模块 master 的最新提交 ``` 在子模块里开发时,先在子模块目录内提交并推送,再回到主仓库 `git add multimo-backend`(或 `multimo-frontend`)提交,更新主仓库记录的子模块版本。 ## 快速开始 依赖:Docker(含 compose 插件)、GNU make。 ```bash cp .env.example .env # 填入 VLM_API_KEY、DECISION_API_KEY、POSTGRES_PASSWORD 等 make up # 构建并启动 postgres / backend / frontend make ps # 查看状态,三个服务应为 healthy curl http://localhost:18680/api/v1/health # 经前端 nginx 反代 curl http://localhost:18600/api/v1/health # 直连后端 ``` 默认端口(可在 `.env` 修改): | 变量 | 默认值 | 用途 | | --- | --- | --- | | `FRONTEND_PORT` | 18680 | Web 界面 | | `BACKEND_PORT` | 18600 | 后端 API,Swagger 在 `/api/swagger` | | `POSTGRES_HOST_PORT` | 15433 | 数据库,仅绑定 127.0.0.1 | 常用命令: | 命令 | 作用 | | --- | --- | | `make up` / `make down` | 启动 / 停止(`down` 保留数据卷) | | `make logs` / `make ps` | 日志 / 状态 | | `make psql` | 进入数据库 | | `make testdata` | 下载并校验测试数据(`scripts/prepare_testdata.sh`) | | `make models` | 下载检测模型权重(`scripts/fetch_models.sh`) | | `make eval` | 运行自动化评测(阶段 7) | | `make demo` / `make docs` | 演示流程 / 生成 API 文档(阶段 9) | 可选的多模态向量服务(宿主机 8099 端口的 Qwen3-VL-Embedding):在 `.env` 设 `MM_EMBED_ENABLED=true`,然后 `docker compose --profile mm-embed up -d` 检查容器能否访问。 ## 需求指标对照 | 需求 | 指标 | 实现方式 | 验证方式 | | --- | --- | --- | --- | | 多源数据接入 | ≥ 3 类 | 视频(MP4/WMV/FLV/MOV/MKV)、图像(EXIF/XMP)、遥感(GeoTIFF)、文档(PDF/DOC/DOCX/TXT)、地理文本(GeoJSON/GeoNames) | 导入测试数据并统计各类入库数 | | 关键帧自动标注 | 一致性 ≥ 40% | 场景检测抽帧 + 感知哈希去重 + VLM 描述与标签 | 与 VisDrone-VID / UAVDT 逐帧 GT 比对 | | 目标识别 | 准确率 ≥ 85%,漏检 ≤ 5% | YOLO 出框 + VLM 补检 + d3-ultra 复核 | VisDrone-DET / UAVDT,IoU ≥ 0.5 | | 空间对齐 | 误差 < 100 m | 遥测/EXIF 元数据优先,其次遥感影像匹配,地名库兜底 | UAV-VisLoc 位置真值,haversine 误差 | | 检索 | 准确率 ≥ 85%,查全率 ≥ 80% | BM25 + pgvector + 时空过滤 + RRF | 50 条查询,P@10 / R@20 | | 问答 | 准确率 ≥ 80% | 规划 → 检索 → 证据打分 → VLM 生成 → 支撑校验 | 50 个 QA 对,d3-ultra 评分 | 实测结果由评测程序写入 [docs/TEST_REPORT.md](docs/TEST_REPORT.md)(阶段 7)。 ## 目录说明 ```text multimo/ ├── .env.example 全部配置项(密钥为占位符) ├── docker-compose.yml postgres(pgvector) / backend / frontend;可选 profile mm-embed ├── Makefile ├── docs/ API、测试报告、AI 接口实测记录、选型记录 ├── scripts/ 测试数据与模型下载脚本、演示脚本 ├── testdata/ manifest、校验和、评测集入库;下载的数据不入库 ├── models/ 检测模型权重(不入库) ├── multimo-backend/ 子模块:GoFrame 后端 └── multimo-frontend/ 子模块:React 前端 ``` ## 开发阶段 | 阶段 | 内容 | | --- | --- | | 0 | 三仓库骨架、子模块、Docker Compose 一键启动 | | 1 | 测试数据下载、子集裁剪、样例合成、评测集初稿 | | 2 | 后端基座:配置、SQL 迁移、任务队列、AI Gateway | | 3 | 数据接入与各格式解析 | | 4 | 关键帧与目标识别 | | 5 | 空间对齐 | | 6 | 混合检索与 RAG 问答 | | 7 | 自动化评测与测试报告 | | 8 | 前端页面 | | 9 | API 文档、演示脚本、联调 | ## 注意事项 - 真实密钥只放在本地 `.env`,该文件已被 `.gitignore` 忽略。 - System One / System Two 的免费额度仅限研究评估,服务方会记录请求与图片,不要上传敏感数据。 - 测试数据集按各自许可只下载不入库,来源与许可记录在 `testdata/manifest.json`。