# Multiple Sensor Capture **Repository Path**: lkperson/multi_sensor_cap ## Basic Information - **Project Name**: Multiple Sensor Capture - **Description**: Android 手机采集多传感器数据的应用 - **Primary Language**: Unknown - **License**: Apache-2.0 - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2026-11-06 - **Last Updated**: 2026-11-11 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # Multi Sensor Capture 一款 Android 多传感器数据采集应用,可同步采集摄像头视频与 IMU(加速度计/陀螺仪)数据,并提供精确的时间戳对齐功能。 ## 功能特性 - **同步录制**:同时录制摄像头视频和 IMU 传感器数据 - **时间同步**:视频帧时间戳与传感器时间戳精确对齐(基于 CLOCK_MONOTONIC) - **灵活配置**:支持选择分辨率、变焦倍数、视频编码器(H.264/H.265) - **元数据记录**:支持录入身体测量数据(胸宽、身高、体重等) - **文件管理**:采集数据自动保存,支持 ZIP 打包导出 - **实时预览**:相机实时预览,支持多种画面缩放模式 ## 技术架构 ### 核心模块 | 模块 | 说明 | |------|------| | `CameraController` | 相机设备管理、预览与录制控制 | | `VideoEncoder` | 视频编码器(MediaCodec + MediaMuxer) | | `ImuRecorder` | IMU 传感器数据采集(加速度计/陀螺仪) | | `FrameTimestampAligner` | 视频帧时间戳对齐器 | | `CaptureController` | 采集流程核心控制器 | | `StorageRepository` | 数据持久化与文件管理 | ### 数据输出 采集完成后生成以下文件: ``` capture_YYYYMMDD_HHMMSS/ ├── video.mp4 # 视频文件 ├── frame_timestamps.csv # 视频帧时间戳 ├── imu.csv # IMU 数据 ├── metadata.json # 元数据 ├── camera_settings.json # 相机参数 └── timebase.json # 时间基准信息 ``` ## 项目结构 ``` app/src/main/java/com/lk/multisensorcap/ ├── MainActivity.kt # 应用入口 ├── camera/ # 相机相关 │ ├── CameraCatalog.kt # 相机能力查询 │ ├── CameraController.kt # 相机控制 │ └── VideoEncoder.kt # 视频编码 ├── capture/ │ └── CaptureController.kt # 采集控制器 ├── data/ │ ├── Models.kt # 数据模型 │ └── StorageRepository.kt # 存储仓库 ├── files/ │ └── FilesController.kt # 文件管理 ├── sensor/ │ └── ImuRecorder.kt # IMU 录制 ├── sync/ │ ├── FrameTimestampAligner.kt # 时间戳对齐 │ └── TimebaseInfo.kt # 时间基准信息 └── ui/ # 界面组件 ├── CaptureScreen.kt # 采集界面 ├── FilesScreen.kt # 文件管理界面 ├── CameraPreview.kt # 相机预览 └── ... ``` ## 时间同步机制 应用采用多时钟对齐策略确保视频与 IMU 数据的时间一致性: 1. **CLOCK_MONOTONIC**:作为参考时钟 2. **SensorEvent.timestamp**:传感器时间戳(来自内核) 3. **Camera onCaptureStarted**:摄像头帧传感器时间 4. **Video PTS**:编码后的显示时间戳 详细同步机制见 [TIME_SYNC.md](./TIME_SYNC.md) ## 构建要求 - Android SDK 34+ - Kotlin 1.9+ - Gradle 8.4+ - Android Studio Arctic Fox 或更高版本 ## 编译构建 ```bash # 调试构建 ./gradlew assembleDebug # 发布构建 ./gradlew assembleRelease ``` ## 使用说明 ### 1. 权限授予 首次使用需授予: - 相机权限 - 存储权限(访问设备文件) ### 2. 配置采集参数 - **分辨率**:选择视频分辨率(默认 1280x960) - **变焦**:调整摄像头变焦倍数(1x-10x 等) - **编码器**:选择 H.264 或 H.265 ### 3. 填写元数据(可选) 可录入以下身体测量信息: - 胸宽 - 身体倾斜长度 - 胸围 - 体重 ### 4. 开始录制 点击录制按钮开始同步采集视频和 IMU 数据。录制过程中可实时查看: - 已录制时长 - 视频帧率 - IMU 采样率 - 同步状态 ### 5. 保存与导出 录制完成后,可: - 保存当前采集 - 打包为 ZIP 文件进行分享 - 在文件列表中管理历史采集 ## 下游数据处理 可通过生成的 `timebase.json` 和 `frame_timestamps.csv` 进行后续数据对齐: ```python import pandas as pd import json # 读取时间基准信息 with open('timebase.json') as f: timebase = json.load(f) # 读取帧时间戳 frames = pd.read_csv('frame_timestamps.csv') # 读取 IMU 数据 imu = pd.read_csv('imu.csv') # 例如:获取视频时间轴 t=0 对应的传感器时间 video_start_ns = timebase['video']['firstSensorTimestampNs'] ``` ## 许可证 本项目仅供学习与研究使用。