# qml-sqlite-paging **Repository Path**: walkerwang/qml-sqlite-paging ## Basic Information - **Project Name**: qml-sqlite-paging - **Description**: QML + SQLite 异步分页完整工程:C++ 后台线程 keyset 分页 + QML ListView 无限滚动,可扛千万级数据。 - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2026-11-13 - **Last Updated**: 2026-11-13 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # QML + SQLite 千万级异步分页 Demo 把「SQLite 扛不扛得住千万级数据」落到实处:**C++ 后台线程 keyset 分页 + QML `ListView` 无限滚动**,数据库永不阻塞 UI,列表丝滑、内存恒定。 > 配套文章:*SQLite 能不能扛千万级数据?我把官方上限和真实压测都翻了出来* ## 它解决了什么 | 痛点 | 本工程的做法 | |---|---| | 千万行一次性加载 → 内存爆、卡死 | **窗口化**:只缓存已滚动到的页(默认每页 100 行) | | 主线程查 SQL → UI 冻结 | **后台线程**(`QThread` + `PageWorker`)执行所有查询 | | `OFFSET` 翻页越翻越慢 | **keyset 分页**:`WHERE id > :lastId ORDER BY id LIMIT :pageSize` | | 过滤后变慢 | 复合索引 `(device, id)`,按设备过滤 + 翻页同时命中 | ## 工程结构 ``` qml_sqlite_paging/ ├── CMakeLists.txt # CMake 构建 ├── qml_sqlite_paging.pro # qmake 构建 ├── qml.qrc # 资源(内嵌 QML) ├── src/ │ ├── sensorrow.h # 行结构体 │ ├── databasemanager.{h,cpp} # 打开/WAL/建表/灌数据/统计 │ ├── pageworker.{h,cpp} # 后台线程:执行一次 keyset 查询 │ ├── paginatedtablemodel.{h,cpp} # 异步分页模型(桥接 QML ListView) │ └── main.cpp # 启动:建库→灌数据→暴露模型→加载 QML └── qml/ └── main.qml # ListView 无限滚动界面 ``` ## 构建与运行 ### 方式一:qmake(Qt6) ```bash qmake6 qml_sqlite_paging.pro make -j$(nproc) ./qml_sqlite_paging ``` ### 方式二:CMake(Qt6) ```bash cmake -S . -B build -DCMAKE_PREFIX_PATH=$(qmake6 -query QT_INSTALL_PREFIX) cmake --build build ./build/qml_sqlite_paging ``` ### 依赖(Ubuntu/Debian) ```bash sudo apt install qt6-base-dev qt6-declarative-dev \ qml6-module-qtquick-controls qml6-module-qtquick-layouts \ qml6-module-qtquick-window qml6-module-qtquick2 ``` ## 核心机制 ### 1. keyset 分页(不用 OFFSET) ```sql SELECT id, ts, device, metric, value, unit FROM sensor_reading WHERE id > :lastId -- 上一次最后一行 id 作游标 ORDER BY id ASC LIMIT :pageSize; -- 本页行数 ``` 越往后翻都只扫一页,**O(1)** 成本,跟总行数无关。 ### 2. 异步:UI 线程零阻塞 `PaginatedTableModel` 持有 `QThread` + `PageWorker`: - `fetchMore()` 只发 `requestFetch` 信号、**立即返回**; - `PageWorker` 在子线程查 SQL,查完 `pageReady` 回传; - 模型 `beginInsertRows/endInsertRows` 把新行插入缓存,ListView 继续按需拉取。 - 加载期间 `canFetchMore()` 返回 `false`,避免重复触发。 ### 3. ListView 自动续拉 QML `ListView` 滚动到底部时**自动调用** `model.fetchMore()`;查询在后台跑、界面不卡,结果回来后继续拉下一页——真正的无限滚动。 ## 调成「千万级」 编辑 `src/main.cpp`: ```cpp const qint64 total = DatabaseManager::seedIfEmpty(db, 10000000); // 1000 万 ``` 首次会写入约 475 MB 单文件(WAL 模式,约 15 秒)。列表中滚动体验不变——因为永远只持有一页数据。 ## 实测数据(本地 i5 / SSD) | 项 | 结果 | |---|---| | 写入 1000 万行 | ~15.2 秒(≈65.9 万行/秒,WAL + 批量事务) | | 单文件体积 | ~475 MB | | 无索引全表扫描 | ~0.66 秒 | | 索引命中 | ~5.9 毫秒(快约 112 倍) | > 想换真实数据源?把 `DatabaseManager::seedIfEmpty` 换成你的建表/导入逻辑即可,`PaginatedTableModel` 与 QML 无需改动。