# scoreJava **Repository Path**: flypig0/score-java ## Basic Information - **Project Name**: scoreJava - **Description**: No description available - **Primary Language**: Unknown - **License**: AGPL-3.0 - **Default Branch**: main - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2026-11-06 - **Last Updated**: 2026-11-06 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # scoreJava:独立桌面 Java 乐谱识别 从同级 `jetpackDemo` 的 Java / C++ 离线识谱流程迁移。运行时不需要 Android、ADB、Python 或服务器;模型直接在本机 CPU 执行。包含整图定位、预处理、音符推理、MusicXML 生成、批量评估,以及浏览器中的乐谱播放和光标。 ## 环境与构建 已验证环境:macOS Apple Silicon、JDK 17。首次构建需要网络下载 Maven 依赖,模型已随工程提供;首次识别校验并解压模型后,识别流程不访问网络。 ```bash git clone https://gitee.com/flypig0/score-java.git cd score-java export JAVA_HOME=$(/usr/libexec/java_home -v 17) ./gradlew test installDist ./scripts/scorejava --help ``` 使用独立的 Gradle 7.4 Wrapper,没有升级或修改 Android 工程的 Gradle。`buildNative` 用系统 C++ 编译器构建纯 CPU JNI 定位库;macOS 需要 Xcode Command Line Tools。Linux 构建脚本也已提供,但未实机验证。Windows 需使用 `native/CMakeLists.txt` 构建 JNI 并放到发布包 lib 目录,尚未验证;当前不能直接把 macOS 动态库用于其他平台。 ## 单张识别 ```bash ./scripts/scorejava recognize data/omr_eval_200/images/5701612__p1-s1.png output/sample.musicxml ``` 默认按钢琴双谱表识别;单谱表追加 `--single`。支持 PNG、JPEG、BMP,JPEG 按 EXIF 方向旋转,透明像素合成白底。图片最长边缩放至最多 2000,分割目标宽度 1920,模型张量 1×1×256×1280,与 Android 当前配置对应。复杂系统可能达到原有 608 token 上限并明确报错。 单张识别同时生成 `output/sample-preview/index.html`。直接用浏览器打开,可查看乐谱、点击播放和跟随光标,不需要启动 Web 服务。渲染和播放沿用 Android Demo 的 OSMD 和 Web Audio 实现。也可以预览已有结果: ```bash ./scripts/scorejava preview output/sample.musicxml output/preview ``` 识别结果的音色是浏览器合成音色。重复段、复杂演奏表情等播放限制沿用原 Demo。 ## 批量识别与评估 工程内 `data/omr_eval_200` 已带 200 对官方扫描图与真实 MusicXML(100 首作品,每首两个系统)。 ```bash ./scripts/eval200.sh # 或分别运行: ./scripts/scorejava batch data/omr_eval_200/images output/eval200-v8-run ./scripts/scorejava evaluate data/omr_eval_200 output/eval200-v8-run ``` 每张输出同名 `.musicxml`、`.json` 状态及耗时,几何与 token 在 `output/debug//`。已有状态文件会被跳过,支持中断续跑;改变模型或代码后用 `batch ... --overwrite` 重新识别,避免复用旧结果。 评分输出 `summary.json`、`scores.csv`、`scores.json`。分别统计识别成功率、按 part/staff 排序的音高序列和音高+时值序列的 Levenshtein 相似度。时值统一为四分音符单位;失败输出按全部目标音符删除计错。指标不是完整乐谱准确率或官方 TEDn,另有包含小节位置及绝对起音时间的 timed 指标;尚不评估休止记谱、声部归属、连音线、歌词及排版。`complete=false` 表示还有未运行样本,不能把此时的汇总当成最终结果。 数据是实际扫描的系统裁剪,不是相机整页。数据来源 OpenScore Lieder 与 HOMR/Andromr 训练来源可能重叠,不能据此宣称无偏泛化准确率。来源和 CC BY-SA 4.0 许可见数据目录 README 和 LICENSE。 ## 迁移结构 - `org.scorejava.omr`:保留 Android 的谱表几何适配、OpenCV CLAHE/分段仿射校正、符号解码清理、MusicXML 生成和修正。 - `org.scorejava.inference`:JavaCPP TFLite 2.21.0 CPU Encoder / SegNet,ONNX Runtime 1.22.0 Decoder;模型权重、词表、608 token 上限不变。 - `org.scorejava.platform`:ImageIO 图片读取、显式双线性缩放、EXIF、文件资源、计时与日志、桌面 JNI。 - `native`:原 C++ StaffDetector / RecoveredThreshold,增加 `int[]` 输入的桌面 JNI,替换 Android Bitmap 锁定。 - `models`:原始三个模型 ZIP 和词表、SHA256 清单。解压缓存位于 `models/cache`。 - `src/main/resources/viewer`:原有乐谱渲染、Web Audio 播放和光标。 发布包位于 `build/install/scoreJava`,包含 Java 依赖、模型及当前平台原生库,可独立复制使用;在安装目录之外运行时会自动寻找安装目录中的模型和 JNI。需要 JDK/JRE 17。`./gradlew distZip` 可生成 ZIP 发布包。 开发对齐命令: ```bash ./scripts/scorejava preprocess image.png geometry.json output/tensors ./scripts/scorejava infer-tensor output/tensors/input-0.f32 output/tokens.json ``` `preprocess` 使用给定几何,不执行自动缩放,便于比较已经在手机上缩放好的同一张图片。浮点文件为 little-endian float32。 ## 许可和差异 HOMR / Andromr 衍生代码继承 AGPL-3.0 许可,保留于 `licenses/Andromr-AGPL-3.0.txt`;Java 重写和迁移不改变来源许可。OSMD 署名和 BSD 许可也在 `licenses`。模型文件沿用 Android 工程中已有来源,未重新训练。 桌面 TFLite、OpenCV 和图片缩放实现与 Android 平台不同;固定输入张量能够排除预处理差异,但不能保证自动定位结果和最终 token 逐项一致。详细实测见 `MIGRATION_VALIDATION.json`,不要把桌面耗时等同于手机耗时。 ## 当前 v8 验证 默认480模型采用面积插值和真实线距裁剪。两行谱表小节结束位置明显不一致时,按需运行509线性插值候选;仅在不一致程度减半、音高序列基本一致时选候选。不改写模型时值,不读取目标MusicXML。两个模型顺序加载;单谱表及显式414/509配置不启用复核。 ```bash scripts/scorejava recognize image.png output/current.musicxml scripts/scorejava recognize image.png output/model509.musicxml --model 509 --resize linear --fallback none scripts/scorejava recognize image.png output/model480.musicxml --model 480 --resize area --fallback none ``` Android与桌面统一像素中心双线性缩放;Android SegNet关闭XNNPACK以匹配CPU路径。Android初始解码按16MP总像素限制,避免细长谱图被过早降采样。桌面保留8位灰度PNG原始样本,修复ImageIO自动增亮。旧v7部分指标因此已被本节替代。 手机2206122SC通过实际文件API完成200张:200/200生成结果,音高+时值序列相似度95.43%,含起音位置91.35%,平均6.02秒/张、中位5.59秒。200张音乐事件全部与修正后的桌面结果一致。此批是扫描谱裁剪,不是200张相机照片;成功生成不代表整谱正确。真实整页照片10行、5系统约18.4秒,缺少人工标注,不能计算其准确率。手机WebView播放与光标推进已通过。 统一canonical-v2评分。同起音同音高的不同声部按时值排序;另有包含小节位置与起音的指标。 | 扫描谱数据 | 纯509 音高+时值 | v8 音高+时值 | 纯509 含起音位置 | v8 含起音位置 | |---|---:|---:|---:|---:| | 原200张 | 94.25% | 95.43% | 89.29% | 91.35% | | 额外100张 | 94.27% | 95.55% | 91.95% | 93.91% | | 新增第一组100张 | 93.09% | 92.89% | 88.79% | 89.67% | | 冻结最终100张 | 95.93% | 96.11% | 92.09% | 92.02% | 500张合计:音高+时值94.37%→95.09%,包含起音位置90.30%→91.66%。音高+时值序列完全一致278/500,包含起音271/500;仍未覆盖全部休止、声部、连线、歌词、表情及排版。逐张时值比较95张改善、334张相同、71张退化。音高收益的95%置信区间跨零,不宣称稳定音高提升。 原冻结门槛在修正输入后未完全通过:最终100张起音错误504对500。这个失败没有抹去。随后以不改阈值的配置,按预先记录规则测试另一来源5首双谱表钢琴曲、清晰与模拟照片各5页:两组时值/起音均优于509,支持当前原型默认配置。样本很少,作品/训练重叠未彻底排除,不是广泛泛化或商用保证。 灰度修正影响72/500张,已重新推理;其余428张由修正前后解码ARGB SHA256完全相同证明可复用。缓存来源与证据写入状态文件,审计见 `validation/decode-audit-*.json`。复用输出保留历史耗时,不作严格桌面性能对比。 报告 `OPTIMIZATION_REPORT.json`、逐样本 `output/comparison-v509-v8.csv`、过程 `CONTINUOUS_OPTIMIZATION.md`。500张共享200个源作品编号且已被反复检查;不能称全新作品盲测。61项桌面测试通过,Android已安装验证,Gradle仍7.4;应用推理无CPython/Chaquopy。 实验程序在 `src/experiments/java`,用 `./gradlew experimentsClasses` 构建,不进入发布JAR。测试入口仅在Android `src/debug`,release清单不注册Instrumentation。批量缓存按配置签名区分;换输入数据应使用新输出目录/批次ID,或显式覆盖。 当前工程仍含AGPL-3.0衍生代码,准确率优化不解决模型与训练数据的商用许可问题,见[官方许可FAQ](https://github.com/liebharc/homr/blob/main/LICENSE_FAQ.md)。 批量验证缓存已校验输入与 MusicXML 的 SHA-256;Android 调试测试还绑定 APK 与推理配置。旧缓存缺少哈希时需重新识别,桌面可使用新输出目录或 `--overwrite`。此修改不改变识别算法;既有冻结结果仍可单独评分。 当前候选搜索已按“多种合理方案未取得可信净收益”的停止条件结束,保留已验证v8。额外七种缩放、两种解码排序未采纳;上游三连音恢复规则虽通过216组移植对照,但新增100张系统图与10张整页均无增益,未进入产品。此结论不等于理论准确率上限。 ## 仓库内容 仓库包含 Java/C++ 源码、Gradle 7.4 Wrapper、实际运行所需的模型 ZIP/词表及带来源许可的公开验证数据。`build/`、`.gradle/`、`output/`、模型解压缓存、重复实验权重和手机私人照片不提交。私人照片对齐测试在缺少本地夹具时跳过,其余测试正常执行;历史报告中的本机绝对路径仅作证据定位,克隆后应重新生成构建产物与评估输出。 修复版输出会区分实际音高与印刷变音记号,省略调号或本小节中已经生效的重复升降号;缓存旧乐谱打开时也会整理,保留音高、时值和必要临时变音。