# testbitmqp **Repository Path**: FlyKOO/testbitmqp ## Basic Information - **Project Name**: testbitmqp - **Description**: testbitmap - **Primary Language**: Java - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2025-09-19 - **Last Updated**: 2026-11-19 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README 目前找到几个真正有价值的 Claude Tokenizer 开源项目,其中已经有针对 Claude 4.7、4.8 和 5 系列的逆向研究。 首先明确一点:Anthropic 尚未公开新版 Claude 的完整官方分词器。社区的方案主要通过调用 count_tokens API、恢复词表、推断编码规则来实现本地 Token 统计。 如果你想实现自己的 Go AI API 网关、Token 预计算、上下文截断和用量统计,我更推荐研究 ctok,而不是直接使用旧版 Anthropic Tokenizer。 一、值得关注的开源项目 项目 新模型支持 实现方式 推荐用途 sanderland/ctok Claude 3~5 系列,部分新版本仍有偏差 逆向词表、规则重建、最小代价分词 首选,离线统计 claude-opus-4-7-tokenizer 重点针对 Opus 4.7 API 探测、词表恢复 逆向方法研究 rohangpta/ctoc Claude 3~4.6 C++17、Trie、最长匹配 高性能本地计数 R0bk/claude-tokenizer 针对 Claude 4.x 的实验 生成长度探测 Token 边界分析 jschoemaker/bpe-lite 验证过 Haiku 4.5 近似 BPE、纯 JavaScript JS/浏览器集成 Oaklight/anthropic-tokenizer 使用旧词表,新模型仅近似 Rust + Python、旧版 BPE Rust 实现参考 Anthropic 官方旧版 不适合准确计算新版 Claude 旧版官方实现 历史参考 需要注意,这些项目的模型支持范围和精度通常由作者报告,不能把“支持某个模型”理解为已经恢复了它的真实 Token ID 和精确分词边界。 二、新发现:支持 Claude 5.x 的 TypeScript 实现 coder/ai-tokenizer⁠ TypeScript · 离线运行 · 基于 ctok 移植 重点推荐 这个项目值得额外关注,因为它不只是统计字符串 Token,还考虑了消息格式中的固定开销。 编码 项目标注的模型范围 claude_v3 Claude 3~Opus/Sonnet 4.6 claude_v4_7 Opus 4.7 claude_v4_8 Opus 4.8、Sonnet 5、Fable 5 claude_v5 Opus 5/5.5、Sonnet 5.5、Haiku 5.5、Fable 5.1 作者报告,以上编码在针对 4 个模型收集的 93 条测试文本中与官方计数一致。这是有限样本的结果,不代表所有内容及消息组合都精确。GitHub +1 本地使用示例: import { Tokenizer } from "ai-tokenizer"; import * as claudeV5 from "ai-tokenizer/encoding/claude_v5"; const tokenizer = new Tokenizer(claudeV5); console.log(tokenizer.count("你好,Claude")); 这里的 count() 是内容计数,不等于整条 Messages API 请求的 Token 用量。 三、逆向分析:Claude 的分词器究竟如何恢复? 推荐先看这篇研究文章: On the Biology of Claude’s Tokenizer⁠ 与传统 BPE 直接使用公开 merges/vocab 不同,社区现在主要从黑盒计数恢复 Claude 的行为。 主要逆向流程 候选词生成 自然语言、代码、Unicode、JSON、特殊符号 黑盒 API 探测 调用 count_tokens 比较不同文本的计数差异 恢复词表与规则 词边界、大小写转换、规范化、字节回退 本地最小代价分词 动态规划、分词代价与消息固定开销 官方计数对照验证 计算误差、发现例外、补充测试样本 1. Sandwich Probing(夹心探测) claude-opus-4-7-tokenizer 公开了具体方法。 对候选字符串 x,构造含隔离符的探测文本,再扣除基准计数。例如研究者使用 § 作为隔离符: C(x)=C_{\rm API}(\text{”§x§”})-C_{\rm API}(\text{”§§”}) 前提是隔离符不会和候选文本发生影响计数的跨边界合并。 该仓库报告完成约 137 万次 API 探测,并恢复了 14,036 个经验证的 Opus 4.7 单 Token 候选。GitHub 2. 词表恢复并不等于真正的 Tokenizer ctok 报告有两个主要词表: * 旧系列:48,813 个已验证分词片段。 * 4.7 系列:15,283 个已验证分词片段。 它还发现了词边界、大小写标记、Unicode 规范化和按字节回退等规则。其公开记录数据集中没有出现低估,但作者明确表示不能保证任意输入都正确。GitHub 特别重要: 这些逆向工具输出的 Token 边界或 ID 不一定是 Claude 模型内部真实使用的边界或 ID。ctok 侧重恢复计数结果;ai-tokenizer 也明确说明其 Token ID 是合成的。 3. 利用 max_tokens 探测输出边界 另外一种路线参考: javirandor/anthropic-tokenizer⁠ 以及 R0bk/claude-tokenizer⁠。 通过对同一提示反复使用 max_tokens=1,2,3...,比较输出前缀的变化,尝试推测每个输出 Token 的边界。 但这有两个问题:需要真实生成调用,成本高;而且输出并不保证总是稳定的相同前缀。旧版直接根据 SSE text_delta 推断 Token 边界的方法也已经失效。GitHub +1 四、最新模型尤其需要注意 截至 2026 年 11 月 17 日,Anthropic 模型文档中已经包含 Claude Fable 5.2、Opus 5.5、Sonnet 5.5 和 Haiku 5.5。Claude Platform Docs 官方确认,Fable 5/5.1/5.2 与 Mythos 5/5.1/5.2 使用 Opus 4.7 引入的 Tokenizer;其输入 Token 数相对 4.7 以前的模型通常更高,具体取决于内容。Claude Platform Docs 因此,不能简单地将所有 Claude 5 模型映射到同一个离线计数配置。 目前已检索的开源项目中,还没有证据表明某个实现完整、独立验证了全部最新 Claude 5.2 模型及所有复杂消息类型。 五、针对 Go API 网关的实施建议 可以采用以下结构: TokenCounter Go 接口 Offline Counter 从 ctok 移植规则与词表,按模型分组计数 Official Counter 调用 Anthropic count_tokens,对高精度请求进行校验 Validation & Cache 记录模型、文本特征、误差及词表版本 官方校验请求: curl https://api.anthropic.com/v1/messages/count_tokens \ -H "x-api-key: $ANTHROPIC_API_KEY" \ -H "anthropic-version: 2023-06-01" \ -H "content-type: application/json" \ -d '{ "model": "claude-opus-5-5", "system": "You are a helpful assistant", "messages": [ { "role": "user", "content": "你好,Claude" } ] }' 该接口免费,但有速率限制,且结果是请求前的 Token 估计,并非最终账单凭据。Claude Platform Docs 最终建议: * 想研究逆向算法:首选 sanderland/ctok,并阅读 claude-opus-4-7-tokenizer 的探测代码。 * 想直接用新版模型计数:优先考虑 coder/ai-tokenizer,它处理了更多 Claude 5 系列细节。 * 想用 Go 原生实现:从 ctok 移植正规化、词表、最小代价切分和消息开销,而不是简单移植旧版 BPE。 * 想用于生产计费:以实际模型响应的 usage 为准。离线 Tokenizer 主要用于预测、限流前检查、上下文预算和渠道路由。 另外,逆向工程的测试集应覆盖中文、英文、JSON、代码、Emoji、工具调用及大量消息拼接,分别统计绝对误差和低估比例,而不能只看平均准确率。非常好 👍 下面是经过改进后的版本: ✅ 图片铺满卡片背景 ✅ 底部毛玻璃横幅更明显(真实模糊 + 半透明遮罩) ✅ 分类文字 **水平居中显示** ✅ 支持点击波纹效果 --- ```kotlin @Composable fun SoundCategoryItem(category: SoundCategory, navController: NavHostController) { val categoryName = category.name Card( modifier = Modifier .padding(8.dp) .aspectRatio(1f) .clickable { EventReporter.sendEvent( EventID.EVENT_CLICK_LIB_TYPES_ICON, 1, categoryName.toString() ) navController.navigate("sound_list/$categoryName") }, shape = RoundedCornerShape(16.dp), elevation = CardDefaults.cardElevation(8.dp) ) { Box(modifier = Modifier.fillMaxSize()) { // ✅ 背景图铺满 AsyncImage( model = category.icon, contentDescription = null, modifier = Modifier.fillMaxSize(), contentScale = ContentScale.Crop ) // ✅ 底部毛玻璃横幅 Box( modifier = Modifier .align(Alignment.BottomCenter) .fillMaxWidth() .height(60.dp) .graphicsLayer { // 更真实的高斯模糊效果(Compose 1.6+) renderEffect = RenderEffect.createBlurEffect( 30f, 30f, Shader.TileMode.CLAMP ) } .background( Color.Black.copy(alpha = 0.35f) // 半透明遮罩增强对比 ) ) // ✅ 居中文字 Text( text = categoryName, color = Color.White, style = MaterialTheme.typography.titleLarge.copy( fontWeight = FontWeight.Bold ), modifier = Modifier .align(Alignment.BottomCenter) .padding(bottom = 12.dp) ) } } } ``` --- ### 🎨 效果说明 | 元素 | 效果描述 | | --------- | ------------------------------------------- | | **图片** | 使用 `ContentScale.Crop` 铺满整个卡片 | | **毛玻璃横幅** | 使用 `RenderEffect.createBlurEffect` 实现真实高斯模糊 | | **遮罩层** | 半透明黑色背景提升模糊对比度 | | **文字** | 居中显示,白色加粗,放在模糊区域中央 | | **点击效果** | 保留 `Card` 自带波纹反馈 | --- 如果你想让毛玻璃部分的模糊半径更强,只需调整: ```kotlin renderEffect = RenderEffect.createBlurEffect(40f, 40f, Shader.TileMode.CLAMP) ``` 数值越大,模糊越明显。 --- 是否希望我帮你改成 **圆角卡片 + 渐入放大动画(点击缩放)** 的版本?这样 UI 会更有立体感。