# LLMT **Repository Path**: zli/LLMT ## Basic Information - **Project Name**: LLMT - **Description**: No description available - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2026-06-18 - **Last Updated**: 2026-11-19 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # 固定基模与递归记忆 逐条保存短期知识,通过固定基模编码线索,用递归最小二乘(RLS)学习“线索 → 记录地址”。聊天时读取相关原文,再交给基模回答。基模全程冻结,没有 LoRA、反向传播、问答扩增或训练步数。 **这是一套带线性关联模块的外部记忆系统,不是把正文写进基模权重。**数学保证针对固定地址下的岭回归解;不保证自然语言召回或回答始终正确。 ## 启动 先安装适合设备的 PyTorch,再安装依赖: ```bash python -m pip install -r requirements.txt python chat.py --temperature 0 ``` 默认开启免密钥的免费联网搜索:模型在聊天或后台分析原记忆片段前,判断是否需要外部公共信息, 需要时访问通用搜索引擎或维基百科官方接口,只将必要摘要写入记忆,不保存网页链接或全文。 用 `/web status` 查看状态,`/web off` 暂停、`/web on` 恢复;启动时 `--web-search off` 或 `--offline` 禁用联网。 免费引擎可能限流或不可达,此时提示失败并继续对话。详情见 [MEMORY_GUIDE.md](MEMORY_GUIDE.md#自动免费联网)。 空闲时还会主动探索相关的知识空白:先从 abilities 的已完成分析中建立公共主题索引, 再生成候选问题、计算覆盖分数、搜索并检查是否有新增内容。默认每天最多3轮、每轮最多搜索一次、 间隔至少30分钟;聊天优先。`/explore status` 查看进度,`/explore pause` 暂停, `/explore now` 请求尽快探索(仍受每日额度限制);`--no-idle-exploration` 禁用此功能。 `chat.py` 是终端入口;也可用 `python web.py` 启动浏览器工作台,支持实时动作、上下文查看、聊天、记忆与任务管理、参数配置。无需额外依赖或前端构建;用 `python web.py --demo` 查看独立演示。详情见 [Web 使用说明](WEB_UI_GUIDE.md)。 默认基础模型仍为 `Qwen/Qwen3.8-27B`,可沿用原模型缓存。指定本地模型: ```bash python chat.py --model /path/to/base-model --offline --memory-dir memories ``` 对话中明确提出“持续关注”“定期整理记忆”等任务时,系统会生成计划并保存到 `tasks.sqlite3`, 任务规划会结合当前请求和前文被接受的方案,默认按24小时间隔运行。等待补充的任务可在对话中继续完善,其他问题照常回答。 任务在程序运行且后台空闲时执行,模型可按需查记忆、联网以及使用已启用的 Python 沙盒计算,结果保存到任务和记忆中。 Python 源码使用独立交付步骤:历史对话、记忆和旧回执作为数据提供,上次源码与错误回执单独保留。`--python-max-new-tokens` 设置源码输出上限(默认4096),不受持续任务报告最多2048 tokens 的限制;Web 参数页也可修改。真实生成会记录结束原因,达到输出上限或中断时不执行该片段;完整输出须先通过不执行代码的语法检查,再交给沙盒。校验失败会返回带阶段的回执,由统一循环决定修正或缩小下一次执行范围。相同源码的旧回执复用不代表又运行了一次,日志明确记录本次是否调用沙盒及实际错误。语法通过不保证数据、计算逻辑或任务结果正确,也没有新增自动安装第三方库的机制。 Python 每次调用还需声明 `expected_observation`(预期能核对的输出),已有源码时需用 `revision` 说明具体变更。源码生成独立接收这两项以及匹配的上次源码/回执。执行目标、预期观察、变更方案和已取得的输入材料均未变化时,在生成源码前复用旧回执;不会关闭整个 Python 工具。新资料或不同实施方案仍可继续。退出码 0 仅表示进程正常结束,Python 工具的 `task_completion=not_verified` 表示仍需结合原始输出核对用户目标;是否满足目标仍是模型的证据判断,不是形式化证明。没有按函数名、话题或特定语句检测占位实现。 实际执行的原件保存到 `/_runs//program.py` 与 `result.json`,包含源码指纹、标准输出、标准错误、进程状态和产物地址;该审计目录不挂载给容器。审计保存失败不会把已完成的进程改报为执行失败。日志显示审计路径,详细日志保留受输出上限约束的 stdout/stderr;源码和原始回执可直接核对。原件文件随运行积累,当前没有自动清理机制。 可以说“查看持续任务”,或使用 `/tasks pause|resume|run|execute|delete ID` 管理。`run` 只排队等待后台空闲;`execute` 立即执行一次并返回实际结果。自然语言要求现在执行任务时,模型可调用 `task_run`。周期状态与单次执行状态分别记录,排队不代表执行失败。当前周期调度为小时数间隔,结果通过对话或任务列表查看。 旧的 `--adapter main`、`--max-steps`、`--learning-rate`、`-N` 等训练参数已删除,不要继续传入。旧 `lora_blocks` 权重与报告没有删除,但新程序不加载,也不会自动将旧权重中的知识转成记忆。首次启动若新记忆目录没有 system 配置,会复制工作目录中的 `lora_blocks/system.json`,旧文件保持不变。 ## 使用 ```text /system 你叫张昊,用户叫张力,是你的爸爸。现在是2026年10月28日。 /remember 今天上学路上发生了什么? => 今天爸爸送我去上学,爸爸在路上摔倒,腿骨折了。妈妈开车过来,把我送到学校,再把爸爸送到医院。 /recall 今天上学路上发生了什么? 今天上学路上发生了什么? /reset 妈妈是怎么过来的? /memories /quit ``` 也支持 `/remember 一段事实`,此时事实本身用作线索。显式指定线索能让你直接检查对应地址是否可读;不同问法是否召回还取决于固定编码器。 - `/remember`:一次 RLS 更新,保存原文、线索、当时 system 和写入时间。 - `/recall 问题`:只显示读取记录、岭回归地址分数和编码余弦相似度,不生成回答。 - `/revise ID 正确内容`:纠正原事件正文,保留原线索、背景与修订记录。新事件或状态变化请另行 `/remember`。 - `/forget ID`:删除指定记录,重建剩余记忆矩阵,并清空聊天上下文。 - `/memories`、`/status`:查看记录和配置。 - `/remember-chat`:比较尚未保存的新聊天与相似历史,只新增差异及必要上下文,保留原角色、原话;不替换或删除历史。 - `/memory-diffs [ID]`:查看差异比较记录;`/memory-diffs restore ID` 恢复被去重的原轮次。 - `/organize`:查看后台队列、分片数量、失败原因和最近使用的检索能力。 - `/web [status|on|off]`:查看或开关自动免费联网搜索,无需 API 密钥。 - `/explore [status|pause|resume|now|retry]`:控制空闲知识探索;retry 重新排队失败或中断的问题,仍受每日额度限制。 - `/organize now`:立即开始后台整理;`pause` 暂停,`resume` 恢复,`retry` 重试失败任务。 - `/abilities`:查看内置、自动总结或手动添加的分析能力。 - `/ability 名称 => 分析方法`:新增分析角度,并为全部已有记录补建索引。 - `/system [内容]`:查看或修改并保存背景;`--clear` 保存空背景。更改后重置聊天,旧记忆背景不变。 - `/reset`:清空聊天上下文,已写入的持久记忆保留。 普通聊天不会自动写入记忆,避免将助手的猜测当作已确认事实。`/sleep`、`/closeeye`、`/learn`、`/correct` 已删除,只显示迁移提示。 ## 保存与读取 默认目录 `memories/` 包含 `system.json`、`memory.sqlite3` 和 `abstractions/`。原文、固定地址、缓存指纹及 RLS 统计量使用 SQLite 事务增量写入,正文按需读取。首次升级自动从旧 `memory.npz` 导入,保留原文件、记录 ID 和修订历史;升级后以数据库为准,旧文件不再更新。`abstractions/` 保存能力、任务、向量候选索引及原文证据分片。备份应在程序退出后复制整个记忆目录,不要只复制旧 npz。 聊天只临时附加本次读到的原文,不把检索包装文字写进后续聊天历史。抽象用于定位原文,自动生成的推论不直接作为事实传给聊天。长记录的抽象命中会取回对应原文片段,附原记录 ID 和字符位置;仍放不下的参考内容会跳过。 默认开启后台整理:命令结束后空闲 15 秒,优先处理最常用、历史命中表现较好的能力;连续空闲 60 秒后,补做低频能力的深度整理。持续整理时每 8 次处理后轮流给低频能力一次优先机会,避免一直排不到。`/organize now` 或 `retry` 可以立即安排全部层次。已有记录处理完后,从最多 8 个原文片段中总结一个可能的新分析能力;若新增成功,自动补处理全部历史。每个历史快照只尝试一次自动总结,避免无休止自我扩展;有新记忆或纠正后会重新尝试。每次提问优先使用一种相关、常用且历史检索命中表现较好的能力;命中不同原记录不足时逐个扩展,默认最多尝试 3 种,并融合原始线索检索,最终最多取 3 条记忆。自动能力数量默认上限 12。 ```text /remember 爸爸腿受伤了,最近不能送我上学。 /organize now /organize /abilities /recall 原负责人暂时不能履行职责时怎么办? ``` 后台与聊天共用同一个基模,不同时进行 GPU 推理。提交命令后后台生成会在解码停止检查点让出模型;已经进行的模型前向仍需要结束。程序退出后不再运行后台任务,下次启动恢复。单次 `--prompt` 只使用已有索引,不启动后台生成。 后台默认每段原文最多 256 tokens,每份抽象索引文件最多 1000 条。长输入分段编码后汇总粗略地址,原文保留;分段不能保证所有跨段关系都被理解。用 `--no-background-memory` 可关闭后台及抽象检索,此时恢复原来的编码超长报错行为。完整参数和局限见使用指南。 基模、分词器、量化、精度或记忆参数变化可能改变地址空间,程序会拒绝不匹配的记忆配置。不要在同一个目录混用不同基模;具体参数、数学目标与限制见 [MEMORY_GUIDE.md](MEMORY_GUIDE.md)。 规模较小时精确检索;大库使用持久化随机超平面桶筛选有限候选,再精确计算分数。每个能力最多精排 512 个候选;原始地址探测问题向量和 RLS 变换方向,合计最多 1024 个候选。近似检索可能漏召回,不保证与全量扫描完全一致;实际效果需要在真实记忆上检验。`/status` 显示原始候选数,`/organize status` 显示能力优先级和实际路由。命中率是检索代理指标,不等于事实正确率,也不按能力描述的字数排序。 `/remember-chat` 先取上次保存后的新轮次,再检索最多3条相似的历史聊天,分批识别重复、新增、状态变化、纠正和不确定内容。以完整轮次为单位保留原话,不剪掉句子里的旧事实;为新内容保留必要的前一轮上下文。比较失败或预算不足时完整保存该批新轮次。历史不替换、不删除;普通聊天仍需显式保存。 重复轮次不再次进入常规检索,但原文保留在差异审计中,可查看或恢复,避免语义误判永久丢失。差异记录关联历史轮次和版本;回忆时自动附上相关历史原话,最多追溯3层、8个轮次,未完整载入会提示。因此不能承诺一次回答穷尽所有历史。模型的重复分类也不等于事实核验。 对话和持续研究任务的工具循环接近上下文上限时,会把较早资料整理成工作摘要后继续,并为最终回答预留空间。完整原文和工具回执保留在临时工作区,模型可按引用分页回读;后续追问复用已有摘要。压缩不会自动写入长期记忆,`/reset` 或退出会清空工作区。日志显示整理前后 token 数、来源引用和失败原因;摘要有损,精确细节仍以原文为准。 每次执行都重新建立运行状态:本轮 ID、工具请求已用/上限/剩余、联网查询计数及当前不可用原因。这些状态由程序计算,每步更新,独立于记忆与压缩摘要,并参与上下文预算。停止指令的 `stop_basis` 必须引用本轮存在的运行限制,或明确选择“必须由用户补充输入 / 没有可行查证来源”;后两者是模型判断,不是程序确认的故障。日志分别显示实际计数、停止依据和证据判断。旧任务报告不能改变新一轮的预算或开关;任务结果的来源信息会保存对应执行 ID 和状态快照。此机制不保证模型的所有证据判断正确。 后台整理日志写入 `memories/abstractions/organize.log`,UTF-8、北京时间。记录模型完整输入、实时输出片段、模型自述的依据摘要、证据校验、向量编码、保存及失败重试;能力去重会显示相似度、阈值和决定。日志含待处理原文,输出摘要不代表已经验证的事实,也不是内部推理轨迹;每条日志立即刷新。单文件约10MB轮转,最多保留3份旧日志。运行机器上可执行: ```bash tail -F /data/rec/LLMT/memories/abstractions/organize.log ``` 如果使用其他 `--memory-dir`,按 `/organize status` 的 `log_path` 字段调整路径。`tail -F` 会跟随日志轮转。 ## 测试 ```bash python -B -m unittest discover -s tests -v ``` 测试使用数值矩阵、可控生成器和本地随机小模型,不下载完整基模,覆盖递归求解、持久化、纠正失效、分片上限、抽象检索、能力总结及回填、任务恢复、前台抢占和基模冻结。实际中文抽象质量与召回效果需要在使用的基模上测试。