AI体记忆去重的三个层次
记忆去重不是简单的删重复,而是三个层次的递进过滤:
第一层·哈希去重:content_hash(SHA-256)全文比对,完全相同的记忆直接拒绝写入
第二层·语义去重:BGE-M3向量相似度≥0.75触发合并,BGE-Reranker-v2-m3精排确认
第三层·因果去重:NLI自然语言推理检测逻辑矛盾,三条表面不同的记忆可能本质相同
合并规则:LENGTH(content) DESC,保留最长版本作为keeper,短版本的关键补充信息注入keeper。
第一层·哈希去重:content_hash(SHA-256)全文比对,完全相同的记忆直接拒绝写入
第二层·语义去重:BGE-M3向量相似度≥0.75触发合并,BGE-Reranker-v2-m3精排确认
第三层·因果去重:NLI自然语言推理检测逻辑矛盾,三条表面不同的记忆可能本质相同
合并规则:LENGTH(content) DESC,保留最长版本作为keeper,短版本的关键补充信息注入keeper。