[loveRhythm1990]

现有自运行 Answer/Eval 使用自行缩写的 Judge 规则和统一的简短回答提示词，与公开 benchmark 的评分和回答流程不一致，可能改变同一系统的答案与判分。本 PR 使用固定版本的官方完整提示词、请求参数及判分语义，并为 LongMemEval 接入官方 con 阅读方式。

最终行为

• Judge：LoCoMo-Refined 使用完整 refined prompt，每个可接受参考答案分别判分、按上游语义取最高分；LongMemEval 使用完整分类 prompt，保留其 yes 子串判分方式。请求参数、JSON 提取与标签语义沿用上游，不额外收紧评分规则。
• LongMemEval 回答：默认 con，支持 direct；使用完整官方模板、单个 user message、问题日期和包含双方角色的 JSON 会话块。con 在一次回答调用中完成提取和推理，不实现额外逐段调用的 con-separate。
• 实际检索内容：仅将 Search 实际返回的记录送入回答。通过精确内容哈希恢复无标签的会话日期、角色和消息位置，按时间组织；片段不会扩展成整条消息或整个会话。无法唯一对应的记录保留原文，并标记未知日期/角色及数量。
• 预算与生成参数：con 默认输出 800 token，direct 为 500；temperature=0、n=1。按固定上游模型窗口和输出长度加 1000 token 预留进行历史 token 前缀截断，再检查完整请求上限。未知回答模型必须明确配置经过核实的输入上限；显式预算覆盖默认值，并记录解析后的实际配置。
• 可复现与续跑：记录上游版本、完整模板哈希、阅读模式、模型匹配及实际纳入/部分截断的原检索排名。提升 prompt/context 版本，防止混用旧答案。相同合同下重试失败 Judge 时复用 Add、Search 和成功回答；诊断页面按实际排名标注截断结果，并保留全部参考答案候选判分。

固定来源

• LoCoMo-Refined：887091190789e8d6760e70b9edd696539923dc4f。
• LongMemEval：9e0b455f4ef0e2ab8f2e582289761153549043fc。
• 保留上游许可与署名，源码中记录引用位置；不提交 benchmark 题目、真实回答、环境配置或运行记录。

复现边界

此 PR 修改 benchmark 客户端，不改部署中的 Add/Search 服务，无需构建服务镜像。Memoria 继续作为被测记忆系统，top_k 仍按 adapter 返回记录计数，而非原生检索器的完整 session。未知来源保留原文、附加完整请求预算检查、HTTP 超时和有界重试均明确记录为集成差异；非 OpenAI 回答模型仍需核对其原生 tokenizer，配置的 Judge 模型也需与所选官方配置核实。native_evaluator_equivalent 保持 false；不宣称已复制 AML 未公开的评测细节。

验证

• 全量测试：496 passed；Ruff 与 git diff --check 通过。
• 固定上游完整 Judge 模板哈希、各题型原始请求校验、多参考答案取最高分、原生响应解析、请求参数和模型不匹配提示。
• 合成输入下，con/direct 完整回答 prompt 与固定上游 prepare_prompt 的输出逐字一致。
• 验证日期/角色/时间顺序、未知来源、分片不扩展、未召回消息及标准答案不泄漏、非排名前缀的实际纳入与部分截断记录。
• 端到端续跑测试：Judge 失败后，恢复运行不重复 Add、Search 或成功回答；记录的实际预算与缓存签名一致。