Building Legal Agents When You Can't See the Data - — Legora CTO 讲在看不到 agent 运行轨迹时，如何构建和测试法律 a

• 客户数据归律所客户所有，Legora 读不到 agent 的任何 trace，因此产品指标不能靠翻日志，只能靠转述 trace、把失败收敛到 10–20 类；对做 agent 的团队意味着可观测性要设计成不碰原始数据也能定位问题。
• 三名工程师加三名律师搭建模拟客户工作的测试环境，类似强化学习里的 world；说明高约束领域的 eval 需要领域专家参与造环境，而不是只靠通用 benchmark。
• 一次发版把引用正确率从 70% 提到 99%，Legora 自身没改任何东西；提示模型能力跃迁会直接改变下游 agent 的可靠性，工具链要把模型升级当作一等变量。

原文：Building Legal Agents When You Can't See the Data - Jacob Lauritzen, CTO of Legora · 作者 Latent Space