螺莉莉: AX defined 随着 LLM 技术应用的不断发展,Agent Experience(简称 AX),成为了显学,来开始在工程圈流通。Netlify 联合创始人兼 CEO Mathias Biilmann 于 2025 年 1 月在其博客发表 Introducing AX: Why Agent Experience Matters 一文,正式引入这一概念。 我认为需要将其拆成三个维度来看:用户怎么和 Agent 沟通 [一种输入质量问题],Agent 怎么和外部世界沟通 [一种输出可控性问题]。还有夹在中间最复杂的那一层:Agent 的内部状态怎么管理 [上下文管理问题]。 KV caching vs dynamic compression 动态上下文压缩和 KV 缓存之间有一个工程上的冲突。现在主流模型提供商(包括 Anthropic)都在做前缀缓存,推理时把已经转成 KV 向量的部分存起来,下一次请求如果前缀相同,可以跳过重新计算的开销,显著降低延迟和成本。Anthropic 的 prompt caching 按 tools、system、messages 的固定顺序分段处理,每段可以独立设置缓存控制点,支持最多四个缓存断点。问题在于前缀缓存要求内容严格一致,任何修改都会使该位置以后的缓存全部失效,而动态压缩天然要修改上下文,这两件事目前是相互矛盾的。