王涛 Taomir|AI 检索与 GEO 研究笔记|2026 年 11 月 20 日
AI 答案里出现我的网页链接,只能先证明它展示了这条引用,还不足以证明这个网页改变了它的判断。
做 GEO,也就是研究内容怎样进入生成式引擎的回答与推荐,我最容易获得的是外部结果:有没有提到实体,有没有推荐,有没有引用。但这些结果背后的机制并不相同。一个系统可能先从检索材料里形成答案,也可能先凭已有知识作答,再为答案寻找支持材料。
这会影响我怎么看待官网内容更新。新增一段事实以后引用率上升,是值得记录的观测;要进一步说“新增事实使 AI 更愿意推荐我”,中间仍缺少对照。
引用支持与来源归因是两件事
《Cited but Unused》用反事实值替换来研究这个问题:修改检索材料中的事实值,保持问题不变,观察模型回答是否跟着变化。[1]
作者在 ASQA 上每个条件使用 800 个问题,覆盖 Qwen2.5 的五个尺寸及 Llama-3.1-8B。默认替换设置下,在可判定样本中,按论文操作性定义归为参数记忆来源的比例为 1.2%—15.7%。这个分母不是所有回答,也不是所有引用。实验使用确定性解码,没有跨替换种子重复;置信区间主要反映声明样本的不确定性。[1,§4—5]
更值得留意的是,论文修正过一个测量漏洞:只改正文,却在标题或问题里留下原值,会高估模型对记忆的依赖。作者补改标题,并剔除问题仍泄漏原值的样本后,测得的比例明显下降。[1,§8]
这给我的启发非常具体:改实验变量时,必须检查它有没有通过其他字段重新进入模型。网页标题、摘要、结构化数据和引用标题,都可能成为未控制的入口。
| 观察到的现象 | 可以支持的判断 | 暂时不能支持的判断 |
|---|---|---|
| 答案附带网页链接 | 页面被展示为引用 | 页面驱动了答案生成 |
| 页面内容能支持答案 | 答案与材料一致 | 模型实际依赖这份材料 |
| 修改材料后答案随之变化 | 在该受控条件下,答案对材料敏感 | 真实平台采用了同一机制 |
保留原值也不能自动等同于“完全没读材料”。模型可能读到了改动,但因为冲突而拒绝采用。因此我会把它称为“对材料替换的响应”,不会直接把这个行为标签当作模型内部过程的完整记录。
给 GEO Studio 增加一个来源响应实验
我的 GEO Studio 采用固定题集、T0 基线、单变量干预和重复采样。这个框架可以延伸到引用归因,但实验要放在可控制上下文的本地环境里。
我会先从 18 题主线里选出适合验证事实的题目,每题设置一个目标属性,制作原值、近距离替换值、删除该属性三种材料。三组保持来源名、候选顺序、长度和其余事实一致。另设无上下文条件,用来观察模型原本倾向于回答什么。
每个条件先做 10 次独立会话,记录采用原值、采用替换值、拒答、明确指出冲突和无法判定五类结果,同时保留引用、提及和推荐三个标签。10 次只是探索性采样,不意味着已具备充分统计功效;确定性模型则应改变替换值或排列,不能把完全相同的重复响应当成新增证据。
统计时以基础问题为单位计算各条件差异,再按问题整体重采样估计区间。对日期或资质等属性只做本地替换,不向公开网站发布虚假信息。所有新实验在这里都是方案,尚未执行,也不属于我既有数据的新增结论。
信源隐藏以后还能测什么
真实平台不允许我任意替换它收到的材料,也不一定展示完整来源。因此,答案对独特事实的吸收、事实更新后的响应时间,以及引用与事实是否一致,仍然有记录价值;但它们只能构成间接证据。
我现在更愿意在报告里写“页面被引用”“目标事实被采用”“实体被推荐”三项独立结果。把这三项分开,才能知道一次内容更新究竟改变了哪种可观测行为,而不是用一个引用率概括整条链路。
参考文献与资料来源
[1] Tanzeel Abbas, Tehseen Zia, David Windridge. Cited but Unused: Parametric Provenance in Retrieval-Augmented Generation. arXiv:2611.17161v1,2026-11-12(UTC 提交)。重点:§3—5、§8 及局限部分。
原始记录:https://arxiv.org/abs/2611.17161v1
原文全文:https://arxiv.org/html/2611.17161v1
个人实践来源:GEO Studio 的固定题集与干预流程来自作者已有项目说明;本文没有新增实测结果。文献核验日期:2026-11-20。