王涛 Taomir|AI 检索与 GEO 研究笔记|2026 年 11 月 20 日

AI 答案里出现我的网页链接,只能先证明它展示了这条引用,还不足以证明这个网页改变了它的判断。

做 GEO,也就是研究内容怎样进入生成式引擎的回答与推荐,我最容易获得的是外部结果:有没有提到实体,有没有推荐,有没有引用。但这些结果背后的机制并不相同。一个系统可能先从检索材料里形成答案,也可能先凭已有知识作答,再为答案寻找支持材料。

这会影响我怎么看待官网内容更新。新增一段事实以后引用率上升,是值得记录的观测;要进一步说“新增事实使 AI 更愿意推荐我”,中间仍缺少对照。

引用支持与来源归因是两件事

《Cited but Unused》用反事实值替换来研究这个问题:修改检索材料中的事实值,保持问题不变,观察模型回答是否跟着变化。[1]

作者在 ASQA 上每个条件使用 800 个问题,覆盖 Qwen2.5 的五个尺寸及 Llama-3.1-8B。默认替换设置下,在可判定样本中,按论文操作性定义归为参数记忆来源的比例为 1.2%—15.7%。这个分母不是所有回答,也不是所有引用。实验使用确定性解码,没有跨替换种子重复;置信区间主要反映声明样本的不确定性。[1,§4—5]

更值得留意的是,论文修正过一个测量漏洞:只改正文,却在标题或问题里留下原值,会高估模型对记忆的依赖。作者补改标题,并剔除问题仍泄漏原值的样本后,测得的比例明显下降。[1,§8]

这给我的启发非常具体:改实验变量时,必须检查它有没有通过其他字段重新进入模型。网页标题、摘要、结构化数据和引用标题,都可能成为未控制的入口。

观察到的现象可以支持的判断暂时不能支持的判断
答案附带网页链接页面被展示为引用页面驱动了答案生成
页面内容能支持答案答案与材料一致模型实际依赖这份材料
修改材料后答案随之变化在该受控条件下,答案对材料敏感真实平台采用了同一机制

保留原值也不能自动等同于“完全没读材料”。模型可能读到了改动,但因为冲突而拒绝采用。因此我会把它称为“对材料替换的响应”,不会直接把这个行为标签当作模型内部过程的完整记录。

给 GEO Studio 增加一个来源响应实验

我的 GEO Studio 采用固定题集、T0 基线、单变量干预和重复采样。这个框架可以延伸到引用归因,但实验要放在可控制上下文的本地环境里。

我会先从 18 题主线里选出适合验证事实的题目,每题设置一个目标属性,制作原值、近距离替换值、删除该属性三种材料。三组保持来源名、候选顺序、长度和其余事实一致。另设无上下文条件,用来观察模型原本倾向于回答什么。

每个条件先做 10 次独立会话,记录采用原值、采用替换值、拒答、明确指出冲突和无法判定五类结果,同时保留引用、提及和推荐三个标签。10 次只是探索性采样,不意味着已具备充分统计功效;确定性模型则应改变替换值或排列,不能把完全相同的重复响应当成新增证据。

统计时以基础问题为单位计算各条件差异,再按问题整体重采样估计区间。对日期或资质等属性只做本地替换,不向公开网站发布虚假信息。所有新实验在这里都是方案,尚未执行,也不属于我既有数据的新增结论。

信源隐藏以后还能测什么

真实平台不允许我任意替换它收到的材料,也不一定展示完整来源。因此,答案对独特事实的吸收、事实更新后的响应时间,以及引用与事实是否一致,仍然有记录价值;但它们只能构成间接证据。

我现在更愿意在报告里写“页面被引用”“目标事实被采用”“实体被推荐”三项独立结果。把这三项分开,才能知道一次内容更新究竟改变了哪种可观测行为,而不是用一个引用率概括整条链路。

参考文献与资料来源

[1] Tanzeel Abbas, Tehseen Zia, David Windridge. Cited but Unused: Parametric Provenance in Retrieval-Augmented Generation. arXiv:2611.17161v1,2026-11-12(UTC 提交)。重点:§3—5、§8 及局限部分。

原始记录:https://arxiv.org/abs/2611.17161v1

原文全文:https://arxiv.org/html/2611.17161v1

个人实践来源:GEO Studio 的固定题集与干预流程来自作者已有项目说明;本文没有新增实测结果。文献核验日期:2026-11-20。