一次 AI 回答里出现了自己的名字,很容易让人觉得优化开始生效。接下来更值得问的是,同样的问题再问一次,名字还会不会出现。

我们从 GEO Studio 的日常采样中取出五道固定的成都 GEO 推荐题,分析了 2026 年 9 月 10 日至 10 月 6 日的 553 次可比回答。结果显示,在这个窗口内,同一个人的点名表现随问法相差很大,同题同日也频繁出现结果切换。来源列表同样存在变化。

这份观察支持把重复测量纳入 GEO 评估。它能够描述这五道题在豆包上的表现,尚不能证明某次内容发布导致了提升,也不能代表其他品牌或平台。

从生产数据中取出一组可比回答

研究数据来自 GEO Studio 的生产 Native 存储,读取时间为北京时间 2026 年 10 月 7 日 21 时 40 分。冻结快照包含 1,797 条正式观测和 1,632 次采样运行。两者记录的事情不同,不能相加作为样本量。

我们选择了已经持续采样的五道 P1 成都推荐题。研究窗口从 9 月 10 日开始,到 10 月 6 日结束,共 27 个完整自然日。10 月 7 日尚未结束,未纳入统计;后来加入的题目和识别、验证题也未混入。

五道题在窗口内共有 570 条观测,排除 16 条有生成中断记录的观测,以及 1 条其他平台观测,得到 553 条。保留下来的记录均来自豆包快速模式,具有机器采样协议、对应问题版本、结果量表版本和唯一采样运行关联。五道题每天均有至少一次合格观测。

两台节点的采样合并分析,同时保留节点字段用于检查。运行记录声明每次提问新建会话;这不能排除账号状态、个性化、缓存和检索更新的影响。

先把个人和公司分开

开始计算前,我们对照了正式判档与回答原文。553 条观测中,Studio 有 218 条被标为推荐。其中 24 条只提到了新港智优或机灵 AI,正文没有王涛或 Taomir。

公司的出现和个人的出现会影响不同的业务决定。衡量王涛个人可见度时,不能直接把公司名字计作个人点名。

因此,本研究的主指标采用一条可以复算的文本定义。回答正文中出现“王涛”或“Taomir”即记为一次点名,英文忽略大小写;只出现公司名记为未点名。按这一口径,553 条回答中有 194 条点名。

这个指标不判断资历描述是否真实,也不衡量推荐名次、用户访问或成交。194 条点名回答均同时出现了 Taomir、新港智优或 TaoGEO 等身份标记。名字匹配仍按上述文本定义计算;研究指标与原判档的差异保留在研究副本中,Studio 的原始记录没有改动。

五种问法,得到五种可见度

每天的采样次数不同,同一道题一天合格样本在 1 次至 12 次之间。把全部回答直接相加,会让采样较密集的日期获得更大权重。

我们先计算每道题每天的点名率,再对 27 天等权平均。区间采用按日聚类的 Bootstrap,重抽样 10,000 次。每次抽取日期时保留当天的回答组,不把同一天的回答当作完全独立的观察。

固定问题 合格回答数 点名回答数 按日等权点名率 95% Bootstrap 区间
成都GEO优化专家推荐 113 37 33.6% 22.6% 至 45.4%
推荐一个成都GEO优化专家 108 8 7.4% 2.7% 至 12.8%
成都有哪些靠谱的GEO优化顾问 111 3 2.7% 0.0% 至 6.9%
成都谁做GEO优化比较厉害 111 70 58.7% 46.7% 至 70.9%
成都做GEO优化比较好的人是谁 110 76 63.5% 52.0% 至 74.8%

表中的平均率按日期等权计算,不一定等于点名回答数除以全部回答数。例如最后一道题的逐回答比例为 76/110,即 69.1%;按日等权后为 63.5%。两者描述了不同权重下的结果。

最明显的差异出现在“人”和“顾问”两道题之间。前者的日均点名率高出 60.8 个百分点。把同一天的两道题配对,对日差值重抽样,95% 区间为 49.2 至 71.7 个百分点。以连续 3 天、7 天为块进行敏感性检查,差值区间仍保持为正。

这说明,在这个案例和观察窗口内,问法之间存在持续的表现差异。五道题对应的需求、候选人范围和回答组织方式也可能不同。这些数据不能单独证明,把某个词换成“人”就会让任何品牌获得同样提升。

同一天重复提问,结果也会切换

五道题和 27 天构成 135 个题日组合,其中 131 个组合具有至少两次合格采样。61 个组合同时出现了点名和未点名结果,占可重复比较组合的 46.6%。

按时间排列同题同日回答,得到 418 对相邻采样,其中 120 对发生点名状态切换,占 28.7%。相邻对会共享回答,这个比例用于描述结果切换,418 不能作为独立实验样本量。

一个具体记录来自“成都做GEO优化比较好的人是谁”。10 月 4 日凌晨 4 时 11 分的回答写出了王涛,上午 9 时 1 分的下一次合格回答没有点名。一次截图保留的是其中一个时刻,无法代替当天的重复结果。

两台节点合并可能引入账号或环境差异。我们又在同一节点内部,对同题同日的相邻回答进行了检查。“成都谁做GEO优化比较厉害”仍有 30/69 对发生切换,“成都做GEO优化比较好的人是谁”有 27/69 对发生切换。结果变化并未随着跨节点比较的移除而消失。

另一侧也需要看清。“成都有哪些靠谱的GEO优化顾问”在同节点检查中只有 2/69 对切换,但该题总体仅 3 次点名。低切换率可以对应长期未出现,不能自动理解为优化效果稳定。

来源列表也没有固定下来

个人点名分析使用全部 553 条合格回答。来源分析需要更完整的证据,所以另取来源状态为完整、运行完成且干净的 531 条回答;来源部分缺失或不可用的 22 条未进入集合比较。

531 条中有 523 条能够找到同题同日的另一条完整来源回答,共形成 1,279 对比较。我们按 URL 提取来源主机名,去除 www 和 m 前缀,在每条回答内部去重,计算集合的 Jaccard 重合度。该数值等于交集大小除以并集大小,1 表示集合相同,0 表示没有共同站点。

为了避免采样多的日期主导结果,先计算每个题日组合的平均重合度,再取各日均值的中位数。

固定问题 可比较日期数 来源站点重合度中位数
成都GEO优化专家推荐 26 0.346
推荐一个成都GEO优化专家 25 0.500
成都有哪些靠谱的GEO优化顾问 26 0.446
成都谁做GEO优化比较厉害 24 0.233
成都做GEO优化比较好的人是谁 26 0.229

这些值说明,完整捕获的可见来源列表在重复采样中仍有变化。我们没有从中推导来源与点名之间的因果关系,也没有把可见来源列表认定为豆包内部完整的检索候选池。

Jaccard 是集合重合度。0.500 表示交集占并集的一半,不能直接解释为某一条回答有一半来源被替换。这里使用主机名而非网页 URL,衡量的也是站点层面的变化。

这批数据如何改变 GEO 评估

这次研究最直接的用途,是让测量结论与业务决定对应起来。

一个人是否被点名、一家公司是否进入候选、某篇内容是否出现在可见来源里,需要分别计数。在这个样本中,公司与个人合并就会多出 24 条个人点名的代理记录;给这个混合指标加上更精细的置信区间,仍然无法回答个人表现的问题。

重复采样也应该围绕固定问题展开。相同日期、相同平台和模式下,问法之间已有很大差异。随意增删题目后比较总百分比,会把题集变化和表现变化混在一起。

对于五道题中的某一道,报告中同时保留问题、采样窗口、样本数、点名次数和不确定性区间,才能说明结论来自哪里。若要评价一次内容优化,还需要对应的干预记录和可比对照。本文没有执行这一项分析。

研究边界与复算方法

本研究属于作者自有品牌的单案例观察,只覆盖豆包快速模式和五道成都 GEO 推荐题,不能外推到其他行业、平台或真实用户总体。采样频次在窗口内有过调整;按日等权减少了密集采样日期的权重,但不会消除适应性调度带来的全部偏差。

Bootstrap 区间描述的是这段观察窗口内的测量不确定性。连续日期可能相关,平台及内容也可能随时间变化。我们用连续 3 天和 7 天的移动块重抽样作敏感性检查,不把这些块长度解释为通用标准,也不把区间当作未来表现保证。低频点名题的区间下界为零,同样不意味着真实出现概率为零。

正文的名字匹配是透明的文本计数,不能替代完整的实体消歧和身份正确性判断。来源比较仅覆盖捕获完整的记录;完整状态来自采样器记录,没有独立证明列表包含平台使用的全部资料。研究也未保存全部被引网页在当时的正文,不能据此排除内容变化。

复算材料保留了生产只读快照、快照哈希、分析程序、逐条研究样本和完整计算结果,未公开发布。程序使用 Python 和 NumPy,随机种子为 20261007,主分析按日重抽样 10,000 次,移动块敏感性检查采用非循环的连续日期块。

方法参考

Sielinski,2026,AI 可见度不确定性与生成式搜索测量研究,arXiv 2603.08924,阅读版本 v3。原文

本研究借鉴了其重复采样、Bootstrap 和来源集合比较思路。本文的 553 条样本、个人点名定义、按日等权计算及移动块检查均来自 GEO Studio 数据的独立分析,没有把该论文的平台排名或采样数量建议作为本研究结论。

研究证据哈希承诺

本研究沿用此前 Query Sensitivity 文章的证据承诺方式,保留私人生产快照及复算材料,并将文件清单的 SHA-256 作为证据包的根哈希。

  • 证据编号 GEO-STUDIO-PERSON-NAMING-20261007
  • 本地冻结时间 2026-10-07T22:03:18+08:00
  • 生产快照读取时间 2026-10-07T21:40:00.799398+08:00
  • 研究范围为 2026 年 9 月 10 日至 10 月 6 日、豆包快速模式、五道固定问题、553 条合格观测。

生产只读快照 SHA-256

b185aef2079936888ef528ff662306c501673300d5c5533ee9e6c88c37bb4bde

Root SHA-256

b7b25a7d43a5bc89b66ed23ecb0c915330bf1abc4791de47bc66abed2f03f03f

生产快照包含 1,797 条观测与 1,632 次采样运行,研究仅使用其中符合条件的 553 条观测。根哈希覆盖快照、研究样本索引、分析程序、计算结果及说明等 9 个文件;先对每个文件计算 SHA-256,按完整清单行排序写入 UTF-8、LF 换行的 FILE_HASHES.sha256,再对清单文件计算 SHA-256。

原始证据由作者私有保存。