把搜不到定位到具体环节

公开来源核对日期：2026-10-10。本文是待执行的教学作业，不是已完成审计或效果证明。示例完全虚构。

要做的决定

问题属于获取、渲染、索引许可、canonical 选择、发现路径，还是索引记录尚未更新？“网站已上线”不能定位故障。先查一个精确 URL，再考虑全站改造。

输入

完整公开 URL、预期 canonical、sitemap 地址及预期索引策略。只读可访问的页面；站主报告后续提供也可以，作业不要求登录或提交。缺报告则索引状态保持 UNKNOWN。

操作与分支

1. 响应：保存 GET 时间、输入 URL、每次跳转状态及 Location、最终 URL、响应头与相关正文。200 返回错误正文时检查软错误可能。200 只满足部分最低技术要求，不证明索引。（S09）
2. 许可：并列对应爬虫的 robots.txt 匹配规则、HTML robots meta 与 X-Robots-Tag。robots 控制抓取，noindex 控制索引；页面被挡时爬虫看不到 noindex。同一爬虫的 HTML robots meta 与 X-Robots-Tag 冲突时取较严格值；robots.txt 按独立路径匹配规则判断：最具体的匹配路径优先，等具体冲突时 Google 取较宽松规则。（S31）改之前先核预期策略。（S10、S27）
3. 当前与记录：Google 已索引检查、Live Test 分两列并记时间；在线可用不证明已索引，也不预测最终 canonical。Bing Index 与 Live URL 同样分开。Bing Live 不自动跟随跳转；Google Live 会跟随但不显示最终测试 URL，因此独立跳转链仍需保留。（S10、S11）
4. 渲染：比较原始与渲染后标题、主正文、可抓链接、canonical 与 robots 指令，检查资源阻断与错误。CSR 不自动等于 SEO 故障，应看内容或资源证据；原始 HTML 的 noindex 不能依赖 JavaScript 删除来补救。（S12）
5. 规范与发现：预期、声明、引擎选择的 canonical 分别记录，同时看站内链接与 sitemap。重复替代页未单独索引可能符合预期；不能因另一条地址更好看就迁移规范地址。（S10）
6. Sitemap：文件获取、解析、最后读取、发现 URL 与页面状态独立核对。本地获取成功可以与引擎后台处理结果不同；Success 与发现条数不证明页面索引，页面样本另查。（S13）
7. 修正与复查：仅对确认且非预期的阻断走网站正常审核流程，改后读回部署响应和正文。只能确认当前阻断移除时，写“当前阻断已移除，待索引记录更新”。Google 请求抓取有额度、不保证进入结果，重复请求不加速。（S28）

IndexNow 向参与引擎通知 URL 变化，成功响应是收件而非索引证明。Google Indexing API 仅适用于指定结构化数据的职位页和直播页，不是普通教程通用提交工具。本模块不执行提交。（S29、S30）

虚构输出示范

完全虚构的 https://example.com/packing/rain/ 响应夹具返回 200，正文有答案，HTML 写 index，响应头写 noindex，sitemap 也包含该 URL。若确实期望公开索引，可提出窄范围指令修正；后续响应没有 noindex，只能证明这次响应的阻断消失。引擎选择的 canonical 与索引记录仍未知。没有对示例地址发起真实网络请求。

交付与证据

形成一条“预期策略→有时间的观察→所属环节→替代解释→拟改项→读回证据→复查条件”。真实响应片段与站主报告范围留在适当的私有证据中，不发布账号截图。本地 HTTP 检查、模拟夹具与搜索引擎测试使用不同标签。

失败边界

一次状态码不能断言服务端根因；临时跳转不全是缺陷；sitemap 可获取不等于收录；一个 URL 已索引不代表全站。技术条件看似满足仍未索引时，原因可能保持 UNKNOWN，不承诺强制收录。

有界 Agent 任务

“只读这些授权公开 URL 与提供的报告摘录，按环节生成带时间和跳转链的诊断，区分实际阻断与未知引擎决定。不得改 robots、canonical、账号设置、部署、提交 URL 或生成凭据。”

公开来源

• Technical requirements (S09; checked 2026-10-10).

• URL Inspection tool (S10; checked 2026-10-10).

• URL Inspection (S11; checked 2026-10-10).

• JavaScript SEO basics (S12; checked 2026-10-10).

• Sitemaps report (S13; checked 2026-10-10).

• Robots meta and X-Robots-Tag specifications (S27; checked 2026-10-10).

• Ask Google to recrawl your URLs (S28; checked 2026-10-10).

• IndexNow documentation (S29; checked 2026-10-10).

• Indexing API Quickstart (S30; checked 2026-10-10).

• How Google interprets the robots.txt specification (S31; checked 2026-10-10).

回到第 4 课