里斯本我们在 Web Summit,展位 A1-33。查看详情
Feedance
文章

Merchant Center 提示“商品页面不可用”:404、机器人拦截与重定向链的排查决策树

将 Merchant Center 着陆页错误归入六类原因,从 feed 链接错误、robots.txt 到机器人防护与重定向,并从源头逐一修复。

Inci DindarInci Dindar
阅读时长 4 分钟
Illustration of a web crawler blocked from a product page, with decision-tree paths to server, settings and location icons

“商品页面不可用”(Product page unavailable)是 Merchant Center 中代价较高的提示之一,因为它事先不会发出任何警告。Google 会停用受影响的商品,在其抓取工具重新访问到该页面之前,这些商品不会再出现在广告和免费商品详情中(Google Merchant Center 帮助)。只要移动版或桌面版页面有一次抓取失败,该商品就会在两种设备上同时被拒登;问题修复后,商品最长可能需要 48 小时才能恢复展示(Google,商品抓取问题)。

本指南面向在“需要注意”(Needs attention)标签页中发现着陆页错误的 feed 管理人员、代理机构负责人和开发人员。读完之后,您将能够把故障归入六类原因之一(feed、robots.txt、防火墙或 CDN 规则、重定向链、服务器,或 Google 自身),并从源头解决问题。

各个着陆页问题名称的实际含义

Google 把同一个底层问题——“我们无法抓取您的商品页面”——以多个名称呈现。下表列出每个名称对应的 API 代码,以及应首先检查的内容。

Merchant Center 中显示的问题问题代码(Google 有公布时)失败原因首先检查
商品页面不可用 / 桌面版着陆页不可用(Product page unavailable / Unavailable desktop landing page)landing_page_error无法抓取 link、link_template 或 mobile_link 中的 URL按提交时的原样检查该 URL 的 HTTP 状态
由于 robots.txt,移动版页面无法抓取(Mobile page not crawlable due to robots.txt)mobile_landing_page_crawling_not_allowedrobots.txt 禁止了抓取工具针对 Googlebot 和 Googlebot-Image 的 robots.txt 规则
无法检查商品页面 / 无法对商品页面进行质量和政策检查(Unable to check product pages / Unable to do quality & policy checks on product pages)未列入 Google 的严重程度映射robots.txt 拦截或 HTTP 错误导致质量检查无法进行先查 robots.txt,再查状态码
Google StoreBot 抓取工具无法访问您的店内商品页面(Google StoreBot crawler can't access your in-store product page)未列出StoreBot 无法检查本地商品详情的价格、库存或自提信息机器人防护、CDN 和防火墙规则
账号被暂停:着陆页无法使用(Account suspended: landing page not working)editorial_and_professional_standards_destination_url_down_policy账号范围内的着陆页大面积失败整个网站是否已宕机,或是否在拦截 Google

问题代码来自 Content API 严重程度映射;名称来自 Google 帮助页面:商品页面不可用、无法检查商品页面和 StoreBot 访问。最后一行属于账号级问题,而非商品级问题。

首先,统计受影响的商品数量

在打开任何 URL 之前,先看受影响商品占整个商品目录的比例。这个比例会告诉您该往哪里查。

  • 几乎所有商品:站点层面的某个因素(robots.txt、CDN 或防火墙规则、DNS、服务中断)正在拦截 Google。请从分支 B、C 和 E 开始。
  • 一个界限清晰的子集(某个类目、品牌或 URL 模式):feed 生成了错误的 URL。请从分支 A 和 D 开始。
  • 零星分散、没有规律的一小部分,且页面可以正常打开:可能只是 Google 的抓取偶然失败。FeedArmy 的 Emmanuel Flossie 认为,约 10% 的商品受影响是 Google 一侧原因的迹象,而所有商品受影响则是网站问题的迹象(PPC Land,2026 年 3 月)。这只是一位从业者的观察,并非 Google 的基准,因此请将其作为初步假设,而不是结论。

从“需要注意”标签页将受影响商品下载为 CSV(Google),并按 URL 路径排序;规律通常很快就能显现。

决策树:六类原因及排查顺序

将一个受影响的 URL 放入 URL 检查工具(URL Inspection)中测试,并根据报错类型选择智能手机或桌面作为抓取类型,这也是 Google 自己推荐的测试方法(Google)。然后按第一个符合的分支处理。

A. feed 中的 URL 有误(404 或无效 URL)

如果检查结果为 404,请将 feed 中的 URL 与线上实际 URL 进行比对。常见原因包括:slug 已更改、使用了预发布(staging)域名、缺少语言区域前缀,或存在未编码的字符。Google 要求 URL 以 http:// 或 https:// 开头,使用您已验证的域名,并对特殊字符进行编码,例如逗号应编码为 %2C(Google)。link 属性必须遵循 RFC 2396 或 RFC 1738 编码(Google,商品数据规范)。

如果平台根据商品名称生成 slug,土耳其语和阿拉伯语店铺尤其容易遇到这个问题。以下为本指南专门构造的示例行:

之前(导出时的状态)之后(应当送达 Google 的状态)
https://shop.example.com/kadın-deri-çanta-siyahhttps://shop.example.com/kad%C4%B1n-deri-%C3%A7anta-siyah
https://shop.example.com/urun/şık-gömlek,beyazhttps://shop.example.com/urun/%C5%9F%C4%B1k-g%C3%B6mlek%2Cbeyaz
https://shop.example.com/ar/حقيبة-جلدhttps://shop.example.com/ar/%D8%AD%D9%82%D9%8A%D8%A8%D8%A9-%D8%AC%D9%84%D8%AF
https://staging.shop.example.com/p/12345https://shop.example.com/p/12345

请在 feed 规则中进行编码,而不是手动处理,并且只编码一次。重复编码会把 %C4 变成 %25C4,从而产生新的 404。少量商品可通过“编辑商品”修复;大量商品则应在源头修正 link 和 mobile_link 后重新上传(Google)。

B. robots.txt 拦截了 Google,或无法访问

如果检查报告显示页面被拦截,请打开 /robots.txt。Google 给出的解决办法是,允许其着陆页抓取工具和图片抓取工具抓取整个网站(Google):

User-agent: Googlebot
Disallow:

User-agent: Googlebot-image
Disallow:

有三个细节容易被忽略:

  • AdsBot 会忽略通配符。AdsBot-Google 和 AdsBot-Google-Mobile 会忽略 User-agent: * 规则组,因此针对它们的规则必须点名写明(Google,特殊情况抓取工具)。Google 使用 AdsBot-Google 处理广告,使用 Googlebot 处理自然搜索,拦截其中任何一个都可能引发问题(Google)。
  • Storebot-Google 有自己的令牌。它的规则会影响所有 Google Shopping 展示界面(Google,常用抓取工具),因此为节省抓取预算而添加的 Disallow: / 会把 Storebot 挡在每一个商品页面之外。
  • 无法访问 robots.txt 同样算作失败。“无法访问您的 robots.txt 文件”本身就是“商品页面不可用”的一个原因(Google)。

如果您最近修改过 robots.txt,Google 可能会借助之前已批准的图片,继续展示受影响的商品,最长可达 30 天(Google)。这段宽限期只是掩盖了问题,并没有解决问题。

C. 机器人防护、防火墙或地域封锁只对 Google 返回 403

这个分支之所以容易让人困惑,是因为页面在浏览器中可以正常加载。Google 自己点明了这种模式:防火墙或 Cloudflare 等 CDN 只对自动化机器人返回 403 或 404、User-Agent 黑名单,以及通过 User-Agent、IP、浏览器变量或抓取频率识别抓取工具的指纹识别框架(Google,StoreBot 访问)。

  1. 检查防火墙或 CDN 日志,查看 Googlebot、AdsBot-Google 或 Storebot-Google 的请求是否被拦截或被要求验证。
  2. 通过反向 DNS 验证,而不是使用静态 IP 列表。Google 不建议使用静态 IP 白名单,而是推荐反向 DNS(Google)。Googlebot 解析到 googlebot.com,AdsBot 解析到 google.com,Google 还以 common-crawlers.json 和 special-crawlers.json 的形式公布 IP 范围(Google,验证请求)。
  3. 了解您的机器人防护产品能豁免什么、不能豁免什么。Cloudflare 的文档指出,Bot Fight Mode 无法通过 WAF 自定义规则或 Page Rules 绕过或跳过,而 Super Bot Fight Mode 支持 Skip 规则(Cloudflare 文档)。如果 Google 在 Bot Fight Mode 下被要求验证,解决办法是调整配置或更换套餐,而不是再添加一条规则。
  4. 检查地域封锁。Google 的要求是允许 AdsBot-Google 用户代理,并且如果您限制了地区,还要允许来自美国的抓取(Google)。将流量限制在土耳其或海湾地区的店铺会遇到这个问题。

不要通过在自己的电脑上用 Googlebot 用户代理发送 curl 请求来测试。即使真正的 Googlebot 已被允许,按 IP 验证的机器人防护产品也会把您的请求当作伪造请求拦截。请使用从 Google 发起抓取的 URL 检查工具。

D. 重定向过多,或重定向目标失效

Google 要求重定向不超过两次(Google)。典型的三跳链路是:http:// 到 https://、裸域名到 www、旧 slug 到新 slug。请提交最终 URL。返回无效、为空或过长 URL 的重定向属于另一类失败(Google)。如果您使用区域库存与价格附加功能,带有 region_id 参数的 URL 也必须可以被抓取(Google)。

E. 5xx 响应、超时或 DNS 故障

这些问题指向服务器而非 feed;Google 将 5xx、主机名无法解析、响应格式错误和超时列为不同的原因(Google)。其针对销售旺季的指引是:如果您的网站宕机或超时,商品可能会被拒登,因此请确认服务器能够承受流量高峰,并使用 PageSpeed Insights 检查速度(Google,为大型活动做准备)。请在黑色星期五或斋月高峰之前完成这些工作,而不是在高峰期间。

F. 您这边没有任何问题

如果 URL 检查返回 200,robots.txt 允许 Google,防火墙日志也没有异常,而且只有零星的少数商品受影响,请申请网站检查。这样可以加快重新审核;Google 最长可能需要 12 小时,并且在此期间不接受第二次申请(Google)。问题可能会再次出现,有时就在第二天(PPC Land);如果出现这种情况,请携带您的检查结果联系 Merchant Center 支持团队。

修复后需要多长时间恢复

Google 针对不同阶段给出的时间并不相同。您可以用下表与预算负责人对齐预期:

阶段公布的时间来源
提交申请后的网站检查最长 12 小时(此期间不可再次申请)Google
“需要注意”标签页反映 robots.txt 修复结果24 至 72 小时Google
抓取问题修复后商品重新出现最长 48 小时Google
StoreBot 访问恢复后的本地商品详情通常为 12 至 48 小时Google
修改 robots.txt 后仍展示之前已批准的图片最长 30 天Google

可以打分的预防清单

您今天能确认的每一项计 1 分。7 分及以上:错误应当很少出现,并且能够快速诊断。4 分及以下:下一次 robots.txt 或 CDN 变更很可能会让商品下线。

  1. feed 导出的是最终的规范商品 URL,绝不会是重定向超过一次的 URL。
  2. feed 规则会对非 ASCII 字符和逗号进行且仅进行一次百分号编码。
  3. 任何预发布、预览或测试域名都无法进入生产 feed。
  4. robots.txt 允许 Googlebot 和 Googlebot-Image 访问商品路径和图片路径。
  5. 没有人在无法说明理由的情况下写入 Storebot-Google 或 AdsBot-Google 的 disallow 规则。
  6. 机器人防护通过反向 DNS 豁免已验证的 Google 抓取工具,并且您的机器人防护产品确实支持豁免。
  7. 地域限制允许来自美国的抓取。
  8. 每一次 robots.txt、CDN 或 WAF 变更,都会用 URL 检查工具在三个商品 URL 上进行测试。
  9. 有人每周检查“需要注意”标签页,销售旺季则每天检查。
  10. 缺货或已删除的商品,会在其 URL 开始返回 404 之前从 feed 中移除。

第 1 至 3 项以及第 10 项都属于 feed 层面,可以由 feed 工具来强制执行。Feedance 的 Feed Protection 会在每次 feed 更新时运行检查,并在带有失效图片链接的商品到达渠道之前将其剔除。我们的 Google Merchant Center 集成会发送由您的规则生成的 link 值。同一问题在图片方面的处理,请参阅我们的修复商品图片链接指南。

本指南的局限

包括我们在内的 feed 工具,都不会像 Googlebot 那样抓取您的网站。Feed Protection 在每次更新时验证 feed 数据,并非实时监控,也不会从 Google 的网络获取着陆页。分支 B、C 和 E 仍需由您的开发人员、主机服务商或 CDN 管理员处理,URL 检查工具以及服务器或 CDN 日志是这里合适的工具;没有任何 feed 平台可以取代它们。

本指南仅涵盖 Google;Meta 和 TikTok Shop 使用各自的抓取工具和错误名称。Google 自己的页面在时间说明上也不一致,因此请将恢复时间表视为一个范围。此外,“10% 意味着问题在 Google 一侧”这条经验法则来自一位从业者,我们没有第一方数据可以证实。

常见问题

“商品页面不可用”是否意味着我的网站宕机了?

不一定。它表示 Google 的抓取工具无法获取所提交的 URL,原因可能是 feed 中的 URL 有误、robots.txt 拦截、仅针对机器人的防火墙拦截、重定向过多,或 Google 一侧的故障。

为什么只有移动版页面失败,我的商品在桌面端也被拒登?

Google 表示,只要移动版或桌面版着陆页中任何一个出现抓取错误,在该页面恢复可访问之前,商品就会在两种设备上同时被拒登。修复失败的那个版本,两者就会一起恢复。

在 robots.txt 中允许 Googlebot 对 Shopping 广告来说够了吗?

不一定。AdsBot-Google 会忽略 User-agent: * 规则组,而 Storebot-Google 对 Shopping 展示界面有自己的令牌。请检查没有任何规则禁止它们。

我应该在防火墙中将 Google 的 IP 地址加入白名单吗?

Google 不建议使用静态 IP 白名单,而是推荐通过反向 DNS 验证。如果您确实需要 IP 范围,请读取 Google 公布的 JSON 文件,而不是使用一次性复制的列表。

修复后,被拒登的商品多久能恢复?

申请的网站检查最长需要 12 小时;之后 Google 的页面提到,商品和“需要注意”标签页的更新最长需要 48 至 72 小时。请按两到三天来规划。

商品 URL 中的土耳其语或阿拉伯语字符会导致拒登吗?

可能会,如果它们未编码或被重复编码后送达 Google。请在 feed 规则中对非 ASCII 字符和逗号进行且仅进行一次编码。

着陆页问题会导致我的整个账号被暂停吗?

会。Google 设有一个严重级别为“关键”的账号级问题,针对着陆页无法使用的情况,并会因此暂停账号,所以一旦这类错误在整个商品目录中激增,就需要当天处理。

赶在 Google 之前检查 feed 的链接

本指南中涉及 feed 层面的原因(域名错误、未编码字符、本不应出现在 feed 中的 URL),在 feed 中发现的成本要低于在 Merchant Center 中发现。请用免费的商品 feed 审核工具检测您的 feed,它会对数据完整性、数据质量和技术健康度进行评分;在下一个销售旺季到来之前,请逐项处理它报告的问题。

参考来源

想请人帮您把把关?我们会与您一起审查 feed,并在下次提交前指出其中的缺口。
免费诊断
Inci Dindar
作者
Inci Dindar

Feedance 联合创始人,凭借 20 多年的产品与用户体验设计经验,塑造商品目录转化为创意的方式。她专注于打通设计系统与自动化,致力于帮助品牌在不增加设计投入的情况下规模化提升视觉质量。

LinkedIn

看看哪些
商品真正带来收益。

连接您的 feed 和 GA4,我们会在您自己的商品目录上展示 Product Score、4T、Price War 和 Broken Size。