Shopify重复网址太多:一招关掉参数,不浪费蜘蛛抓取额度
大部分用Shopify建站的人可能没意识到一个事实搜索引擎爬虫每天来你的网站花了大量时间去抓取的页面可能有一半以上都是重复的。这不是危言耸听。Shopify天生会生成大量带有不同参数的URL版本。比如同一件商品用户可以通过不同路径访问举个例子一件商品的正常URL是商店域名斜杠products斜杠商品名称。但如果你在URL后面加上问号加各种参数同样能打开这个页面。不同的参数组合会生成不同的URL但内容是完全一样的。这些参数从哪来的Shopify的内置功能、安装的插件、主题文件、甚至Google Analytics的追踪代码都可能生成带有参数的URL。最常见的情况是用户在网站上筛选商品时产生的参数URL被爬虫抓取到了社交媒体分享按钮生成的带有追踪参数的URL被搜索引擎发现了安装的评论插件、邮件营销插件自动生成了带有参数的页面路径。搜索引擎爬虫每天访问你的网站时是有抓取预算这个概念的。谷歌分配给每个网站的爬取额度不是无限的它每天只会花费一定的时间和资源来抓取你的网站。如果爬虫花了一大半额度去抓取那些参数URL留给真正需要索引的核心商品页的额度就所剩无几了。更麻烦的是重复内容还会影响搜索引擎对你网站质量的判断。当谷歌发现大量的页面内容几乎完全一样它会认为这个网站的信息价值不高从而降低对整个网站的权重评估。问题到底有多严重我用一个实际案例来说明。某个做家居用品的Shopify店铺产品总数大约三百件。我从搜索控制台拉取数据发现谷歌发现了超过两千个不同的URL。正常的产品页只有三百个剩下的一千七百多个都是各种参数变体——排序参数、筛选参数、追踪参数、分页参数。这意味着爬虫百分之八十以上的抓取额度被浪费在了重复内容上。核心产品页反而得不到充分的抓取机会这直接导致了两个后果新产品发布后很久才被收录以及页面内容更新后索引更新缓慢。解决思路规范参数处理Shopify本身提供了一个非常直接的解决方案但知道并且用上的人不多。在Shopify后台的搜索引擎优化设置中有一个专门处理规范标签的选项在在线商店的偏好设置中可以找到。所谓规范标签就是告诉搜索引擎请把这个URL当作主要版本收藏起来的一段代码。当页面存在多个参数不同的URL时在页面头部加一个规范标签明确指向不带参数的原始版本。这样不管爬虫通过哪个参数URL进来它最终都会把权重集中到规范的URL上。Shopify默认会为大多数页面自动生成规范标签但问题在于并不是所有情况下它都能正确处理。特别是当你安装了第三方插件之后有些插件生成的页面可能没有被加上规范标签或者标签指向错误。手动检查的方法是随意打开商店的几个产品页面查看网页源代码中的link标签。看看rel等于canonical的那个链接是不是指向了你期望的那个标准URL。如果发现规范标签缺失或者指向不对就需要手动修复。具体操作步骤第一步在Shopify后台进入在线商店的偏好设置找到谷歌搜索优化相关的选项可以在这里关闭掉一些自动添加追踪参数的设置。第二步检查已安装的插件并逐一排查。很多SEO插件或者评论插件会在页面上生成额外的参数。进入每个插件的设置页面找到与URL和追踪相关的选项尽量关闭不需要的参数添加功能。第三步如果网站使用了Google Analytics的自动追踪参数可以在GA的设置中关闭URL参数追踪或者使用GTM管理器来精确控制哪些参数被添加。第四步也是最关键的一步在搜索控制台设置URL参数处理规则。进入谷歌搜索控制台选择你的网站找到网址参数设置。在这里你可以告诉谷歌哪些参数对页面内容没有影响请忽略它们。比如排序参数、筛选参数、追踪参数这些都可以设置为不影响内容建议忽略。设置完之后谷歌会在接下来的抓取中参考你的指示减少对参数URL的抓取。这个过程不是立竿见影的通常需要一到两周才能看到效果。做完之后能看到什么变化我在前面提到的那家家居用品店铺完成了上述配置。一个月后搜索控制台的已发现但未索引的页面数量下降了近一半。更关键的变化是核心产品页的抓取频率明显提升新上架的产品被收录的时间从原来的三到四周缩短到了一周左右。重复页面的清理还有一个间接但重要的好处——网站的整体权重更加集中了。当搜索引擎不再把几百个参数页面当成独立页面来评估所有本该属于这套内容的权重就汇聚到了规范版本上。体感上你可能说不清哪里变了但搜索排名的细微提升会在几个月内逐步显现。这件事的核心认知很多Shopify卖家把注意力放在选品、广告和转化率上却忽略了网站技术层面的一些基础问题。重复URL看起来不是大事因为用户在浏览器里正常访问时参数版本和规范版本看起来一模一样。但在搜索引擎的视角里它们就是不同的页面每个都需要独立评估和处理。理顺了这些基础的SEO配置你的网站才真正开始在搜索引擎面前做减法。去掉那些不该被抓取的重复内容把有限的资源集中在真正重要的页面上。这件事本身不复杂但确实需要动手去检查配置而不是停留在我的Shopify是开箱即用的这样的认知上。开箱即用可以做店但开箱即用不一定做得好搜索。