所以我们这里有一个中途之家。现在从技术上讲，nofollow 是当今的一个提示。根据我的经验，Google 不会抓取仅通过内部 nofollow 链接的页面。，显然它仍然会抓取它。但总的来说，它可以作为限制爬网预算的一种有用方法，或者我应该说更有效地使用爬网预算。该页面仍然可以配置。
这就是我们在这个例子中试图实现的目标。它仍然可以通过PageRank。这是我们试图实现的另一件事。不过，您仍然会因该 nofollow 链接而失去一些 PageRank。它仍然算作一个链接，因此您会失去一些本来会通过管道传输到该后续链接的 PageRank。
，显然这是电子商务网站上
此类页面的非常常见的解决方案。
现在，在这种情况下，该页面可以被抓取。但是，一旦 Google 到达该页面，它就会知道 whatsapp 数据库 它是 noindex，并且随着时间的推移，它会更少地抓取它，因为抓取 noindex 页面的意义较小。所以，我们这里有一个中途之家。
显然，这是不可能安排的。这不是索引。它不会向外移动 PageRank。 PageRank 仍然传递到该页面，但由于它的 head 部分有一个 nofollow，所以它不会向外传递 PageRank。这不是一个很好的解决方案。为了减少爬行预算，我们必须在此处实现一些妥协。
无索引，关注。
很多人认为，哦，好吧，解决方案是使用 noindex follow 作为两者中最好的 常见问题解答 我该如何回复差评？ ，您在其中一个页面的头部放置了一个 noindex follow 标签，哦，是的，每个人都是赢家，因为我们仍然获得相同的抓取好处。我们仍然没有为这个新的重复页面建立索引，我们不希望为其建立索引，但 PageRank 解决方案已修复。
几年前，谷歌出来说：“哦，我们自己没有意识到这一点，但实际上，随着我们抓取这个页面的时间越来越少，我们将不再看到该链接，然后它就不算数了。”所以他们暗示它仍然不能作为传递 PageRank 的方法，并且最终会被视为 noindex 和 nofollow。那么，我们有一个稍微妥协的解决方案。
典范
现在，世界上真正最好的东西就可以成为规范了。有了规范标签，随着时间的推移，它仍然不会那么爬行，规范化版本，太棒了。它仍然不会被索引，规范化版本，太棒了，而且它仍然通过了 PageRank。
所以看起来很棒。它在很多
方面看起来都很完美。但这仅在页面与重复项足够接近且 Google 愿意将其视为重复 安圭拉讯息 项并尊重规范的情况下才有效。如果他们还没有准备好将它们视为重复项，您将不得不重新使用 noindex。或者，如果您认为这个 URL 实际上没有理由存在，我不知道这种错误顺序的组合是如何发生的，但这似乎完全没有意义。
我将不再链接到它
但是，如果有些人仍然以某种方式获得该 URL，我们可以使用 301 作为一种经济手段，最终效果会非常好…我想说比规范和 noindex 更好，可以节省抓取预算，因为 Google 甚至不需要在极少数情况下访问该页面，因为它只遵循 301。
它将解决我们的索引问题，并且将通过 PageRank。但当然，这里的权衡是用户也无法访问该 URL，因此我们必须接受这一点。
实施抓取预算策略
总而言之，我们如何实际使用这些策略？那么，如果您想要一个爬网预算项目，我会推荐哪些活动？
不太直观的因素之一是速度。正如我之前所说，Google 会分配一定量的时间或资源来抓取特定网站。因此，如果您的网站速度非常快，如果您的服务器响应时间很短，如果您有轻量级 HTML，那么它们将在相同的时间内浏览更多页面。