关于网站抓取问题和解决方案

SEO教程：您何时遇到大型网站可能遇到的数千个潜在问题，您从哪里开始？这是我们在重建Web爬网时尝试解决的问题。答案几乎完全取决于您的网站，可能需要深入了解其历史和目标，但我想概述一个可以帮助您降低噪音并开始使用它的SEO流程。简单的操作有时很危险。为什么？在此之前，我们尝试将网站开头的每个问题标记为高，中，低优先级。这个简单的方法可能很有用，但我们发现不可能这样做，你可能想知道为什么我们应该放弃它。

首先，站点优化元素的优先级取决于您的意图。如果搜索引擎正在搜索网站，那么误解你的意图可能会导致糟糕的结果，从混乱到灾难性的结果。例如，我们在moz上雇用了一个全新的seoer，发现了以下问题：网站上同时有近35,000个noindex标签？如果我们使用SEO工具快速删除这些标签，网站本身将受到极大的伤害，而不是意识到大多数这些说明都是故意的。我们可以使我们的系统更智能，但他们不理解，所以我们需要对误报警持谨慎。

其次，优先级问题无助于您了解这些问题的性质或如何解决这些问题。我们现在将Web爬行划分为四种描述类型：历史数据问题重定向问题元数据问题内容问题按类型分类可以使您获得更多的SEO技术。

最终帮助您找到问题只是第一步。我们希望能帮助您更好地解决这个问题。从爬行动物的严重问题开始，这并不意味着一切都是主观的。一些问题阻止爬行动物（不仅仅是我们的和搜索引擎）到达您的页面。我们将这些“关键爬虫问题”分类为第一类，目前包括5xx错误，4xx错误和重定向到4xx。如果您突然收到5xx错误，您需要知道很少有人故意将其重定向到404.在整个网络爬虫界面中，您会看到突出显示的重要爬虫问题：找到红色警报图标以快速找到关键问题。

首先，解决这些问题。如果你不能抓取页面，那么所有其他爬虫问题都无法解决，这对SEO来说非常糟糕。 2.在解决您的技术SEO问题时，我们必须平衡问题的严重性和数量。如果您不了解您的网站，我会说在复制内容之前可能需要修复404错误 – 但如果您有11个404和17843重复页面怎么办？你的优先事项突然变得非常不同我们已经为您做了一些SEO数据分析，以通过问题的普遍性来增加紧迫性。这需要对优先级进行一些假设，但如果您的时间有限，我们希望为您提供至少一个快速起点来解决几个关键问题。

解决多页问题的另一个好处是解决大容量问题。在许多情况下，您可以一次修复数百（甚至数千）个页面。这是一种更节省时间和金钱的战术方法。

因此，我们可以通过URL过滤解决网页抓取的问题：我可以很快看到这些页面占392页，我缺乏描述，高达43％。如果我担心这个问题，也许我可以通过一个相当简单的CMS页面修复它，并通过几行代码消除数百个问题。在不久的将来，我们希望为您做一些分析，但如果过滤不这样做，您还可以将任何问题列表导出到csv。然后，旋转并过滤心脏的内容。

通过PA和爬网深度输入页面。如果你找不到清晰的模式，或者你已经解决了一些重大问题，那么下一步是什么？如果您知道这些URL很重要，那么一次解决数千个问题是值得的。幸运的是，您现在可以按网页爬网中的页面权限（PA）和爬网深度进行排序。 PA是我们排名能力的内部指标（主要取决于链接权重），抓取深度是页面与主页之间的距离：在这里，我可以看到我们的Mozbar网站中的重定向链，这是一个非常高的特权页面。这可能是一个值得解决的问题，即使它不是一个独特的，更大的组织的一部分。

• 上一篇：整站优化导出链路外链构造移动台和适应关系
• 下一篇：Seo Learning Network告诉您如何使用SEO Spider检查重定向