当我与人们谈论我做什么以及SEO是什么时，他们通常会很快问到如何提升网络爬虫的抓取率，良好的网站结构，良好的内容，良好的反向链接支持。但有时，它会变得更具技术性……

网络爬虫为什么要爬行网站？

网络爬行开始于映射互联网以及每个网站如何相互连接，它也被搜索引擎用于发现和索引新的网络页面。网络爬虫还用于测试网站和分析是否发现网站漏洞。

网络爬虫用于收集信息，然后使用和处理这些信息以对文档进行分类并提供有关所收集数据的见解。

只要熟悉代码的人都可以访问并构建爬虫，但是，制作高效的爬虫很困难并且需要花费更多时间。

网络爬虫是如何工作的 ？

要抓取网站或网页，首先需要一个入口点。机器人需要知道您的网站存在，以便他们可以来查看。在您将网站提交给搜索引擎的时候，网络爬虫就知道你的网站是存在于互联网之中。当然，您也可以建立一些指向您网站的链接，并且引导爬虫循环爬行！

网络爬虫一旦登陆您的网站，它会逐行分析您的所有内容，并跟踪您拥有的每个链接，无论它们是内部还是外部。依此类推，直到它落在没有更多链接的页面上，或者遇到404,403,500,503等错误才会离开。

从更技术的角度来看，爬虫使用URL的种子（或列表）。然后传递给搜索引擎，它将检索页面的内容。然后将此内容移至链接提取器，该提取器将解析HTML并提取所有链接。这些链接被发送到存储器。这些URL也将通过页面过滤器，该过滤器将所有链接发送到URL模块。此模块检测是否已经看到URL。如果没有，它将被发送到抓取程序，它将检索页面的内容，依此类推。

注意，蜘蛛无法抓取某些内容，例如Flash。百度蜘蛛与GoogleBot目前能够正确抓取部分Javascript。

如果机器人没有被任何规则禁止，他们将抓取一切可被发现的链接。这使得robots.txt文件变得非常有用。它告诉爬虫（它可以是每个爬虫特定的，即GoogleBot或Baidu Spider  – 在这里找到关于机器人的更多信息）他们无法抓取的页面。比方说，您可以使用构面进行导航，您可能不希望机器人抓取这些，因为它们几乎没有价值，并且会浪费抓取预算，查看robots.txt文件协议设置简介。

例：

User-agent：* 
Disallow：/ admin / 
这告诉所有机器人不要抓取admin文件夹 
User-agent：Baidu Spider 
Disallow：/ repertoire-b / 
另一方面，这指定只有Baidu Spider无法抓取文件夹B.

您还可以在HTML中使用指示，告知机器人不要使用rel =“nofollow”标记来关注特定链接。有些测试表明即使在链接上使用rel =“nofollow”标记也不会阻止Baidu Spider跟踪它。这与其目的相矛盾，但在其他情况下会有用。

抓取预算是什么？

假设有一个搜索引擎已经发现一个网站，他们经常会查看您是否在您的网站上进行了任何更新或者创建了新页面。
每个网站都有自己的抓取预算，具体取决于几个因素，例如您网站的网页数量和网站的完整性（例如，如果它有很多错误）。通过登录百度站长平台，您可以轻松快速了解抓取预算。

网站抓取预算将修复每次访问时机器人在您网站上抓取的网页数量。它与您网站上的网页数量成比例关联，某些页面被更频繁地被抓取，特别是定期更新或者从重要页面链接。

例如，网站主页是主要的入口点，将经常被抓取。如果您有博客或类别页面，如果它们链接到主导航，它们将经常被抓取。博客也会经常被抓取，因为它会定期更新。博客文章在首次发布时可能会被抓取，但几个月后它可能无法更新。

页面被抓取的次数越多，机器人认为与其他页面相比它就越重要，这时您需要开始优化抓取预算。

如何优化抓取预算？

为了优化爬网预算并确保您最重要的页面得到应有的关注，您可以分析服务器日志并查看您的网站被抓取的方式：

网站首页被抓取的频率

查看被抓取的重要页面比其他更重要的页面更重要？

在抓取您的网站时，机器人经常会收到4xx或5xx错误吗？

机器人遇到任何蜘蛛陷阱吗？

通过分析您的日志，您将看到您认为不太重要的页面正在被大量抓取。然后，您需要深入了解内部链接结构。如果它正在被抓取，它必须有很多指向它的链接。

爬行VS采集？

爬行和采集是两种不同的用途，用于不同的目的。抓取程序按照您设定的规则并在扫描内容时找到链接。然后，爬虫将移动到另一个页面，依此类推。

另一方面，采集是扫描页面并从页面中收集特定数据：标题标签，元描述，h1标签或网站的特定区域，如价格列表。采集通常充当“人类”，他们将忽略robots.txt文件中的任何规则，以表格形式存档并使用浏览器用户代理以便不被检测到。

搜索引擎爬虫通常充当抓取器，并且他们需要收集数据以便为其排序算法处理它。与采集相比他们不寻找特定的数据，他们只是使用页面上的所有可用数据甚至更多。搜索引擎抓取工具将始终将自己标识为抓取工具，以便网站所有者可以知道他们上次访问其网站的时间。当您跟踪真实用户活动时，这非常有用。

因此，如果您现在了解爬网及其工作原理，下一步应该开始分析服务器日志。这将为您提供有关机器人如何与您的网站互动，他们经常访问的网页以及访问您网站时遇到的错误的提供深入的见解。