在网站排除检索的部分，先前本站浅谈过Robots.txt主要是应用在提交给搜寻引擎不需要检索的页面名单，也介绍过Robots.txt的实际应用与设定，因此了解排除”检索”的部分后，我们将要更进阶的介绍排除”索引”部分，反观由开始浅谈部分时，我们曾提到搜寻引擎其实是透过的”检索”与”索引”两种功能来将网站网页资讯进行收录并提供使用者查询，所以浅谈Robots.txt主要是针对检索这项功能进行排除。

 而检索与索引这两项功能虽然有极大的关联性，但实质上在网页上进行的动作并不相同，这边我们用更白话的叙述就是

检索= 检查

索引= 收藏

所以搜寻引擎在实际上的运作顺序是先透过检查页面内容与连结后，才决定是否要收藏，因此Robots.txt 的作用就是在搜寻引擎来访时，藉由直接提出不需要检查的资讯，想当然尔就更不可能会被收藏，达到不检查、不收录的效果。

 在更明确的知道搜寻引擎的收录原理后，我们将要介绍的部分是透过meta robots 进行”索引”的排除，这时相信大家将会些疑惑，Robots.txt不就能达到不检查、不收录的效果了，为什么还需要meta robots 进行”索引”的排除呢？这部分主要原因就是Robots.txt 会使寻引擎直接在不检查这个步骤中就会忽略相关的内容，甚至不认为这是网站的内容。

但是meta robots 的应用，可以使搜寻引擎先进行”检查”也仍然会将内容视为网站的一部份，但不要收藏提供使用者搜寻，所以这部分差异也会引响网站的总体完整性，因此在非必要的情况下，并不建议使用Robots.txt的使用，而是推荐meta robots 的使用。