robots.txt与nofollow在具体应用中一直搞不清，导致使用的时候发生很多的问题，使用方式不当也会造成抓取收录困难，那么robots.txt和nofollow的实际效果有什么不同？
什么叫robots.txt？
robots.txt是一个文本文档，放置在网站网站根目录。当各大搜索引擎蛛蛛爬取网站时，关键在于会查验网站上是不是有robots.txt。假如有，各大搜索引擎通常都是遵照网站上的robots.txt中的标准来爬取网站內容。假如找不到，各大搜索引擎蛛蛛就能够浏览网站上全部的內容。并非是全部的各大搜索引擎蛛蛛都遵照robots.txt，但整体而言绝大多数各大搜索引擎蛛蛛都是依照robots.txt标准来爬取网站內容的。
什么叫nofollow?
各大搜索引擎蛛蛛想通过某类方法来爬取全部网站，而网站与网站中间最合理的方法就是说通过互相链接，最终产生一个庞大错综复杂的蛛网，各大搜索引擎蛛蛛寻找某一链接之后始终爬下去，持续找到新的內容。在这里一全过程中就会有有的网站被链接的频次多，有的网站被链接的频次少，那是否被链接多的网站，排名越多高呢？只是考虑到链接的总数就影响站点排名的高低？以前许多人钻过空子，通过很多的垃圾外部链接，例如在别的网站上发布很多不有关的內容指向自身网站来提高网站排名，这好像不太合理。因此各大搜索引擎改善了搜索算法，甚至还发布了”nofollow“来标准全部链接市场。
具体应用有什么不同？
nofollow同robots.txt同样都能阻止各大搜索引擎的爬取。例如某一网站应用了robots.txt来阻止各大搜索引擎的爬取，但在别的网站上带链接指向了这一阻止各大搜索引擎爬取的网站，各大搜索引擎仍有将会会寻找该网站并将其编入索引，出现在搜索结果中。
nofollow对于的是单独的浏览相对路径，是链接，影响各大搜索引擎再次往前爬取的去向。而robots.txt能够阻止各大搜索引擎爬取某一单链接、某频道下的全部网页页面，甚至是全部网站。另一个，nofollow标识能够屏蔽掉外链的链接。可是robots.txt只有屏蔽掉同站链接，两者还是有挺大的差别。
