搜索引擎有现在主流的有很多，百度，360，搜狗，google，那这些搜索引擎都是怎么样获得内容的，发现网站的呢？这个时候就要讲到搜索引擎的蜘蛛了，那什么是搜索引擎的蜘蛛呢？
它是人为编写的程序，一种按照一定的规则自动抓取互联网信息的程序或脚本，各大搜索引擎的核心技术之一就是蜘蛛技术。不同的搜索引擎给这个程序起的名字不同，具体如下：
Baiduspider 百度的
Googlebot 谷歌的
360Spider 360的
Sogou News Spider 搜狗的
Yahoo! Slurp China”或者Yahoo 雅虎
YoudaoBot 有道
另外，蜘蛛程序也会进行升级，像百度的Baiduspider1.0，Baiduspider2.0 ，baiduspider-render，百度渲染蜘蛛（Baiduspider-render）是百度专门用来抓取网页上的CSS、Javascript代码的蜘蛛UA，通常被俗称为高级爬虫。
目的就是发现和抓取互联网的信息，互联网上的内容有很多，文字，图片，视频，声音等等内容，它是寻着链接进行抓取的
各大搜索引擎都会发出自己的蜘蛛程序，然后进入互联网进行爬取，将所有爬取到的内容保存在其网页内容库中，然后在内容库中通过索引程序制作索引库。最终，只有一个简单的搜索框呈现在用户面前。然后用户通过搜索框输入一个关键字，然后立即快速找到对应的内容。搜索引擎蜘蛛如何工作。
很多新手都会问的一个问题，为什么我的网站没有收录？这个时候做为优化人员，要学会去分析，以数据来说话，怎么分析呢？
要看网站分为新站，还是老站
如果是新站
在优化中，我们要知道蜘蛛是否来我的网站了，抓取了网站上的哪一些页面？
怎么做呢？
可以通过百度资源平台的的抓取频次，可以看到蜘蛛来了网站多少次，抓取了多少次
通过分析网站日志，可以看到蜘蛛有多少，同时可以知道蜘蛛抓取了哪些页面，有的时候网站是一个新站，一个页面都没有收录，那就要看下蜘蛛有没有来到网站，有没有抓取首页
如果是蜘蛛都没有抓取首页，那就要可以引蜘蛛，让蜘蛛来多的网站，怎么操作呢？第一个，主动提交给百度，让蜘蛛来抓取，这里你要知道，提交了不一定会来抓取
第二，就是做被动的引蜘蛛，换友链和找一些高质量的平台发一些外链，也能引蜘蛛，因为蜘蛛是寻址链接进行抓取的，发的外链收录了，那就是寻着链接来到你的网站
网站只收录一个首页？这种相信大家都遇到过
网站只收录了一个首页，说明网站还没有过新站期，搜索引擎百度要对网站进行考核，这样会防止垃圾站的产生，网站首页收录后，一般半个月后会慢慢收录网站的栏目页，内页，网站要是这段时间优化的不好，时间就会延长，一个月，二个月都有可能，如上线了，修改网站的标题，关键词，描述，最忌讳的，需要大家都可以先规划自己的网站的TDK，一次性写好
老站
老站，没有收录，有可能是降权的比较多，一开始，每天文章都收录，后来就慢慢不收录了，一定的核能性是因为修改了网站的内容导致或了网站被黑了，具体情况要具体分析
新手同学，要理解搜索引擎的工作原理，并能够去运用，抓取-过滤-收录，建立索引-展现排名，下篇文章会主动进行讲解，大家可以关注”教学seo”
抓取了内容，也有可能内容因为内容质量不高，被过滤掉了，导致没有收录
如果蜘蛛访问了您的网站并抓取了内容。原因是抓取到的内容放在内容库中进行分析。如果发现重复，这篇文章被认为是无效的。这就是内容原创性的重要性。，
没有收录，没有抓取的页面，可以进行分析，到底为什么没有收录，没有抓取，是内容质量不好，还是没有提交，要不要增加内容的质量等等
总结：要知道什么是搜索引擎的蜘蛛，要知道他是人为编写的程序，是为了抓取互联网上的内容的，要知道蜘蛛有没有来我们的网站，抓取了哪些页面
