标签：baiduspider

百度蜘蛛（Baiduspider+）爬行返回代码的含义。

发表回复

2XX 成功

　　200 正常;请求已完成。

　　201 正常;紧接 POST 命令。

　　202 正常;已接受用于处理，但处理尚未完成。

　　203 正常;部分信息 — 返回的信息只是一部分。

　　204 正常;无响应 — 已接收请求，但不存在要回送的信息。

　　3XX 重定向

　　301 已移动 — 请求的数据具有新的位置且更改是永久的。

　　302 已找到 — 请求的数据临时具有不同 URI。

　　303 请参阅其它 — 可在另一 URI 下找到对请求的响应，且应使用 GET 方法检索此响应。

　　304 未修改 — 未按预期修改文档。

　　305 使用代理 — 必须通过位置字段中提供的代理来访问请求的资源。

　　306 未使用 — 不再使用;保留此代码以便将来使用。

　　4xx 客户机中出现的错误

　　400 错误请求 — 请求中有语法问题，或不能满足请求。

　　401 未授权 — 未授权客户机访问数据。

　　402 需要付款 — 表示计费系统已有效。

　　403 禁止 — 即使有授权也不需要访问。

　　404 找不到 — 服务器找不到给定的资源;文档不存在。

　　407 代理认证请求 — 客户机首先必须使用代理认证自身。

　　410 请求的网页不存在(永久);

　　415 介质类型不受支持 — 服务器拒绝服务请求，因为不支持请求实体的格式。

　　5xx 服务器中出现的错误

　　500 内部错误 — 因为意外情况，服务器不能完成请求。

　　501 未执行 — 服务器不支持请求的工具。

　　502 错误网关 — 服务器接收到来自上游服务器的无效响应。

　　503 无法获得服务 — 由于临时过载或维护，服务器无法处理请求。

转载自:http://www.guang58.com

　　举例：
　　2008-07-24 15:09:52 HEAD /index.html 220.181.32.22 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) – 200 322 151
　　说明该页蜘蛛已经收录入库，具体200后面数字的含义还未找到解释。 

SEO之关于百度蜘蛛Baiduspider

发表回复

1. 什么是Baiduspider

Baiduspider是百度搜索引擎的一个自动顺序，它的作用是访问互联网上的网页，树立索引数据库，运用户能在百度搜索引擎中搜索到您网站上的网页。

2. Baiduspider的user-agent是什么？

百度各个产品运用不同的user-agent：

产品称号对应user-agent无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video旧事搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider3. Baiduspider对一个网站效力器构成的访问压力如何？

Baiduspider会自动根据效力器的负载才干调理访问密度。在延续访问一段日子后，Baiduspider会暂停一会，以防止增大效力器的访问压力。所以在普通情况下，Baiduspider对您网站的效力器不会构成过大压力。

4. 为什么Baiduspider不停的抓取在下的网站？

关于您网站上新发作的或许持续更新的页面，Baiduspider会持续抓取。此外，您也可以反省网站访问日志中Baiduspider的访问能否正常，以防止有人恶意冒充Baiduspider来频繁抓取您的网站。 假设您发现Baiduspider非正常抓取您的网站，请经过赞扬平台反响给俺们，并请尽量给出Baiduspider对贵站的访问日志，以便于俺们跟踪处置。

5. 如何判别能否冒充Baiduspider的抓取？

您可以运用host ip命令反解ip来判别Baiduspider的抓取能否冒充。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。
$ host 123.125.66.120 
120.66.125.123.in-addr.arpa domain name pointer 
baiduspider-123-125-66-120.crawl.baidu.com.

host 119.63.195.254
254.195.63.119.in-addr.arpa domain name pointer 
BaiduMobaider-119-63-195-254.crawl.baidu.jp.

6. 在下不想在下的网站被Baiduspider访问，在下该怎样做？

Baiduspider遵守互联网robots协议。您可以使用robots.txt文件完全制止Baiduspider访问您的网站，或许制止Baiduspider访问您网站上的部分文件。 留意：制止Baiduspider访问您的网站，将使您的网站上的网页，在百度搜索引擎以及一切百度提供搜索引擎效力的搜索引擎中无法被搜索到。关于robots.txt的写作方法，请参看俺们的引见：robots.txt写作方法 

您可以根据各产品不同的user-agent设置不同的抓取规则，假设您想完全制止百度一切的产品收录，可以直接对Baiduspider设置制止抓取。

以下robots完成制止一切来自百度的抓取：
User-agent: Baiduspider
Disallow: /

以下robots完成仅制止来自百度视频搜索的抓取：
User-agent: Baiduspider-video
Disallow: /

以下robots完成制止一切来自百度的抓取但允许图片搜索抓取/image/目录：
User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider-image
Allow: /image/

请留意：

Baiduspider-cpro抓取的网页并不会建入索引，只是执行与客户商定的操作，所以不遵守robots协议，假设Baiduspider-cpro给您构成了困扰，请联络union1@baidu.com。

Baiduspider-ads抓取的网页并不会建入索引，只是执行与客户商定的操作，所以不遵守robots协议，假设Baiduspider-ads给您构成了困扰，请联络您的客户效力专员。

7. 为什么在下的网站已经加了robots.txt，还能在百度搜索出来？

由于搜索引擎索引数据库的更新需求日子。虽然Baiduspider已经中止访问您网站上的网页，但百度搜索引擎数据库中已经树立的网页索引信息，可以需求数月日子才会肃清。另外也请反省您的robots配置能否正确。
假设您的拒绝被收录需求非常急迫，也可以经过百度赞扬平台反响央求处置。

8. 在下希望在下的网站内容被百度索引但不被保管快照，在下该怎样做？

Baiduspider遵守互联网meta robots协议。您可以使用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。
和robots的更新一样，由于搜索引擎索引数据库的更新需求日子，所以虽然您已经在网页中经过meta制止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中假设已经树立了网页索引信息，可以需求二至四周才会在线上生效。

9. Baiduspider多长日子之后会重新抓取在下的网页？

百度搜索引擎每周更新，网页视重要性有不同的更新率，频率在几天至一月之间，Baiduspider会重新访问和更新一个网页。

10. Baiduspider抓取构成的带宽堵塞？

Baiduspider的正常抓取并不会构成您网站的带宽堵塞，构成此现象可以是由于有人冒充Baiduspider恶意抓取。假设您发现有名为Baiduspider的agent抓取并且构成带宽堵塞，请尽快和俺们联络。您可以将信息反响至赞扬平台，假设可以提供您网站该时段的访问日志将愈加有利于俺们的分析。