苏州网络公司选择苏州菜根谭网络科技， spider介绍（2）

苏州网络公司选择苏州菜根谭网络科技， 百度spider介绍（2）

苏州百度网站托管优化推广公司,5. 如何判断是否冒充Baiduspider的抓取？

苏州专业百度网站托管优化推广

.

建议您使用DNS反查方式来确定抓取来源的ip是否属于百度，根据平台不同验证方法不同，如linux/windows/os三种平台下的验证方法分别如下：

5.1 在linux平台下，您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。

$ host 123.125.66.120 

120.66.125.123.in-addr.arpa domain name pointer 

baiduspider-123-125-66-120.crawl.baidu.com.

host 119.63.195.254

254.195.63.119.in-addr.arpa domain name pointer 

BaiduMobaider-119-63-195-254.crawl.baidu.jp.

5.2 在windows平台或者IBM OS/2平台下，您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。

5.3 在mac os平台下，您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip，来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。

6. 我不想我的网站被Baiduspider访问，我该怎么做？

Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站，或者禁止 Baiduspider访问您网站上的部分文件。 注意：禁止Baiduspider访问您的网站，将使您的网站上的网页，在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于 robots.txt的写作方法，请参看我们的介绍：robots.txt写作方法

您可以根据各产品不同的user-agent设置不同的抓取规则，如果您想完全禁止百度所有的产品收录，可以直接对Baiduspider设置禁止抓取。

以下robots实现禁止所有来自百度的抓取：

User-agent: Baiduspider

Disallow: /

以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录：

User-agent: Baiduspider

Disallow: /

User-agent: Baiduspider-image

Allow: /image/

请注意：Baiduspider-cpro抓取的网页并不会建入索引，只是执行与客户约定的操作，所以不遵守robots协议，如果Baiduspider-cpro给您造成了困扰，请联系union1@baidu.com。

Baiduspider-ads抓取的网页并不会建入索引，只是执行与客户约定的操作，所以不遵守robots协议，如果Baiduspider-ads给您造成了困扰，请联系您的客户服务专员。

苏州菜根谭网络科技有限公司


联系人:孙经理


手   机:15895581295


微   信:15895581295


座  机:0512-66153332


Q   Q:1753380525


邮  箱:cgt@cgtclub.com


网  址：  www.baiduyue.com  


地  址:  高新区科技城科新路8号立德商务广场2幢512（南京银行东边100米）






主要服务项目：


 百度搜索推广账户搭建及运维或托管（专业百度推广客服）


（解决百度推广账户消费快、下线快、消费多、恶意点击多、在线时间短等问题）






营销型网站建设及维护（网站快速收录，提升网站关键词排名）


（目前支持优惠政策的产品有
PC站+手机站+微站，PC站，手机站，微站，小程序
优惠政策是：一年起做，做2年送1年，做3年送2年，做5年送3年）






网站托管（按照营销方式发布信息，增大快照收录，提升排名）