目前遇到的反爬主要有以下几种

目前遇到的反爬主要有以下几种

  1. 访问频率
  2. 登录限制
  3. 通过Head封杀
  4. JavaScript脚本动态获取网站数据
  5. 验证码
  6. IP限制
  7. 网站内容反爬

目前遇到的反爬主要有以下几种。1.访问频率

如果访问一个网站过于频繁,网站后台管理可能会针对IP封锁一段时间。那么解决的方法就是有间隔的进行控制时间爬取,比如搞个随机数进行sleep,sleep不同的间隔,那么网站就识别不出是爬虫了,千万不要间隔一样的时间,有规律的时间间隔访问很容易就被网站识别出是人为的啦,可以借用scrapy框架中的setting文件中的智能算法,采用没有规律的时间间隔访问。

2.登录限制

目前遇到的反爬主要有以下几种。目前遇到的反爬主要有以下几种。有些网站需要登录才能看到页面,如果进行爬虫的话,可以通过模拟登录就像浏览器一样,然后通过cookie记住登录状态,每次进行访问都携带者所需要的cookie过去,所以这种反爬机制也很容易解决。

3.通过Head封杀

我们进行网页爬取的时候,会通过HTTP请求,HTTP请求包含请求头和请求体,有些网站会根据请求头部Head信息进行反爬虫封杀IP,比如可以通过请求头部的User-Agent来判断是否为爬虫还是浏览器。每个网站有一个robots.txt,一般都在服务器的根目录下,比如下面百度的,这个文件的作用是允许不同爬虫可以爬取不同目录下的文件的权限。

图片 1

当然我们爬虫不会傻傻的告诉网站我们是爬虫,一般都会通过修改User-Agent字段的值来伪造成浏览器。所以这种反爬机制也容易对付。

4.JavaScript脚本动态获取网站数据

现在网站大多都是通过这种方式来返回数据给用户,也是主要的反爬虫机制。网站利用ajax异步请求来获得数据,可以增加一定程度的爬虫难度。但不管怎么样,服务器能够返回数据给浏览器就说明浏览器要发送HTTP的请求,那么主要找到所请求的URL就可以得到想要的数据,不然就采用自动化selenium方式来获得数据。

5.验证码

这种方式难度就大了,验证码是专门用来区分人和机器的手段,目前能想到的一种方法是通过图像识别来识别出验证码。但是能够做到图像识别的,不是很容易的。

6.IP限制

网站可能会将IP永久封杀掉,但是还是想继续访问的话,只能通过改变ip咯,改变ip的话就得用到IP代理,不过ip代理分两种,一种是透明代理,网站可以知道真实ip,另一种是高匿代理,网站无法获得访问的真实IP。可以借用西祠代理网站提供的免费代理。不过有一些是已经失效的。

7.网站内容反爬

有一些网站将网站内容用只有人类可以接收的形式来呈现。比如将内容用图片的形式显示。这时候又得通过图像识别等方式啦,难度还是挺大的嘛!

总结:

不过怎么样,爬虫和反爬虫之间就是典型的攻防不同升级的斗争。

 

You may also like...

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图