zzm

反反爬虫方式
一、User-Agent有的网站通过User-Agent头来识别爬虫,这个直接添加常见浏览器的User-Agent...
扫描右侧二维码阅读全文
05
2016/12

反反爬虫方式

一、User-Agent

有的网站通过User-Agent头来识别爬虫,这个直接添加常见浏览器的User-Agent头就好了:

Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/49.0

二、代理池

大部分网站都会通过检测IP的请求频率来防止爬虫,这个时候就需要通过代理的方式请求,推荐几个免费的代理IP网站:

当然实际上大部分不能用,所以一般要写个爬虫去爬取并验证IP是否可用,github上有个开源的项目帮我们做了这个事情:

https://github.com/qiyeboy/IPProxyPool

IPProxys代理池项目,提供代理ip。使用python2.7.x开发

稳定的项目最好还是用收费的代理,比如阿布云代理(https://www.abuyun.com/
用一个简单的程序说明如何使用代理池:

import requests
import gevent
from gevent import monkey
monkey.patch_socket()

#代理ip列表
ips = ['ip1:80','ip2:80','ip3:80','ip4:80','ip5:80','ip6:80','ip7:80','ip8:80','ip9:80','ip10:80']
def worker(i):
    for j in range(i*10,i*10+10):
        body = requests.get("http://www.example.com/%d.html" % j, proxies={'http':ips[i]}).text

#每个协程一个ip
tasks = [gevent.spawn(worker, i) for i in range(len(ips))]
gevent.joinall(tasks)

三、多次请求

爬虫并发量过高时可能一次爬取不成功,这时就需要多次请求,requests的adapters模块可以达到这个目的:

from requests.adapters import HTTPAdapter

s = requests.Session()
s.mount('http://', HTTPAdapter(max_retries=3))
body = s.get("http://www.baidu.com").text

四、ADSL动态IP

对于没钱买IP的同学,可以用ADSL拨号切换IP,当然前提是你使用的网络支持这个功能,一般校园网都支持的PPPOE协议就可以。原理就是隔一段时间重拨一下号,就会分配一个新的IP。windows下的rasdial命令可以完成这种操作:

rasdial /DISCONNECT  //断开连接
rasdial 宽带连接 user passwd //拨号

用在程序里就是这样:

import requests
import os

requests.get("http://www.example1.com")
os.system("rasdial /DISCONNECT")
os.system("rasdial 宽带连接 user passwd")
requests.get("http://www.example2.com")
Last modification:August 24th, 2018 at 11:10 pm

Leave a Comment