Python爬虫--用户代理IP池

news/2024/10/21 10:16:51/

前面一篇讲了用户 UA 代理池，现在这篇来讲下 IP 代理，

相对于 UA 来说，IP 更容易被封，

这里讲两种方法。

方法一：本地ip池

方法一就是将 IP 拿下来本地，然后通过随机选取或者其他来调用

这就跟之前使用 UA 差不多，只不过函数不同

这里使用 urllib.request.ProxyHandler() 方法

ProxyHandler() 函数是来设置使用代理服务器

废话不多说，先来简单的看看


import urllib.request
import randomip_pool = ["192.168.0.1","192.168.0.2","192.168.0.3","192.168.0.4","192.168.0.5"]def IP(ip_pool):this_ip = random.choice(ip_pool)  #  随机选取一个proxy = urllib.request.ProxyHandler({"http":ip})opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)urllib.request.install_opener(opener)# if __name__ == '__main__':
# 	ua(ip_pool)

这样就封装好了一个函数

我们再拿糗事百科来举例吧

这次加一个 try except 来捕获异常


import urllib.request
import randomip_pool = ["192.168.0.1","192.168.0.2","192.168.0.3","192.168.0.4","192.168.0.5"]def IP(ip_pool):this_ip = random.choice(ip_pool)  #  随机选取一个proxy = urllib.request.ProxyHandler({"http":this_ip})opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)urllib.request.install_opener(opener)for i in range(1,5):try:IP(ip_pool)this_url = "https://www.qiushibaike.com/text/page/"+str(i)+"/"data = urllib.request.urlopen(this_url).read().decode("utf-8","ignore")path = '<div class="content">.*?<span>(.*?)</span>.*?</div>'resut = re.compile(path,re.S).findall(data)for j in resut:print(j)time.sleep(0.5)except Exception as error:print(error)

这样就可以了，即使那个 ip 访问不了，也不会影响到程序的执行

方法二：IP接口

第二种方法就是调用 IP 接口了

有些网站提供 ip 池，然后只需要调用他那个接口就行了

这里简单提一下，可能不同网站调用方法不同


import urllib.request
import randomdef IP(ip_pool):this_ip = urllib.request.urlopen("http://www.xxx.com/?xxx=xxx")  #  调用接口提取 ipproxy = urllib.request.ProxyHandle({"http":this_ip})opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)urllib.request.install_opener(opener)for i in range(1,5):try:IP(ip_pool)this_url = "https://www.qiushibaike.com/text/page/"+str(i)+"/"data = urllib.request.urlopen(this_url).read().decode("utf-8","ignore")path = '<div class="content">.*?<span>(.*?)</span>.*?</div>'resut = re.compile(path,re.S).findall(data)for j in resut:print(j)time.sleep(0.5)except Exception as error:print(error)