【Python】爬虫使用代理IP

devtools/2024/11/14 14:31:03/

1、代理池

IP 代理池可以理解为一个池子,里面装了很多代理IP。

  • 池子里的IP是有生命周期的,它们将被定期验证,其中失效的将被从池子里面剔除
  • 池子里的ip是有补充渠道的,会有新的代理ip不断被加入池子中
  • 池子中的代理ip是可以被随机取出的

2、为什么要用代理池

一些大型的网站(尤其是电商类网站),为了禁止爬虫获取数据,会采取限制同一个IP地址的网络请求数量、请求频率等方式,进行网站反扒。

而使用IP代理池后的爬虫,就可以隐藏自己IP,并且随机更换请求时的IP地址,绕过该反爬机制,快速获取大量数据。

在这里插入图片描述

3、代理IP获取

一些网站提供免费的代理IP,这个不稳定,并且很多都不能用。

收费的网站(如需求量不大,白嫖注册赠送的 IP 即可):

  • 巨量IP => 注册赠送 1000 IP

4、代理IP使用

获取代理IP(以巨量IP为例):

动态代理(包时) - 生成提取链接

在这里插入图片描述

代码:

python">    api_url = 'http://v2.api.juliangip.com/dynamic/getips...'username = '13255667788'password = '123456'proxy_ip_list = requests.get(api_url).json()['data']['proxy_list']for proxy_ip in proxy_ip_list:proxies = {"http": "http://%(user)s:%(pwd)s@%(proxy)s/" % {"user": username, "pwd": password, "proxy": proxy_ip},"https": "http://%(user)s:%(pwd)s@%(proxy)s/" % {"user": username, "pwd": password, "proxy": proxy_ip},}target_url = 'https://myip.ipip.net/'resp = requests.get(target_url, proxies=proxies)print(f'{proxy_ip} ------ {resp.text}')

10、资料

  • python爬虫 - 代理ip正确使用方法
  • python爬虫』巨量http代理使用 每天白嫖1000ip(保姆级图文)

http://www.ppmy.cn/devtools/132822.html

相关文章

Ubuntu 22.04.5 LTS配置 bond

本次纯实验,不会讲解bond功能,配置bond mode 1 和 mode 4 如何配置 确定内核模块是否加载 实验使用root用户权限,非root用户使用sudo 调用root权限 rootubuntu22:~# lsmod | grep bonding rootubuntu22:~# modprobe bonding rootubuntu22:~# …

web安全漏洞之命令注入

命令注入 1.什么是命令注入 通常情况下,开发者使用一些可以执行命令的函数且未对用户输入进行安全检查时,可以造成命令注入。从CTF的角度来讲, 命令注入可以实现: 1、直接读取flag 2、反弹shell 3、利用题目环境漏洞, 控制整个题目环境, 干…

电子学会2024年3月青少年软件编程(图形化)等级考试试卷(二级)真题,含答案解析

我们今天分享的资料是:电子学会2024年3月青少年软件编程(图形化)等级考试试卷(二级)真题,含答案解析 电子学会 2024 年 3 月青少年软件编程(图形化)等级二级考试的主要考点包括: 坐标值的应用:熟练掌握坐标的概念及每个积木的使用,能利用坐标精确控制角色的位置。外…

IP SSL证书

随着互联网技术的发展,网络安全成为企业和个人用户关注的重点。SSL证书作为确保网络通信安全的重要工具,在各类网站和服务中得到广泛应用。然而,除了常见的基于域名的SSL证书外,还有一种特殊的证书类型——IP SSL证书,…

SpringBoot项目编译报错 类文件具有错误的版本 61.0, 应为 52.0

springboot项目在编译时报错: /Users/Apple/Developer/art/caicai/cai-api/dubbo-samples/1-basic/dubbo-samples-spring-boot/dubbo-samples-spring-boot-provider/src/main/java/org/apache/dubbo/springboot/demo/provider/ProviderApplication.java:22:32 java…

微信小程序 高校教材征订系统

文章目录 项目介绍具体实现截图技术介绍mvc设计模式小程序框架以及目录结构介绍错误处理和异常处理java类核心代码部分展示详细视频演示源码获取 项目介绍 系统分为三个角色,分别是教材科、系教学秘书、教研室主任。系统主要完成功能是教材科要发布教材征订信息&am…

搭建轻量级文件服务器Dufs

前言 Dufs是什么? 答:是一款轻量级文件管理服务器,类似于FTP服务器但又比FTP更好用易于管理。 Dufs有什么特性? 答: ‌静态文件服务…

java day03-面向对象基础01

类的定义和对象创建 类(class):定义对象的设计图纸 public class 类名{ } 根据图纸创建创建对象 类 对象名 new 类(); 属性的定义和属性的获取、赋值 public class 类名{访问修饰符 类型 名字;访问修饰符 类型 名字 值;}//对象获取属性 对象.属性名// 对象属性…