Python爬虫——selenium的安装和基本使用

news/2024/11/8 2:36:11/

1.什么是selenium?

  1. selenium是一个用于web应用程序测试的工具
  2. selenium测试直接运行在浏览器中,就像真正的用户在操作一样
  3. 支持通过各种driver(FrifoxDriver,ItenrentExploreDriver,OperaDriver,ChromeDriver )驱动
  4. selenium也是支持无界面浏览器操作的

2.为什么使用selenium?

模拟浏览器功能,自动执行网页中的js代码,实现动态加载

3.安装selenium

  1. 查看谷歌浏览器版本
    谷歌浏览器右上角
    在这里插入图片描述
    帮助–>关于
    在这里插入图片描述
    查看浏览器版本
    在这里插入图片描述

  2. 操作谷歌浏览器驱动下载地址
    http://npm.taobao.org/mirrors/chromedriver/下载完成解压

  3. 安装selenium

pip install selenium==3.141.0

3.selenium的使用步骤

  1. 导入
from selenium import webdriver
  1. 创建谷歌浏览器操作对象
path = '谷歌浏览器驱动文件路径'
browser = webdriver.Chrome(path)
  1. 访问网址
url = '要访问的网站地址'
browser.get(url)
  1. 获取网页源码
# page_source 获取网页源码
content = browser.page_source

完整代码

# 1.导入selenium
from selenium import webdriver# 2.创建浏览器操作对象
path = 'files/chromedriver.exe'browser = webdriver.Chrome(path)# 3.访问网址
url = 'https://www.jd.com/'
browser.get(url)# page_source 获取网页源码
content = browser.page_source
print(content)

http://www.ppmy.cn/news/1031556.html

相关文章

CF 1859E Maximum Monogonosity 绝对值的巧妙处理和状态设计

CF 1859E 题意:给你两个长度为 n n n的数组 a a a, b b b,选择一些点对 ( l i , r i ) (l_i,r_i) (li​,ri​)。 每个点对对答案产生贡献 a b s ( b l i − a r i ) a b s ( b r i − a l i ) abs(b_{l_i}-a_{r_i})abs(b_{r_i}-a_{l_i}) abs(bli​​−ari​​)abs(…

配置网络设置和修改主机名

bash 题目: 在 node1 上配置网络,要求如下: 主机名:node1.domain8.rhce.cc IP地址: 172.25.250.10/24 ##注意掩码 网关: 172.25.250.250 DNS: 172.25.250.250 ##名称服务器 做法: nmtui 回车…

go内存管理机制

golang内存管理基本是参考tcmalloc来进行的。go内存管理本质上是一个内存池,只不过内部做了很多优化:自动伸缩内存池大小,合理切割内存块。 基本概念: Page:页,一块 8 K大小的内存空间。Go向操作系统申请和…

Axure RP移动端高保真CRM办公客户管理系统原型模板及元件库

Axure RP移动端高保真CRM办公客户管理系统原型模板及元件库,一套典型的移动端办公工具型APP Axure RP原型模板,可根据实际的产品需求进行扩展,也可以作为移动端原型设计的参考案例。为提升本作品参考价值,在模板设计过程中尽量追求…

代码生成模型任务设计

背景: 模型应该具备,理解代码的能力、知道代码规则的能力、知道关键词和变量的能力、知道代码逻辑的能力、文本到代码翻译能力、代码关联能力、代码续写能力。 代码理解能力:pretrain让模型读足够多代码、记住代码一些规则、代码问答、基于…

【LeetCode每日一题】——128.最长连续序列

文章目录 一【题目类别】二【题目难度】三【题目编号】四【题目描述】五【题目示例】六【题目提示】七【解题思路】八【时间频度】九【代码实现】十【提交结果】 一【题目类别】 哈希表 二【题目难度】 中等 三【题目编号】 128.最长连续序列 四【题目描述】 给定一个未…

机器学习笔记之优化算法(十二)梯度下降法:凸函数VS强凸函数

机器学习笔记之优化算法——梯度下降法:凸函数VS强凸函数 引言凸函数:凸函数的定义与判定条件凸函数的一阶条件凸函数的梯度单调性凸函数的二阶条件 强凸函数强凸函数的定义强凸函数的判定条件强凸函数的一阶条件强凸函数的梯度单调性强突函数的二阶条件…

Nginx之lnmp架构

目录 一.什么是LNMP二.LNMP环境搭建1.Nginx的搭建2.安装php3.安装数据库4.测试Nginx与PHP的连接5.测试PHP连接数据库 一.什么是LNMP LNMP是一套技术的组合,Llinux,Nnginx,Mmysql,Pphp 首先Nginx服务是不能处理动态资源请求&…