爬虫+数据保存2

embedded/2024/12/29 5:59:58/

爬取数据保存到MySQL数据库

这篇文章, 我们来讲解如何将我们爬虫爬取到的数据, 进行保存, 而且是把数据保存到MySQL数据库的方式去保存。

目录

mysqlsqlinsert_8">1.使用pymysql连接数据库并执行插入数据sql代码(insert)

mysql_10">2.优化pymysql数据库连接以及插入功能代码

3.爬取双色球网站的数据并保存到MySQL数据库中

4.利用面向对象的写法进行爬虫并保存数据

mysqlsqlinsert_16">一、使用pymysql连接数据库并执行插入数据sql代码(insert)

如果我们没有安装过pymysql这个库的话, 我们在终端里面安装一下:

pip install pymysql

安装完这个安装包之后, 我们在代码里面导入这个包

代码:

python">import pymysql

使用python连接数据库代码(创建一个连接对象):

python">conn = pymysql.Connect(host='127.0.0.1', port=3306, user='root', password='root', database='spider38')
print(conn)  # 连接对象

这里面的参数说明一下:

host, 这个就是ip, 我们连接本地电脑的数据库, 所以ip就是127.0.0.1(相当于localhost), port是端口, mysql默认端口就3306, user指的是用户名, password指的是密码, database指的是数据库名。指定参数值一个都不能少，并且一个都不能错。python中连接mysql的目的是为了对数据库的内容做操作

注意:在我们写代码之前, 我们自己给自己创建一个叫做spider38数据, 表格名叫做stu。

创建游标对象:

python">cur = conn.cursor()  # 游标对象cursor

往stu表中添加一条数据(插入数据):

python"># sql语句
sql = 'INSERT INTO stu VALUES (null,"xiaoyao",18);' # 没有指定字段，代表当前往表添加一条数据，字段值必须要全部加上
# sql = 'INSERT INTO stu(name) VALUES ("xiaoyao")' # 指定了字段，代表当前往表中添加一条数据，字段名和字段值的个数保持一致
# 关键字全大写 非关键字全小写

执行sql语句:

python">cur.execute(sql)

进行commit提交(执行的是添加，修改，删除，需要配合commit进行提交):

python">conn.commit()

这里必须要commit提交, 否则数据库里面的数据不会变。

关闭资源:

python">cur.close() # 关闭游标
conn.close() # 关闭数据库连接

游标和数据库连接必须都关闭, 否则会浪费资源。这个是写代码的常识, 必须养成这样的习惯。

完整代码:

python">'''
mysql 本地安装 小皮pip install pymysql
'''
import pymysql# 连接mysql'''
电脑中操作mysql的方式：
1- 终端链接mysql 通过命令操作
2- 利用可视化软件
'''
# 指定参数值一个都不能少，并且一个都不能错
conn = pymysql.Connect(host='127.0.0.1', port=3306, user='root', password='root', database='spider38')
print(conn)  # 连接对象
# python中链接mysql的目的是为了对数据库的内容做操作# 只能通过sql语句进行操作
# select * from 表;# 如果想要执行sql语句，必须要通过游标对象完成# 创建游标对象
cur = conn.cursor()  # 游标对象# 往stu表中添加一条数据
# 如果mysql中某个字段设置主键并且设置了自动增长，python的代码写法
# null 不是往数据库存入null而是以我设置的主键为主
sql = 'INSERT INTO stu VALUES (null,"xiaoyao",18);'  # 没有指定字段，代表当前往表添加一条数据，字段值必须要全部加上
# sql = 'INSERT INTO stu(name) VALUES ("xiaoyao")' # 指定了字段，代表当前往表中添加一条数据，字段名和字段值的个数保持一致
# 关键字全大写 非关键字全小写'''
执行的是添加，修改，删除，需要配合commit进行提交
'''
cur.execute(sql)conn.commit()
# 关闭资源
cur.close()
conn.close()

运行结果:

在这里插入图片描述

我们再去Navicat看一下数据库里面的表格信息:

**在这里插入图片描述
**

注意: 第31行的sql = 'INSERT INTO stu VALUES (null,“xiaoyao”,18);'这行代码, 在VALUES里面, 第一个参数写了null,这里null 不是往数据库存入null而是以我设置的主键为主。

mysql_144">二、优化pymysql数据库连接以及插入功能代码

我们在一的基础上, 加上try……execpt……finally……这些关键字去优化连接数据库以及插入数据操作。

优化代码:

python">'''
mysql 本地安装 小皮pip install pymysql
'''
import pymysql
"""
解决的问题：1- 只有当连接对象创建成功之后，才允许一定要被关闭2- 执行sql语句，成功，则commit 失败，则rollback
"""
conn = 0
cur = 0
try:conn = pymysql.Connect(host='127.0.0.1', port=3306, user='root', password='123456', database='spider38')print(conn)  # 连接对象cur = conn.cursor()  # 游标对象sql = 'INSERT INTO stu VALUES (null,"xiaoyao",20);'  # 没有指定字段，代表当前往表添加一条数据，字段值必须要全部加上'''执行的是添加，修改，删除，需要配合commit进行提交回滚'''cur.execute(sql)conn.commit()
except Exception as e:print('异常原因：',e)if conn!=0:conn.rollback()
finally:print(conn)# 当链接对象创建成功时才需要关闭，但是链接创建失败没有必要关闭# 关闭资源 必须要执行if conn!=0 and cur!=0:print('当前连接已经被关闭')cur.close()conn.close()

在try里面, 是我们认为可能会出错的代码, except里面是当try里面的代码有错误的时候, except里面的代码才会执行, 而且我们通过except Exception as e还有print(‘异常原因：’,e)这两行代码打印异常原因。if conn != 0和conn.rollback()这两行代码指的是如果数据库连接已建立但出现异常，执行回滚操作，取消本次事务中的任何改变。finally里面的代码指的是无论是否发生异常都会执行。在finally里面, 执行的是关闭资源的代码, 如果数据库处于建立且连接状态而且游标也已建立的情况下, 关闭数据库连接和游标连接。

三、爬取双色球网站的数据并保存到MySQL数据库中

我们打开双色球网站:

在这里插入图片描述

我们需要爬取表格里面的所有数据。

我们打开开发者工具, 在里面寻找请求。

在这里插入图片描述

这里面第一个就是我们想要的请求。

这里我们还是使用html解析数据。

代码:

python">url = 'https://datachart.500.com/ssq/history/history.shtml'
import requests
from lxml import etree
import pymysql
res = requests.get(url)
res.encoding = 'gb2312'
tree = etree.HTML(res.text)
trs = tree.xpath('//tr[@class="t_tr1"]')
# print(len(trs))
conn = 0
cur = 0
try:conn = pymysql.Connect(host='127.0.0.1', port=3306, user='root', password='root', database='spider38')cur = conn.cursor()  # 游标对象for tr in trs:# 基于表格的每一行，获取所有的列tds = tr.xpath('./td/text()')# 红球数据 [期号,]red_nums = ','.join(tds[1:7])# 列表切片，返回的结果还是一个列表，把列表转为字符串，【1,2】 "1,2"sql = f'INSERT INTO ssq VALUES (null,"{red_nums}","{tds[7]}","{tds[8]}","{tds[9]}","{tds[10]}","{tds[11]}","{tds[12]}","{tds[13]}","{tds[14]}","{tds[15]}");'cur.execute(sql)conn.commit()print(sql, '已经执行成功')
except Exception as e:print('异常的原因：',e)if conn!=0:conn.rollback()
finally:# print(conn)# 当链接对象创建成功时才需要关闭，但是链接创建失败没有必要关闭# 关闭资源 必须要执行if conn!=0 and cur!=0:print('当前连接已经被关闭')cur.close()conn.close()

运行结果:

在这里插入图片描述

打开Navicat查看数据库的ssq表格:

在这里插入图片描述

数据添加成功!!!

这里面我们还是用了xpath来爬虫, xpath用法在之前的文章中有讲到, 可以去翻我以前写过的爬虫博客。我们还是在代码当中使用了try……catch……finally……这种写法。

我们在网页的开发者工具里面, 查看元素:

在这里插入图片描述

我们发现我们想获取表格里面的数据, 是在一个表格的tr标签里面, 而且class为t_tr1, 所以就有了trs = tree.xpath(‘//tr[@class=“t_tr1”]’)这行代码, trs目前还是获取着所有类为t_tr1的tr标签, 所以我们需要遍历它, 用for tr in trs:这句话遍历所有类为t_tr1的tr标签, 然后再基于表格的每一行，获取所有的列, 就是tds = tr.xpath(‘./td/text()’)这行代码, 拿到红球数据[期号,] : red_nums = ‘,’.join(tds[1:7]), 将爬取到的数据, 插入到数据库的表格中, sql = f’INSERT INTO ssq VALUES (null,“{red_nums}”,“{tds[7]}”,“{tds[8]}”,“{tds[9]}”,“{tds[10]}”,“{tds[11]}”,“{tds[12]}”,“{tds[13]}”,“{tds[14]}”,“{tds[15]}”);', 列表切片，返回的结果还是一个列表，把列表转为字符串，【1,2】 “1,2”, 注意, 需要有cur.execute(sql)和conn.commit()这两行代码, 不然的话, 数据不会成功的添加到数据库当中, 这两节话的意思分别是执行sql语句和提交事务。后面的except和finally就不难理解了, except里面是当try里面的代码有错误的时候, except里面的代码才会执行, 而且我们通过except Exception as e还有print(‘异常原因：’,e)这两行代码打印异常原因。if conn != 0和conn.rollback()这两行代码指的是如果数据库连接已建立但出现异常，执行回滚操作，取消本次事务中的任何改变。finally里面的代码指的是无论是否发生异常都会执行。在finally里面, 执行的是关闭资源的代码, 如果数据库处于建立且连接状态而且游标也已建立的情况下, 关闭数据库连接和游标连接。

四、利用面向对象的写法进行爬虫并保存数据

将第三点(爬取双色球网站的数据并保存到MySQL数据库中)的代码转换为面向对象的形式去写代码。

这些代码, 不一定要掌握, 学有余地的同学可以去研究下哦!!!

代码:

python">import pymysql
import requests
from lxml import etreeclass Spider:# url headers host username port password databasedef __init__(self, url, username, password, database):self.url = urlself.username = usernameself.password = passwordself.database = databaseself.headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36             (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36'}self.host = '127.0.0.1'self.port = 3306self.conn = pymysql.Connect(host=self.host, port=self.port, user=username, password=password, database=database)self.cur = self.conn.cursor()# 发请求方法def send_request(self):res = requests.get(self.url, headers=self.headers)res.encoding = 'gb2312'#     调用解析方法，传入响应内容self.parse(res.text)# 解析方法def parse(self, data):  # data=响应的内容#     data = res.texttree = etree.HTML(data)trs = tree.xpath('//tr[@class="t_tr1"]')for tr in trs:# 基于表格的每一行，获取所有的列tds = tr.xpath('./td/text()')# 红球数据 [期号,]#             调用保存方法，报存数据self.save_mysql(tds)# 保存方法def save_mysql(self, tds):  # tds = 页面中的每一条数据 列表red_nums = ','.join(tds[1:7])try:sql = f'INSERT INTO ssq VALUES (null,"{red_nums}","{tds[7]}","{tds[8]}","{tds[9]}","{tds[10]}","{tds[11]}","{tds[12]}","{tds[13]}","{tds[14]}","{tds[15]}");'self.cur.execute(sql)self.conn.commit()print(sql, '保存完毕')except Exception as e:print(e)self.conn.rollback()def close_conn(self):self.cur.close()self.conn.close()# Spider(url,host,username,password,database)
url = 'https://datachart.500.com/ssq/history/history.shtml'
s = Spider(url, 'root', '123456', 'spider38')
# 调用请求方法 --》调用解析--》调用保存数据
s.send_request()
# 关闭资源方法
s.close_conn()

以上就是爬取数据保存到MySQL数据库的所有内容了, 如果有哪里不懂的地方,可以把问题打在评论区, 欢迎大家在评论区交流!!!
如果我有写错的地方, 望大家指正, 也可以联系我, 让我们一起努力, 继续不断的进步.
学习是个漫长的过程, 需要我们不断的去学习并掌握消化知识点, 有不懂或概念模糊不理解的情况下,一定要赶紧的解决问题, 否则问题只会越来越多, 漏洞也就越老越大.
人生路漫漫, 白鹭常相伴!!!


http://www.ppmy.cn/embedded/133960.html

相关文章

三种SPI机制的了解及使用

三种SPI机制的了解及使用

文章目录 1.SPI机制概念2.Java SPI2.1 创建一个项目，并创建如下模块2.2 db-api模块2.3 mysql-impl模块2.4 oracle-impl模块2.5 main-project模块 3.Spring SPI4.Dubbo SPI 1.SPI机制概念 SPI全程Service Provider Interface，是一种服务发现机制。 SPI的…
阅读更多...
【网络】2.TCP通信

【网络】2.TCP通信

TCP通信 server1. 创建套接字2. 填充套接字3. 将套接字和监听文件描述符绑定4. 将_listensock设置为监听状态5. 启动服务器accept()函数read()函数 Server启动client1. 创建套接字2. 填充套接字connect()函数 3. 通过文件描述符向服务端发送信息 client启动 server server的启…
阅读更多...
HTB：BoardLight[WriteUP]

HTB：BoardLight[WriteUP]

目录 连接至HTB服务器并启动靶机 1.How many TCP ports are listening on BoardLight? 2.What is the domain name used by the box? 3.What is the name of the application running on a virtual host of board.htb? 4.What version of Dolibarr is running on Board…
阅读更多...
群晖通过 Docker 安装 Firefox

群晖通过 Docker 安装 Firefox

1. 获取 firefox 镜像 在注册表搜索 jlesage/firefox，并且下载 2. 创建容器 运行映像 jlesage/firefox，开始创建容器 3. 配置容器 启用自动重新启动，重点配置存储空间和环境变量，其他默认。 创建文件夹，及子文件夹…
阅读更多...
NavVis VLX三维激光扫描仪在市政地形测绘中的典型应用【沪敖3D】

NavVis VLX三维激光扫描仪在市政地形测绘中的典型应用【沪敖3D】

项目：市政地形测绘 市政地形测绘涵盖了特定区域内的自然与人为特征，如道路、建筑物、桥梁等户外环境和结构。这一过程为各种工程、建筑、施工及土地开发项目提供了准确、全面的景观数据。 地形测绘常常是建设项目的首要步骤。因其普遍性，地…
阅读更多...
基于yolov8的柑橘叶片病虫害检测系统，支持图像、视频和摄像实时检测【pytorch框架、python源码】

基于yolov8的柑橘叶片病虫害检测系统，支持图像、视频和摄像实时检测【pytorch框架、python源码】

更多目标检测和图像分类识别项目可看我主页其他文章 功能演示： 基于yolov8的柑橘叶片病虫害检测系统，支持图像、视频和摄像实时检测【pytorch框架、python源码】_哔哩哔哩_bilibili （一）简介 基于yolov8的柑橘叶片病虫害检测系…
阅读更多...
计算机网络——有连接传输层协议TCP

计算机网络——有连接传输层协议TCP

序号 序号一般不从0开始，这个在双方建立连接后约定一个数 这样做可以避免网络中滞留的TCP段对新的连接的干扰 往返时间分为局域网下和离得特别远的两种情况 这里表示在此之前有两个往返延迟——影响成指数型减少 可靠数据传输 一共收到四个ACK然后重传——快…
阅读更多...
七种方法助你找到实用且免费的API服务

七种方法助你找到实用且免费的API服务

随着现代互联网的迅猛发展，API（应用程序编程接口）已成为推动技术创新的核心工具。API使得开发者能够快速实现复杂的功能，如数据分析、自然语言处理、图像识别等，而无需从头编写大量的代码。在这个开放的生态中&#xf…
阅读更多...
最新文章

Copyright @ 2022~2023