Python 视频爬取教程

embedded/2025/3/18 20:27:28/

文章目录

  • 前言
  • 基本原理
  • 环境准备
  • 示例 1:爬取简单直链视频
  • 示例 2:爬取基于 HTML5 的视频(以某简单视频网站为例)


前言

以下是一个较为完整的 Python 视频爬取教程,包含基本原理、不同网站的爬取示例以及注意事项。


基本原理

视频爬取本质上是模拟浏览器向服务器发送请求,获取包含视频信息的网页内容,解析出视频的真实下载地址,然后将视频文件下载到本地。一般会用到requests库来发送请求,BeautifulSoup或lxml库来解析网页内容。

环境准备

Python_17">Python安装

访问 Python 官方网站,根据你的操作系统(Windows、Mac 或 Linux)下载并安装 Python 3.x 版本。安装时勾选 “Add Python to PATH”,方便在命令行中使用 Python

Python 3.11安装教程:https://blog.csdn.net/u014164303/article/details/145549489
Python 3.13安装教程:https://blog.csdn.net/u014164303/article/details/146024500

Python 3.11下载地址:https://pan.quark.cn/s/9c44793cb24c
Python 3.13下载地址:https://pan.quark.cn/s/bce37ebd7f70

Python_26">选择Python开发环境

PyCharm 社区版(免费)或专业版(需付费或申请教育版)。安装完成后,打开 PyCharm,创建一个新的项目,在项目设置中选择之前创建的虚拟环境作为项目的 Python 解释器。PyCharm 功能强大,提供代码自动补全、调试等功能,适合开发大型项目。

Pycharm安装教程:https://blog.csdn.net/u014164303/article/details/145674773
PyCharm下载地址:https://pan.quark.cn/s/5756c8cf8b2a

安装必要库

在开始之前,需要安装必要的 Python 库。可以使用以下命令进行安装:

pip install requests beautifulsoup4 lxml

示例 1:爬取简单直链视频

有些网站会直接提供视频的下载链接,对于这类视频,爬取过程相对简单。以下是一个示例代码:

import requestsdef download_video(url, save_path):try:# 发送请求,获取视频内容response = requests.get(url, stream=True)response.raise_for_status()# 以二进制写入模式打开文件with open(save_path, 'wb') as file:for chunk in response.iter_content(chunk_size=8192):if chunk:file.write(chunk)print(f"视频下载成功,保存路径:{save_path}")except requests.RequestException as e:print(f"下载失败:{e}")# 视频的直接下载链接
video_url = "https://example.com/video.mp4"
# 保存视频的本地路径
save_path = "video.mp4"download_video(video_url, save_path)

示例 2:爬取基于 HTML5 的视频(以某简单视频网站为例)

有些网站使用 HTML5 的标签来播放视频,我们可以通过解析网页内容获取视频的真实地址。

import requests
from bs4 import BeautifulSoupdef get_video_url(url):try:# 发送请求,获取网页内容response = requests.get(url)response.raise_for_status()# 使用 BeautifulSoup 解析网页soup = BeautifulSoup(response.text, 'lxml')# 查找 video 标签video_tag = soup.find('video')if video_tag:# 获取视频的 src 属性video_url = video_tag.get('src')if video_url:if not video_url.startswith('http'):# 处理相对路径base_url = url.rsplit('/', 1)[0]video_url = f"{base_url}/{video_url}"return video_urlexcept requests.RequestException as e:print(f"请求失败:{e}")return Nonedef download_video(url, save_path):try:response = requests.get(url, stream=True)response.raise_for_status()with open(save_path, 'wb') as file:for chunk in response.iter_content(chunk_size=8192):if chunk:file.write(chunk)print(f"视频下载成功,保存路径:{save_path}")except requests.RequestException as e:print(f"下载失败:{e}")# 视频网页的 URL
web_url = "https://example.com/video_page.html"
# 获取视频的真实下载地址
video_url = get_video_url(web_url)
if video_url:save_path = "video.mp4"download_video(video_url, save_path)
示例 3:爬取短视频平台视频(以抖音为例)
抖音的视频爬取相对复杂,因为其采用了加密和反爬机制。以下是一个简单的示例:
python
import requests
import redef get_douyin_video_url(share_url):try:# 发送请求,获取重定向后的 URLresponse = requests.get(share_url, allow_redirects=True)response.raise_for_status()# 使用正则表达式提取视频 IDvideo_id_pattern = re.compile(r'video/(\d+)')match = video_id_pattern.search(response.url)if match:video_id = match.group(1)# 构造视频 API 请求 URLapi_url = f"https://www.iesdouyin.com/web/api/v2/video/playwm/?video_id={video_id}"headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"}# 发送 API 请求,获取视频信息api_response = requests.get(api_url, headers=headers)api_response.raise_for_status()data = api_response.json()if 'video' in data and 'play_addr' in data['video'] and 'url_list' in data['video']['play_addr']:video_url = data['video']['play_addr']['url_list'][0]# 去除水印video_url = video_url.replace("playwm", "play")return video_urlexcept requests.RequestException as e:print(f"请求失败:{e}")return Nonedef download_video(url, save_path):try:response = requests.get(url, stream=True)response.raise_for_status()with open(save_path, 'wb') as file:for chunk in response.iter_content(chunk_size=8192):if chunk:file.write(chunk)print(f"视频下载成功,保存路径:{save_path}")except requests.RequestException as e:print(f"下载失败:{e}")# 抖音视频的分享链接
share_url = "https://v.douyin.com/xxxxxx/"
# 获取视频的真实下载地址
video_url = get_douyin_video_url(share_url)
if video_url:save_path = "douyin_video.mp4"download_video(video_url, save_path)

注意事项

  • 遵守法律法规:在进行视频爬取时,必须遵守相关法律法规和网站的使用条款,不得进行非法爬取和传播。
  • 反爬机制:许多网站都有反爬机制,如 IP 封禁、验证码等。可以使用代理 IP、设置合理的请求头和请求间隔时间来绕过反爬机制。
  • 版权问题:确保下载的视频具有合法的使用权限,避免侵犯他人的版权。
    通过以上教程,你可以了解到不同场景下 Python 视频爬取的基本方法。在实际应用中,需要根据具体网站的特点进行调整。

http://www.ppmy.cn/embedded/173669.html

相关文章

文件解析漏洞靶场---解析详解

⽂件解析漏洞是由于中间件错误的将任意格式的⽂件解析成⽹⻚可执⾏⽂件,配合⽂件上传漏洞进⾏ GetShell的漏洞! 一、IIS解析漏洞 3个 1. IIS6.X 2个 环境需求:windows2003iis6 安装windows2003; 安装iis:控…

Django之旅:第二节--启动运行django

1、确保app已配置完(settings.py文件里面配置) INSTALLED_APPS [django.contrib.admin,django.contrib.auth,django.contrib.contenttypes,django.contrib.sessions,django.contrib.messages,django.contrib.staticfiles,app.apps.AppConfig #配置已经注册好的app…

基于Python+SQLite实现(Web)验室设备管理系统

实验室设备管理系统 应用背景 为方便实验室进行设备管理,某大学拟开发实验室设备管理系统 来管理所有实验室里的各种设备。系统可实现管理员登录,查看现有的所有设备, 增加设备等功能。 开发环境 Mac OSPyCharm IDEPython3Flask&#xff…

TK矩阵:提高多账号管理效率的利器

随着TikTok的火爆,越来越多的人开始利用这个平台进行内容创作和社交互动。无论是个人创作者、品牌方,还是营销公司,TikTok都提供了巨大的机会,但同时也带来了运营上的挑战,尤其是在管理多个账户时。每个账号的维护、内…

qt 线程

以下是一个完整的Qt线程池实现示例&#xff0c;结合任务优先级、线程安全、UI交互等高级功能&#xff0c;并包含异常处理机制&#xff1a; cpp // mytask.h #ifndef MYTASK_H #define MYTASK_H#include <QRunnable> #include <QObject> #include <QMutex> #…

三.ffmpeg对yuv的操作

一.windows 1.使用ffmpeg录制mp4视频 #获取音视频设备 ffmpeg -list_devices true -f dshow -i dummy #录制视频 ffmpeg -f dshow -i video"xxxx" -c"v libx264 -pix_fmt yuv420p output.mp4 2.将mp4转换为yuv数据 //-i&#xff1a;输入文件选项&#xff1b…

ngx_http_module_t

定义在 src\http\ngx_http_config.h typedef struct {ngx_int_t (*preconfiguration)(ngx_conf_t *cf);ngx_int_t (*postconfiguration)(ngx_conf_t *cf);void *(*create_main_conf)(ngx_conf_t *cf);char *(*init_main_conf)(ngx_conf_t *cf, void *conf);…

10、基于osg引擎生成热力图高度图实现3D热力图可视化、3D热力图实时更新(带过渡效果)

1、结果 2、完整C代码 #include <sstream> #include <iomanip> #include <iostream> #include <vector> #include <random> #include <cmath> #include <functional> #include <osgViewer/viewer> #include <osgDB/Read…