chattts生成的音频与字幕修改完善,每段字幕对应不同颜色的视频,准备下一步插入视频。

news/2024/12/14 15:15:53/

上一节中,实现了先生成一个固定背景的与音频长度一致的视频,然后插入字幕。再合并成一个视频的方法。

但是:这样有点单了,所以:

1.根据字幕的长度先生成视频片断

2.在片段上加上字幕。

3.合并所有片断,成为一个新的视频。

4.在新的视频上添加上音频。再次合成一个新的视频,即最后的视频。

可用代码1

from moviepy import VideoFileClip, AudioFileClip, TextClip, CompositeVideoClip, ImageClip
import cv2
import numpy as np
import random
import os
import warnings# 忽略特定的 UserWarning
# warnings.filterwarnings("ignore", category=UserWarning, message="In file .*\.mp4, .* bytes wanted but 0 bytes read at frame index .* \(out of a total .* frames\), at time .* sec. Using the last valid frame instead.")def parse_time(time_str):""" 解析 SRT 时间格式 """hours, minutes, seconds = time_str.split(':')seconds, milliseconds = seconds.split(',')return float(hours) * 3600 + float(minutes) * 60 + float(seconds) + float(milliseconds) / 1000def create_video(audio_path, subtitle_path, video_path, subtitle_position='center', use_temp_files=False):# 创建一个灰色背景的视频width, height = 1920, 1080  # 横屏视频分辨率fps = 24  # 视频帧率duration = AudioFileClip(audio_path).duration  # 视频时长与音频相同# 加载音频audio_clip = AudioFileClip(audio_path)# 读取字幕文件with open(subtitle_path, 'r', encoding='utf-8') as file:subtitles = file.readlines()# 处理字幕video_clips = []temp_files = []  # 用于存储临时文件路径for i in range(0, len(subtitles), 3):  # 4代表字幕文件中每一块所占行数index = subtitles[i].strip()time_range = subtitles[i + 1].strip().split(' --> ')start_time = time_range[0]end_time = time_range[1]text = subtitles[i + 2].strip()# 计算片段的持续时间start_seconds = parse_time(start_time)end_seconds = parse_time(end_time)clip_duration = end_seconds - start_seconds# 生成随机背景颜色random_color = (random.randint(0, 255), random.randint(0, 255), random.randint(0, 255))frame = np.zeros((height, width, 3), dtype=np.uint8)frame[:, :] = random_color# 创建视频片段fourcc = cv2.VideoWriter_fourcc(*'mp4v')if use_temp_files:output_path = f"temp_clip_{i}.mp4"out = cv2.VideoWriter(output_path, fourcc, fps, (width, height), isColor=True)for _ in range(int(fps * clip_duration)):out.write(frame)out.release()temp_files.append(output_path)# 检查临时视频文件是否存在且大小大于0if not os.path.exists(output_path) or os.path.getsize(output_path) == 0:raise Exception(f"Temporary video file {output_path} is missing or empty.")# 加载视频片段video_clip = VideoFileClip(output_path).with_duration(clip_duration)else:# 直接在内存中创建 VideoClipvideo_clip = ImageClip(frame).with_duration(clip_duration)# 折行处理font_size = 50font = cv2.FONT_HERSHEY_SIMPLEXmax_width = width * 0.8  # 最大宽度为视频宽度的80%words = text.split()lines = []line = ""for word in words:test_line = line + " " + word(test_width, _), _ = cv2.getTextSize(test_line, font, 1, font_size)if test_width <= max_width:line = test_lineelse:lines.append(line)line = wordlines.append(line)# 创建TextClipfinal_text = "\n".join(lines)subtitle_clip = TextClip(text=final_text, font_size=font_size, color='white',font='/usr/share/fonts/opentype/noto/NotoSerifCJK-Bold.ttc')subtitle_clip = subtitle_clip.with_start(0).with_end(clip_duration).with_position(('center', subtitle_position))# 创建灰色背景框text_width, text_height = subtitle_clip.sizepadding = 10  # 字幕框的内边距box_width = text_width + 2 * paddingbox_height = text_height + 2 * paddingbox_frame = np.zeros((box_height, box_width, 3), dtype=np.uint8) + 128  # 灰色背景box_clip = ImageClip(box_frame).with_start(0).with_end(clip_duration)# 设置背景框的位置if subtitle_position == 'center':box_position = ('center', 'center')elif subtitle_position == 'bottom':box_position = ('center', 'bottom')else:box_position = ('center', 'top')box_clip = box_clip.with_position(box_position, relative=True).with_duration(clip_duration)# 合成片段final_clip = CompositeVideoClip([video_clip, box_clip, subtitle_clip]).with_start(start_seconds)video_clips.append(final_clip)# 合成最终视频final_video = CompositeVideoClip(video_clips)final_video = final_video.with_audio(audio_clip)final_video.write_videofile(video_path, codec='libx264', fps=fps)# 清理临时文件if use_temp_files:for temp_file in temp_files:os.remove(temp_file)# 示例调用
audio_path = "wwww.wav"
subtitle_path = "wwww.srt"
video_path = "wwww.mp4"
subtitle_position = 'bottom'  # 可选值: 'center', 'bottom'
use_temp_files = False  # 设置为 True 以使用临时文件# 创建最终视频
create_video(audio_path, subtitle_path, video_path, subtitle_position, use_temp_files)

可用参考代码2:

from moviepy import VideoFileClip, AudioFileClip, TextClip, CompositeVideoClip, ImageClip
import cv2
import numpy as np
import random
import os
import warnings# 忽略特定的 UserWarning
# warnings.filterwarnings("ignore", category=UserWarning, message="In file .*\.mp4, .* bytes wanted but 0 bytes read at frame index .* \(out of a total .* frames\), at time .* sec. Using the last valid frame instead.")def parse_time(time_str):""" 解析 SRT 时间格式 """hours, minutes, seconds = time_str.split(':')seconds, milliseconds = seconds.split(',')return float(hours) * 3600 + float(minutes) * 60 + float(seconds) + float(milliseconds) / 1000def create_video(audio_path, subtitle_path, video_path, subtitle_position='center', use_temp_files=False):# 创建一个灰色背景的视频width, height = 1920, 1080  # 横屏视频分辨率fps = 24  # 视频帧率duration = AudioFileClip(audio_path).duration  # 视频时长与音频相同# 加载音频audio_clip = AudioFileClip(audio_path)# 读取字幕文件with open(subtitle_path, 'r', encoding='utf-8') as file:subtitles = file.readlines()# 处理字幕video_clips = []temp_files = []  # 用于存储临时文件路径for i in range(0, len(subtitles), 3):  # 4代表字幕文件中每一块所占行数index = subtitles[i].strip()time_range = subtitles[i + 1].strip().split(' --> ')start_time = time_range[0]end_time = time_range[1]text = subtitles[i + 2].strip()# 计算片段的持续时间start_seconds = parse_time(start_time)end_seconds = parse_time(end_time)clip_duration = end_seconds - start_seconds# 生成随机背景颜色random_color = (random.randint(0, 255), random.randint(0, 255), random.randint(0, 255))frame = np.zeros((height, width, 3), dtype=np.uint8)frame[:, :] = random_color# 创建视频片段fourcc = cv2.VideoWriter_fourcc(*'mp4v')if use_temp_files:output_path = f"temp_clip_{i}.mp4"out = cv2.VideoWriter(output_path, fourcc, fps, (width, height), isColor=True)for _ in range(int(fps * clip_duration)):out.write(frame)out.release()temp_files.append(output_path)# 检查临时视频文件是否存在且大小大于0if not os.path.exists(output_path) or os.path.getsize(output_path) == 0:raise Exception(f"Temporary video file {output_path} is missing or empty.")# 加载视频片段video_clip = VideoFileClip(output_path).with_duration(clip_duration)else:# 直接在内存中创建 VideoClipvideo_clip = ImageClip(frame).with_duration(clip_duration)# 折行处理font_size = 50font = cv2.FONT_HERSHEY_SIMPLEXmax_width = width * 0.8  # 最大宽度为视频宽度的80%words = text.split()lines = []line = ""for word in words:test_line = line + " " + word(test_width, _), _ = cv2.getTextSize(test_line, font, 1, font_size)if test_width <= max_width:line = test_lineelse:lines.append(line)line = wordlines.append(line)# 创建TextClipfinal_text = "\n".join(lines)subtitle_clip = TextClip(text=final_text, font_size=font_size, color='white',font='/usr/share/fonts/opentype/noto/NotoSerifCJK-Bold.ttc')subtitle_clip = subtitle_clip.with_start(0).with_end(clip_duration).with_position(('center', subtitle_position))# 创建灰色背景框text_width, text_height = subtitle_clip.sizepadding = 10  # 字幕框的内边距box_width = text_width + 2 * paddingbox_height = text_height + 2 * paddingbox_frame = np.zeros((box_height, box_width, 3), dtype=np.uint8) + 128  # 灰色背景box_clip = ImageClip(box_frame).with_start(0).with_end(clip_duration)# 设置背景框的位置if subtitle_position == 'center':box_position = ('center', 'center')elif subtitle_position == 'bottom':box_position = ('center', 'bottom')else:box_position = ('center', 'top')box_clip = box_clip.with_position(box_position, relative=True).with_duration(clip_duration)# 合成片段final_clip = CompositeVideoClip([video_clip, box_clip, subtitle_clip]).with_start(start_seconds)video_clips.append(final_clip)# 合成最终视频final_video = CompositeVideoClip(video_clips)final_video = final_video.with_audio(audio_clip)final_video.write_videofile(video_path, codec='libx264', fps=fps)# 清理临时文件if use_temp_files:for temp_file in temp_files:os.remove(temp_file)# 示例调用
audio_path = "wwww.wav"
subtitle_path = "wwww.srt"
video_path = "wwww.mp4"
subtitle_position = 'bottom'  # 可选值: 'center', 'bottom'
use_temp_files = False  # 设置为 True 以使用临时文件# 创建最终视频
create_video(audio_path, subtitle_path, video_path, subtitle_position, use_temp_files)

以上代码参考,下一步。我计划。使用视频及字幕建立数据库,然后使用字幕进行匹配,替换目前的随机背景色的视频片断。那位朋友有好的参考意见的。交流一下。

 


http://www.ppmy.cn/news/1555046.html

相关文章

.NET(C#) 如何配置用户首选项及保存用户设置

最近开发软件&#xff0c;需要将用户设置保存下来以便下次打开后再用&#xff0c;看了半天原来.NET框架自带setting功能。记录如下&#xff1a; 一&#xff0c;“设置” 页面 使用项目设计器的“设置”页指定项目的应用程序设置。 通过应用程序设置&#xff0c;能够为应用程序…

如何切换安卓手机ip?你更喜欢哪种操作

在数字化时代&#xff0c;IP地址作为网络设备的唯一标识&#xff0c;对于网络访问和隐私保护至关重要。有时&#xff0c;可能出于个人需求或工作缘故&#xff0c;想要将自己的安卓手机IP地址更换成其他省份的&#xff0c;或者设置成静态IP等需求该如何实现呢&#xff1f;安卓手…

通信协议 http、tcp、udp

目录 1. 五层网络协议 2. http 3. tcp、udp 4. tcp 3次握手、4次挥手 5. socket 6. httpclient 遇到的问题 1. Q: 使用 EntityUtils.toString(responseEntity, "UTF-8") 中文乱码 2. Q: org.apache.http.NoHttpResponseException: 221.6.16.203:8890 failed …

深入探索数据库世界:SQLite、Redis、MySQL 与数据库设计范式

数据库 深入探索数据库世界:SQLite、Redis、MySQL 与数据库设计范式一、SQLite 数据库全方位解析(一)创建与基本操作(二)数据存储与表结构设计(三)数据操作:增删改查(四)与 C 语言联合使用(五)防止 SQL 注入二、Redis 数据库深度剖析(一)数据存储类型与独特结构(…

pstree 查看进程树 命令学习

使用Centos7.6 系统 使用yum安装 使用 yum -y install pstree 下载时会报错&#xff0c;因为 pstree 命令的包名不是这个&#xff0c;使用 yum provides pstree 可以查看pstree属于哪个包&#xff0c;然后安装它。 Loaded plugins: fastestmirror Repository epel is listed mo…

pandas:常用函数

1.groupby groupby 是 pandas 中一个非常强大的函数&#xff0c;它允许你按照某个列&#xff08;或多列&#xff09;的值对数据集进行分组&#xff0c;然后对每个组应用聚合函数。以下是 groupby 的基础介绍和用法示例。 基础介绍 groupby 函数通常用于以下情况&#xff1a;…

【[LeetCode每日一题】Leetcode 1768.交替合并字符串

Leetcode 1768.交替合并字符串 题目描述&#xff1a; 给定两个字符串 word1 和 word2&#xff0c;以交替的方式将它们合并成一个新的字符串。即&#xff0c;第一个字符来自 word1&#xff0c;第二个字符来自 word2&#xff0c;第三个字符来自 word1&#xff0c;依此类推。如果…

pdf merge

在 Ubuntu 22.04 上&#xff0c;你可以使用以下命令行工具来合并多个 PDF 文件&#xff1a; 1. pdftk pdftk 是一个强大的 PDF 工具&#xff0c;支持合并、拆分和其他操作。安装和使用方法如下&#xff1a; sudo apt install pdftk pdftk file1.pdf file2.pdf cat output me…