深度学习的笔记

embedded/2024/9/25 15:26:00/

pytorch_0">1. 从huggingface上仅下载pytorch模型权重和配置文件到服务器

import os
import shutil
from huggingface_hub import snapshot_download# 直接指定模型和下载路径
model_name = 'openai/clip-vit-base-patch32'
download_path = '/home/xxx/.cache/huggingface/hub/models--anas-awadalla--mpt-7b'# 确保下载路径存在
os.makedirs(download_path, exist_ok=True)
print('*'*10, f'Start downloading {model_name}', '*'*10)# 下载模型
snapshot_download(repo_id=model_name,cache_dir=download_path,local_dir=download_path,local_dir_use_symlinks=False,ignore_patterns=["*.h5","*safetensors","*msgpack"],force_download=True,resume_download=False,etag_timeout=60)print('*'*10, 'Download finish', '*'*10)# 清理下载的模型目录
for item in os.listdir(download_path):if os.path.isdir(os.path.join(download_path, item)) and item.startswith('models'):shutil.rmtree(os.path.join(download_path, item))

2. 从huggingface的镜像站上下载数据集:

import os
from datasets import load_datasetos.environ["HF_DATASETS_BASE_URL"] = "https://hf-mirror.com/"# 数据集名称
dataset_name = 'lukaemon/mmlu'
download_path = '/data/share/xxx/'# 子集列表
subsets = ['subset1', 'subset2', 'subset3']  # 替换为实际的子集名称# 确保下载路径存在
os.makedirs(download_path, exist_ok=True)
print('*' * 10, f'Start downloading subsets of {dataset_name}', '*' * 10)# 下载数据集的每个子集
for subset in subsets:print(f'Downloading subset: {subset}')dataset = load_dataset(dataset_name, subset, cache_dir=download_path,trust_remote_code=True)["test"]print(f'Finished downloading subset: {subset}')print('*' * 10, 'Download finish', '*' * 10)

3. 关于对数概率(logits)和softmax函数:

对数概率(Logits):指的是在应用 softmax 函数之前的层的输出。它们是模型输出的原始未归一化的分数,可以理解为模型对每个类别的信心度量。这些分数可以是任意实数值,不限于0到1之间。

Softmax 函数是一种将对数概率(或任意实数值向量)转换成概率分布的方法。具体来说,它会对每个输出应用指数函数,然后对这些指数值进行归一化,使它们的和为1,从而转换为概率分布。

总结一下,对数概率(logits)是 softmax 函数的输入,而 softmax 函数的输出是一个概率分布,即模型对各个类别的预测概率。这两者经常一起使用,尤其是在处理分类问题时。

4. 你可以通过指定–name或-n参数来创建并命名一个新的Conda环境:

conda env create -f environment.yml #改成如下:conda env create -f environment.yml -n openflamingov1

5. epoch , batch ,step的关系

step = batch number * epoch number,解释如下:
step表示参数更新的次数假设有1000个数据,我想遍历10个epoch,我假设 batch_size = 10,也就是一次处理10张图片,
那么1个epoch 会有 1000/10 = 100个batch,也就是batch number = 100运行完一个batch_size的数据之后才会 计算loss ,进行反向传播,更新参数,step+1,那么1个epoch之后,更新100次,step=100
10个epoch,则表示有100 * 10 = 1000 个step来更新参数

http://www.ppmy.cn/embedded/113647.html

相关文章

基于stm32的四旋翼无人机控制系统设计系统设计与实现

文章目录 前言资料获取设计介绍功能介绍设计程序 前言 💗博主介绍:✌全网粉丝10W,CSDN特邀作者、博客专家、CSDN新星计划导师,一名热衷于单片机技术探索与分享的博主、专注于 精通51/STM32/MSP430/AVR等单片机设计 主要对象是咱们电子相关专业…

1. 如何在Java中连接MySQL数据库?请解释使用JDBC连接的步骤。

要在Java中连接MySQL数据库,通常使用JDBC(Java Database Connectivity)API。这是一个用于执行SQL语句的Java API,可以用来访问关系型数据库。下面是使用JDBC连接MySQL数据库的详细步骤: 1. 添加MySQL JDBC驱动 首先&a…

每日新闻掌握【2024年9月12日 星期四】

2024年9月12日 星期四 农历八月初十 大公司/大事件 iPhone 16 Pro Max机型或占总销量35% 市场研究机构TechInsights发布报告,预计iPhone 16系列的出货量将超过其前代产品,2024年全球出货量预计将达到7300万台。此外iPhone 16 Pro Max预计将成为iPhone …

如何用python做一个计算器

很久不更新了,今天来更新一下,初学python,若有可以完善部分可以私信,谢谢大家的支持,代码如下: print("欢迎使用计算器")aint(input("请输入第一个数字\n")) bint(input("请输入第…

小程序面试题四

一、如何提高微信小程序的应用速度? 提高微信小程序的应用速度,可以从多个方面进行优化。以下是一些关键的方法和建议: 1. 优化网络请求 减少请求次数:尽可能合并多个请求,减少HTTP请求的次数。这可以通过批量处理数…

【OJ刷题】双指针问题3

这里是阿川的博客,祝您变得更强 ✨ 个人主页:在线OJ的阿川 💖文章专栏:OJ刷题入门到进阶 🌏代码仓库: 写在开头 现在您看到的是我的结论或想法,但在这背后凝结了大量的思考、经验和讨论 目录 1…

秒懂C++之特殊类设计

目录 设计一个类,不能被拷贝 设计一个类,只能在堆上创建对象 设计一个类,只能在栈上创建对象 设计一个类,无法被继承 设计一个类,只能创建一个对象(单例模式) 饿汉模式 懒汉模式 设计一个类,不能被拷…

十.在vue中,发送axios请求应该放在created里还是mounted里?详解

在vue中,发送axios请求应该放在created里还是mounted里?详解 在回答这个问题之前,我们需要知道vue的生命周期钩子顺序:beforecreated(组件创建前,dom元素、data都为undefined) created&#xf…