快速入门DVC(二):安装及ML项目初始化

news/2024/11/15 2:34:27/

在上一篇文章快速入门DVC(一):简介中概述了 DVC ,DVC(数据版本控制)是一种数据和机器学习实验管理工具,它有效利用了您已经非常熟悉的现有工程工具集(如Git、CI/CD 等)。

安装

使用pip安装

我们强烈建议您创建一个虚拟环境,或者使用pipx(在 Python 3.7+ 上)来封装您的本地环境。

pip install dvc

您可以根据您使用的远程存储类型,选择性的安装可选依赖项:[s3][azure][gdrive][gs][oss][ssh]。 使用 [all] 将它们所有包含在内一起安装。

例如,支持 Amazon S3 存储:

pip install "dvc[s3]"

在这种情况下,它会同时安装 DVCboto3 库。

使用conda安装

安装 DVC 之前,需要提前安装 MinicondaAnaconda 发行版。

conda install -c conda-forge mamba # installs much faster than conda
mamba install -c conda-forge dvc

您可以根据您使用的远程存储类型,选择性的安装可选依赖项:dvc-s3, dvc-azure, dvc-gdrive, dvc-gs, dvc-oss, dvc-ssh

例如,支持 Amazon S3 存储:

conda install -c conda-forge mamba
mamba install -c conda-forge dvc-s3

在这种情况下,它会同时安装 DVCboto3 库。

使用berw安装(MacOS)

安装 DVC 之前,需要确保已经安装了 Homebrew

brew install dvc

使用apt安装(Debian/Ubuntu)

sudo wget \https://dvc.org/deb/dvc.list \-O /etc/apt/sources.list.d/dvc.list
wget -qO - https://dvc.org/deb/iterative.asc | sudo apt-key add -
sudo apt update
sudo apt install dvc

使用yum安装(Fedora/CentOS)

sudo wget \https://dvc.org/rpm/dvc.repo \-O /etc/yum.repos.d/dvc.repo
sudo rpm --import https://dvc.org/rpm/iterative.asc
sudo yum update
sudo yum install dvc

使用snap安装(Linux)

安装 DVC 之前,需要确保已经安装了snapd

snap install --classic dvc

查看帮助文档

$ dvc -h  

注意:

  1. 如果要将 DVC 用作 Python 库,请使用 pipconda 安装。

  2. 当使用 Homebrewdebrpm 存储库 、 snap 安装 DVC 时,会自动启用 Shell 补全。

项目初始化

安装完DVC之后, 通过在 Git 项目中运行 dvc init 来初始化它。

准备工作:

$ mkdir example-get-started$ cd example-get-started$ git init

初始化DVC:

$ dvc init

初始化DVC之后,创建了一些应该添加到 Git 仓库的内部文件。

$ git statusChanges to be committed:new file:   .dvc/.gitignorenew file:   .dvc/config...$ git commit -m "Initialize DVC"

ok,现在你已经准备好DVC了。 DVC的特性可以分为几个功能组件(数据和模型版本控制访问与下载数据和模型数据流水线指标跟踪、更新训练参数以及可视化模型表现机器学习实验管理),后面我将在博文中一一探讨。


http://www.ppmy.cn/news/910477.html

相关文章

深度学习视频压缩1—DVC: An End-to-end Deep Video Compression Framework

本文是第一篇端到端使用神经网络来进行视频压缩的论文, github地址:GitHub - GuoLusjtu/DVC: DVC: An End-to-end Deep Video Compression Framework, CVPR 2019 (Oral) 论文地址:https://arxiv.org/pdf/1812.00101.pdf 各个领域的第一篇&…

PA-DVC-D24-1000 PA-SVC-D24-1500最大输出电流可调比例放大器

控制不带电气位移反馈的单双电磁铁比例线圈; 输入电压为差动输入; 高精度,低温度漂移; PWM调制,负反馈恒流控制; 非对称斜坡时间(上升和下降时间独立可调);调制频率可调; 共信号地和电源地。 保护电路齐全(电源反接保护&…

论文笔记24 -- (视频压缩)【CVPR2019】DVC: An End-to-end Deep Video Compression Framework

《DVC: An End-to-end Deep Video Compression Framework》 论文:点这里 原作代码:点这里 TensorFlow开源实现:OpenDVC Guo Lu, Wanli Ouyang, Dong Xu, Xiaoyun Zhang, Chunlei Cai, Zhiyong Gao CVPR 2019 (Oral) DVC是首个端到端的深度学…

Python 和 DVC 进行 git 版本控制

大家好,我是Mr数据杨,设想我们正准备上演一出《三国演义》,需要设置工作环境。就像古代的诸侯需要配置自己的军队和物资。在数据的世界里需要准备数据和代码,这就如同筹备兵马和粮草。 跟踪文件并上传,就像各诸侯的斥…

DVCS

http://www.idnovo.com.cn/zhizao/2012/0724/article_13495.html http://www.gongkong.com/company/solution/2012062510034000001.htm http://www.chuandong.com/publish/application/2012-6/20467.html

DVC 官网教程-中文版

为什么选择 DVC? 即使我们今天在机器学习方面取得了巨大的成功,特别是在深度学习及其在商业中的应用方面;但是,数据科学家仍然缺乏组织项目和有效协作的最佳实践。 这是一个关键挑战:虽然 ML 算法和方法不再是部落知识…

AcWing 106. 动态中位数—对顶堆

问题链接 AcWing 106. 动态中位数 问题描述 分析 推荐b站董晓算法视频讲解对顶堆 这道题应该用树状数组、平衡树也能解决,这里用对顶堆来做,对顶堆能够用维护第K位置的数,K是固定的,在这道题中,维护两个堆&#xff…

DVC 的使用

DVC 的基本使用 DVC (Data Version Control) 数据版本管理工具。DVC 类似于常用到的git代码管理工具。但 git 在工程中往往只是针对代码进行管理,换句话说就是对小文件进行管理,而 DVC 则解决了 git 的这个短板,它可以对工程中的大文件&…