基于Fairseq的Transformer跑模型遇到的问题及解决

embedded/2024/9/23 11:15:12/


Fairseq是由Facebook开源的经典Seq2Seq库,其github地址如下:
https://github.com/facebookresearch/fairseq

Fairseq__4">Fairseq 安装:

conda create -n {YOUR_ENV_NAME} python=3.9conda activate {YOUR_ENV_NAME}git clone https://github.com/pytorch/fairseqcd fairseqpip install --editable ./
  1. 出现了卡在 installing build dependencies … 的问题。
    解决:改用 pip install --editable ./ --no-build-isolation
  2. 遇到了卡在 solving environment… 的问题。
    解决:在https://pytorch.org/get-started/locally/ 网站上根据设备选择安装指令。比如 conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
  3. 算力资源不够,跑不动模型。
    解决:减小数据集。比如随机采样十分之一。代码如下:
cd examples/translation/
bash prepare-iwslt14.sh
cd ../..
TEXT=examples/translation/iwslt14.tokenized.de-en
mkdir -p data-bin/iwslt14.tokenized.de-en-sampled# 从原始数据中随机抽取十分之一的数据
shuf -n $(($(wc -l < "$TEXT/train.de") / 10)) "$TEXT/train.de" > "$TEXT/train.de"
shuf -n $(($(wc -l < "$TEXT/train.en") / 10)) "$TEXT/train.en" > "$TEXT/train.en"fairseq-preprocess --source-lang de --target-lang en \--trainpref "$TEXT/train.sampled" --validpref "$TEXT/valid" --testpref "$TEXT/test" \--destdir data-bin/iwslt14.tokenized.de-en-sampled

环境对我来说常常不是一件容易的事情…会有走好多莫名其妙的弯路和碰到好多奇奇怪怪的问题。经验是…首先不要预设设备和软件会出现问题,也不要预设自己解决不了…几乎所有的问题都已经有人遇到过了,可以直接地搜索遇到的问题,从简洁的解决方案试起…


http://www.ppmy.cn/embedded/34389.html

相关文章

linux文本三剑客之sed

目录 1、sed特点 1&#xff09;sed命令格式 2&#xff09;sed命令核心功能"增删改查" 2、sed命令执行过程 3、sed核心应用 1&#xff09;sed-查找p 2&#xff09;sed-删除d 3&#xff09;sed-增加cai 4) sed-替换s 1、sed特点 sed stream editor 流编辑器…

如何利用仪表构造InfiniBand流量在数据中心测试中的应用

一、什么是Infiniband&#xff1f; 在当今数据爆炸的时代&#xff0c;数据中心作为信息处理的中心枢纽&#xff0c;面临着前所未有的挑战。传统的通信方式已经难以满足日益增长的数据传输需求&#xff0c;而InfiniBand技术的出现&#xff0c;为数据中心带来了全新的通信解决方…

9.3.k8s的控制器资源(deployment部署控制器)

目录 一、deployment部署控制器概念 二、deployment资源的清单编写 三、小结 功能 使用场景 原理 四、deployment实现升级和回滚 1.编辑deployment资源清单&#xff08;v1版本&#xff09; 2.创建service资源用于访问 ​编辑 3.修改deploy清单中pod镜像版本为V2 4…

【JavaWeb】网上蛋糕项目商城-关键字搜索,购物车以及商品详情功能

概念 上文中已经实现热销和新品的商品列表功能&#xff0c;本文篇幅中实现关键字搜索商品&#xff0c;将商品加入购物车&#xff0c;以及查看商品的详情信息等功能 关键字搜索实现步骤 在head.jsp头部页面中&#xff0c;鼠标移动至搜索图标会显示隐藏的搜索框进行输入关键信…

每天一个数据分析题(三百零五)

同环比是业务描述性分析中针对时间维度使用的重要指标&#xff0c;以下关于同环比描述正确的是 A. 同环比计算方法一般适用于对长周期业务行为结果的观测 B. 有短周期变化特征&#xff0c;应尽量使用环比 C. 在描述较大时间间隔下的行为水平变化特征时应使用环比 D. 同环比…

【C语言】解决不同场景字符串问题:巧妙运用字符串函数

&#x1f308;个人主页&#xff1a;是店小二呀 &#x1f308;C语言笔记专栏&#xff1a;C语言笔记 &#x1f308;C笔记专栏&#xff1a; C笔记 &#x1f308;喜欢的诗句:无人扶我青云志 我自踏雪至山巅 文章目录 一、字符函数1.1 字符分类函数1.1.1 islower1.1.2 isupper 1.…

C语言:环形链表

1.例子1&#xff1a;环形链表 142. 环形链表 II - 力扣&#xff08;LeetCode&#xff09; 思路&#xff1a;我们先定义两个变量slow和fast&#xff0c;slow每次走一步&#xff0c;fast每次走两步&#xff0c;如果链表是环形链表&#xff0c;那么必定存在fast不会走到链表的最后…

Web Storage 笔记11 网页数据存储

相关内容&#xff1a;Web Storage基本概念、localStorage、sessionStorage、登录注销实例、…… 在制作网页时会希望记录一些信息&#xff0c;例如用户登录状态、计数器或者小游戏等&#xff0c;但是又不希望用到数据库&#xff0c;就可以利用WebStorage技术将数据存储在用户浏…