pycharm连接远程linux服务器上的docker进行深度学习训练

news/2024/9/19 8:57:08/ 标签: 服务器, pycharm, linux, 深度学习, 神经网络, python, pytorch

实习过程中由于GPU都在服务器上,编辑代码很麻烦。并且服务器上配置了docker的环境,所以用pycharm连接远程服务器的docker进行深度学习,这样在本地调用远程服务器的GPU和环境,更方便一点,将这个过程记录下来,希望对大家有所帮助。

目录

一、创建映射端口的docker容器

二、配置ssh

pycharm%E4%B8%AD%E9%85%8D%E7%BD%AE%E7%8E%AF%E5%A2%83-toc" style="margin-left:0px;">三、在pycharm中配置环境

一、创建映射端口的docker容器

首先查看已有的镜像(我自己制作了一个,所以用grep过滤一下)

docker images | grep ds

我选择ds-pytorch作为创建容器的镜像,接下来看看目前所有的相关容器。

docker ps -a | grep ds

开始创建容器

docker run -it --name ds-test -p 8028:22 --gpus all -v /home/huangds/project:/project ds-pytorch:1.0 /bin/bash

这条命令用于启动一个新的 Docker 容器,并设置了多个选项。以下是详细的解释:

  • docker run:这是启动一个新容器的基本命令。

  • -it

    • -i:让容器分配一个伪TTY,并保持 STDIN 打开。这意味着你可以与容器内的进程进行交互。
    • -t:让容器分配一个伪TTY。通常 -i 和 -t 一起使用,以获得交互式 shell 体验。
  • --name ds-test:这个选项指定了容器的名称为 ds-test

  • -p 8028:22:这个选项用来发布(publish)容器的端口到宿主机上。这里的意思是从容器的端口 22 映射到宿主机的端口 8028。端口 22 通常是 SSH 服务使用的端口,这是为了允许从宿主机访问容器中的 SSH 服务。

  • --gpus all:这个选项指定了容器可以访问所有可用的 GPU 资源。

  • -v /home/huangds/project:/project:这个选项用来挂载宿主机的一个目录到容器中。具体来说,它把宿主机上的 /home/huangds/project 目录挂载到容器内的 /project 目录。这使得容器可以访问宿主机上的数据,可以数据共享和持久化存储。(容器会自动创建/project路径,从图中框起来的路径就可以看出

  • ds-pytorch:1.0:这部分指定了基础镜像的名字及其标签(tag)。这里的 ds-pytorch 是镜像的名字,而 1.0 是标签。标签用于区分同一个镜像的不同版本。自己的制作的镜像如果没有指定标签,会显示找不到报错

  • /bin/bash:这部分指定了容器启动后执行的第一个命令。在这里,容器启动后会进入一个交互式的 bash shell,允许用户与容器内的环境进行交互。

二、配置ssh

容器中:

更新apt

apt update

下载openssh-server

apt install -y openssh-server

下载安装过程中会出现需要填写的部分,如下图填写亚洲(6)和上海(70)就行。

此时安装完成,需要进行一些配置

mkdir /var/run/sshd
echo 'root:passwd' | chpasswd  # 这里使用你自己想设置的用户名和密码,但是一定要记住!
sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config
sed 's@session\s*required\s*pam_loginuid.so@session optional pam_loginuid.so@g' -i /etc/pam.d/sshd
echo "export VISIBLE=now" >> /etc/profile

然后重启ssh服务

service ssh restart

  1. mkdir /var/run/sshd: 创建一个名为 /var/run/sshd 的目录,这是 OpenSSH 服务所需的目录,用于存放一些临时文件。

  2. echo 'root:123456' | chpasswd: 修改 root 用户的密码为 123456。注意,这是一个非常弱的密码,强烈建议使用更安全的密码。

  3. sed -i 's/PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config: 编辑 /etc/ssh/sshd_config 配置文件,将 PermitRootLogin prohibit-password 改为 PermitRootLogin yes,允许 root 用户通过 SSH 登录。

  4. sed 's@session\s*required\s*pam_loginuid.so@session optional pam_loginuid.so@g' -i /etc/pam.d/sshd: 编辑 /etc/pam.d/sshd 文件,将 pam_loginuid.so 从 required 改为 optional。这一步是为了允许非交互式 SSH 会话,如通过 SSH 导出文件等操作。

  5. echo 'export VISIBLE=now' > /etc/profile: 添加环境变量 VISIBLE=now/etc/profile 文件。这一步似乎有些奇怪,因为 VISIBLE 变量并不是标准的 Linux 环境变量。可能是某种自定义的需求,具体作用取决于上下文。

  6. service ssh restart: 重启 SSH 服务,让上述改动生效。

宿主机上(不是服务器的docker里):
测试新建docker容器中哪个端口转发到了服务器的22端口

docker port [your_container_name] 22

可以看到是8028,跟之前创建容器时的对应上了。

ssh root@[your_host_ip] -p 8028

ssh测试连接时有时候会报错,所以在容器中查看一下ssh的配置文件

vim /etc/ssh/sshd_config

将PermitRootLogin的值从prohibit-password改为yes,X11UseLocalhost设置为no。

之后重新在服务器中ssh连接一下,输入密码就没问题了。

ssh root@[your_host_ip] -p 8028

pycharm%E4%B8%AD%E9%85%8D%E7%BD%AE%E7%8E%AF%E5%A2%83">三、在pycharm中配置环境

选择文件file–>setting设置—>找到python解析器



出现上图就说明pycharm中的ssh连通了。

要选择系统编译器,然后选择自己的python在哪个目录下,不知道的可以在容器里输入

which python


我的python文件在/opt/conda/bin/python,所以修改如下:

"Sync folders" 显示为 <Project root> -> /dasheng,这意味着 PyCharm 将把本地项目根目录与远程服务器上的 /dasheng 目录进行同步。

出现红色方框中的选项就说明没问题了,接下来就可以在pycharm中调用服务器里GPU进行训练了。


http://www.ppmy.cn/news/1527601.html

相关文章

CentOS中使用DockerCompose方式部署带postgis的postgresql(附kartoza/docker-postgis镜像下载)

场景 CentOS中使用Docker部署带postgis的postgresql&#xff1a; CentOS中使用Docker部署带postgis的postgresql_centos postgis插件在容器中如何安装-CSDN博客 上面使用Docker搜索和拉取kartoza/postgis时并没有任何限制。 当下如果不能科学上网时&#xff0c;大部分镜像源…

力扣150题——多维动态规划

交错字符串 题目 97. 交错字符串 - 力扣&#xff08;LeetCode&#xff09; 思路 用dp[i][j]代表s1的前i个字母和s2的前s2个字母能否交错组成s3的前ij-1的子串 状态转移方程即为 如果 s1[i-1] s3[i j - 1]&#xff0c;并且 dp[i-1][j] 为 true&#xff0c;则 dp[i][j] 也…

vmware中的ubuntu系统扩容分区

1.虚拟机关机 右击虚拟机/设置&#xff0c;进入虚拟机设置 3.启动虚拟机&#xff0c;进入命令行 4.fdisk -l查看要扩展的分区名 5.resize要扩容的分区 su root parted /dev/sda resizepart 3 100% fdisk -l resize2fs /dev/sda3 df -T完成 6.其他 进入磁盘管理 fdisk /d…

oracle 如何查询表被锁

在Oracle数据库中&#xff0c;查询表是否被锁可以通过多种方式实现。以下是一些常用的方法来查询Oracle数据库中的表锁情况&#xff1a; 1. 使用V$LOCKED_OBJECT视图 V$LOCKED_OBJECT是Oracle提供的动态性能视图&#xff0c;用于显示当前被锁定的对象信息。通过查询该视图&am…

XML_Tomcat_HTTP

第四章 XML_Tomcat10_HTTP 一 XML XML是EXtensible Markup Language的缩写&#xff0c;翻译过来就是可扩展标记语言。所以很明显&#xff0c;XML和HTML一样都是标记语言&#xff0c;也就是说它们的基本语法都是标签。 可扩展 三个字表面上的意思是XML允许自定义格式。但这不代…

使用 Istio 缓解电信 5G IoT 微服务 Pod 架构的安全挑战

在 Kubernetes 集群中部署微服务在 5G 电信中至关重要。但是&#xff0c;它也带来了重大的安全风险。虽然防火墙规则和代理提供了初始安全性&#xff0c;但 Kubernetes 中的默认通信机制&#xff08;例如未加密的网络流量和缺乏访问控制&#xff09;本质上是不安全的。这种不安…

《拿下奇怪的前端报错》:nvm不可用报错`GLIBC_2.27‘‘GLIBCXX_3.4.20‘not Found?+ 使用docker构建多个前端项目实践

有些前端的小伙伴可能会好奇&#xff0c;nvm是什么&#xff1f;这里接简单介绍下&#xff0c;它是一个Nodejs版本管理工具。为什么需要它呢&#xff1f;当然是需要多个Nodejs版本的时候&#xff0c;那什么时候需要多个Nodejs版本&#xff1f;那肯定是在有点年头的公司了&#x…

使用git命令

git add . git commit -m "commit message" 拉取 git pull origin <branch-name> 推送 git push origin <branch-name> 创建新分支 git branch <new-branch-name> # 切换到新分支 git checkout <new-branch-name> 合并分支 git mer…

区块链先驱孙宇晨:引领价值传播,激发行业创新活力

​孙宇晨&#xff0c;这位被誉为“区块链布道师”的年轻企业家&#xff0c;以其独特的愿景和行动力在区块链行业中脱颖而出。作为波场TRON的创始人&#xff0c;他不仅是区块链技术的倡导者&#xff0c;更是一位不懈推动行业发展的领导者。他通过自身的努力和影响力&#xff0c;…

C++ | Leetcode C++题解之第415题字符串相加

题目&#xff1a; 题解&#xff1a; class Solution { public:string addStrings(string num1, string num2) {int i num1.length() - 1, j num2.length() - 1, add 0;string ans "";while (i > 0 || j > 0 || add ! 0) {int x i > 0 ? num1[i] - 0 …

进程监控与管理详解

一、进程的定义: 进程process是正在运行的程序,包括: 分配的内存地址空间 安全属性、包括所有权和特权 一个或多个线程 进程状态 进程的环境包括: 本地和全局变量 当前调度上下文…

算法入门-贪心1

第八部分&#xff1a;贪心 409.最长回文串&#xff08;简单&#xff09; 给定一个包含大写字母和小写字母的字符串 s &#xff0c;返回通过这些字母构造成的最长的回文串 的长度。 在构造过程中&#xff0c;请注意 区分大小写 。比如 "Aa" 不能当做一个回文字符串…

清理C盘缓存的垃圾,专业清理C盘缓存垃圾的步骤与策略

在维护计算机系统的过程中&#xff0c;定期清理C盘&#xff08;通常是系统盘&#xff09;中的缓存和垃圾文件是一项至关重要的任务。这不仅能有效释放磁盘空间&#xff0c;提升系统性能&#xff0c;还能减少因磁盘空间不足导致的程序运行缓慢或错误。以下是一系列专业且安全的步…

在 Stable Diffusion 1.5 中 Lora, Dreambooth, Textual Inversion的详解指北

Lora, Dreambooth and Textual Inversion 说明 您是否想象过您可爱的宠物与埃菲尔铁塔合影的画面&#xff0c;或者想象过如何生成一张带有您朋友面孔的人工智能图像&#xff1f; 是的&#xff0c;通过稳定扩散技术的微调&#xff0c;这完全是可能的&#xff01; 创建这些场景…

LCR 023

题目&#xff1a;LCR 023 解法一&#xff1a;哈希表 将链表A所有元素放入Set中&#xff0c;遍历链表B元素&#xff0c;若某一元素在Set中存在&#xff0c;则该元素便是重复元素 public ListNode getIntersectionNode(ListNode headA, ListNode headB) {Set<Object> set …

万兆时代 TCP/IP如何赋能以太网飞跃

科技飞速发展&#xff0c;数据传输的需求日益增长&#xff0c;尤其是在物理、科研等领域&#xff0c;对数据传输的速度、稳定性和效率提出了更高的要求。在这样的背景下&#xff0c;万兆以太网&#xff08;10Gbit Ethernet&#xff09;以其高带宽、低延迟和强大的传输能力成为众…

Pybind11的使用

目录 1. 引言1.1 Pybind11 简介1.2 为什么需要 Pybind11 2. 使用 Pybind11 进行 C 与 Python 交互2.1 基本用法2.2 编译与生成共享库2.2.1 在 Linux 下编译2.2.2 在 macOS 下编译2.2.3 编译选项详解 2.3 在 Python 中使用编译后的模块 3. 高级用法与注意事项3.1 绑定类和复杂数…

Open3D 特征点匹配(Python)

文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 假设有两个点云,即源点云与目标点云,这里基于目标点云每个点的FPFH特征向量为基础构建kdtree,以此我们可以以源点云中的FPFH特征向量为查询点,获取每个查询点对应的最近特征点(即目标点云中的FPFH特征向量)。…

算法打卡:第九章 动态规划part11

今日收获&#xff1a;最长公共子序列&#xff0c;不相交的线&#xff0c;最大子序和&#xff0c;判断子序列 1. 最长公共子序列 题目链接&#xff1a;1143. 最长公共子序列 - 力扣&#xff08;LeetCode&#xff09; 思路&#xff1a; &#xff08;1&#xff09;dp[i][j]表示…

十,Spring Boot 的内容协商的详细剖析(附+Debug调试说明)

十&#xff0c;Spring Boot 的内容协商的详细剖析(附Debug调试说明) 文章目录 十&#xff0c;Spring Boot 的内容协商的详细剖析(附Debug调试说明)1. 基本介绍2. 准备工作3. 内容协商的本质4. 内容协商&#xff1a;注意事项和使用细节5. 总结&#xff1a;6. 最后&#xff1a; 1…