涉及Python环境配置、深度学习框架安装、常用数据处理和分析库、以及Python IDE的选择等内容。
1. Anaconda 安装与配置
• Anaconda Individual Edition:Anaconda 是一个开源平台,旨在简化数据科学的工作流程,提供了 Python 和超过 150 个科学计算包。它包含了 conda 包管理器,可以帮助用户轻松安装和管理不同的 Python 包和环境。
(1)Anaconda 的优势
• 提供了 Python 和常用的数据科学库(如 NumPy、Pandas、Matplotlib 等)的预配置安装。
• 支持 Python 2 和 Python 3 的环境管理,能够创建独立的环境来进行不同项目的开发。
(2) 环境配置
安装 Anaconda 后,需要进行环境变量配置,确保能够从命令行访问 Anaconda 提供的工具和环境。
• 创建、激活和删除环境:
• conda create -n <env_name> python=<version> 创建新环境。
• conda activate <env_name> 激活环境,conda deactivate 退出当前环境。
• conda remove -n <env_name> --all 删除环境。
2. GPU 配置与 PyTorch 安装
(1)GPU配置
• 安装显卡驱动 : https://www.nvidia.cn/drivers/lookup/
• 安装CUDA toolkit: https://developer.nvidia.com/cuda-toolkit-archive
• 安装加速包cuDNN : https://developer.nvidia.com/cudnn-download-survey
• (参考文章: https://blog.csdn.net/u013250861/article/details/135492064)
(2)PyTorch 安装
• 提供了根据不同操作系统、Python 版本和 CUDA 版本安装 PyTorch 的方法。
(https://pytorch.org/get-started/locally/)PyTorch 官方网站
• 建议使用 whl 文件进行离线安装,避免命令行安装速度慢的问题。https://zstar.blog.csdn.net/article/details/114783633
• PyTorch 验证:安装完成后,通过以下代码检查 PyTorch 是否安装正确,以及是否支持 CUDA 加速:
import torch
print(torch.__version__)
print('CUDA available:', torch.cuda.is_available())
如果 PyTorch 安装正确,上述代码将打印出 PyTorch 的版本号,并显示 CUDA 是否可用。
3.Anaconda安装
(1)创建conda环境
• conda create -n your_env_name python=X.X(2.7、3.6..)
• conda activate your_env_name (激活环境)
• conda remove -n your_env_name –all % Removing the environment
• conda deactivate % Exit Environment
(2)查看conda环境
• conda info –e (查看你所创建的所有conda环境)
• conda list (查看当前conda环境下安装的python库)
(3)pip install安装第三方库
• pip list 列出当前 Python 环境中已安装的所有包及其版本号
• pip install <package name> 安装指定的包及其依赖项
• pip install -r requirements.txt
根据 requirements.txt 文件中列出的包和版本号,批量安装所有依赖的包
• pip uninstall <package name> 卸载指定的包
• pip install -U <package name> 升级指定包到最新版本
• pip freeze > ./requirements.txt
将当前环境中已安装的所有包及其版本号输出到 requirements.txt 文件中
常见问题:
time-out:换源 -i https://pypi.tuna.tsinghua.edu.cn/simple
如果你只需要处理 Python 环境中的库,使用 pip 就足够了;但如果你需要更强的依赖管理和环境隔离功能,尤其是在数据科学和深度学习领域,conda 是更好的选择
(1)安装包在命令窗口中键入:conda install package_name
eg: 要安装 pandas,在命令窗口中输入:conda install pandas
(2)卸载包在命令窗口中键入 :conda remove package_names
eg: conda remove pandas3)
(3)更新包在命令窗口中键入:conda update package_name
最常用的pandas,和numpy都是已经安装好了的,不用再重复安装啦
4. 常用 Python 库
(1) 数据处理:
• NumPy:Python 中用于科学计算的基础包,提供多维数组对象和丰富的数组操作功能。
• Pandas:主要用于数据清洗、分析和操作,提供灵活的数据结构(如 DataFrame 和 Series),常用于处理表格型数据。
(2) 数据可视化:
• Matplotlib:Python 2D 绘图库,用于生成高质量的图形。
• Seaborn:构建于 Matplotlib 之上,提供更简洁的接口进行数据可视化,特别适合统计数据的可视化。
(3) 机器学习:
• Scikit-learn:Python 中的机器学习库,涵盖了数据预处理、模型训练、分类、回归、聚类、降维等多种机器学习任务。(https://scikit-learn.org/stable/)
• PyTorch:深度学习框架,提供构建和训练神经网络的功能,特别适合研究和开发深度学习模型。(https://pytorch.org/)
(4) 网络爬虫:
• requests:用于发送 HTTP 请求,获取网页内容。
• BeautifulSoup:用于解析 HTML 和 XML,适合网页数据抓取。
• Selenium:浏览器自动化工具,可以模拟用户与浏览器的交互,常用于动态网页的爬取。
5. IDE 的选择
• Pycharm:功能强大的 Python IDE,适合大规模 Python 项目的开发。
• Jupyter Notebook:交互式的开发环境,特别适合数据科学、机器学习模型的实验和调试。
• Spyder:一个专为科学计算设计的 Python IDE,适合数据分析和数值计算。
• VS Code:轻量级、可扩展的代码编辑器,支持 Python 开发。
6. 文献翻译与语法检查工具
• Zhiyun 文献:提供中文文献资源,便于查阅研究材料。www.zhiyunwenxian.cn
• DeepL 翻译:用于翻译英文文献。https://www.deepl.com/translator
• Grammarly:英语语法检查工具。• https://app.grammarly.com/