用Python开启人工智能之旅（四）深度学习的框架和使用方法

ops/2024/12/26 3:35:01/

第四部分：深度学习的框架和使用方法

在这里插入图片描述

用Python开启人工智能之旅（一）Python简介与安装

用Python开启人工智能之旅（二）Python基础

用Python开启人工智能之旅（三）常用的机器学习算法与实现

用Python开启人工智能之旅（四）常用的机器学习算法与实现

用Python开启人工智能之旅（五）AI项目实战中Python基础

深度学习作为机器学习的一个分支，涉及到大量的计算和模型训练。在Python中，众多深度学习框架和包为开发者提供了高效的计算资源和灵活的模型构建方式。在这一部分，我们将介绍常用的深度学习框架，并展示如何使用它们实现各种深度学习任务。

主要包括以下内容：

  1. TensorFlow与Keras
  2. PyTorch
  3. MXNet
  4. Theano
  5. 深度学习常用工具包
4.1 TensorFlow与Keras

TensorFlow是由Google开发的开源深度学习框架，广泛应用于图像识别、自然语言处理等领域。TensorFlow原生支持分布式计算，并具有强大的社区支持。Keras是TensorFlow的高级API，简化了模型的构建与训练过程，使得深度学习变得更加容易。

  • TensorFlow：用于模型的定义、训练和评估，支持低级别的控制与优化。
  • Keras：提供高级API，构建深度学习模型更加直观和简洁。
4.1.1 安装TensorFlow与Keras

在使用TensorFlow之前，首先需要安装TensorFlow包。Keras已经集成在TensorFlow中，因此安装TensorFlow就能使用Keras。

pip install tensorflow
4.1.2 TensorFlow与Keras实现基本模型

下面是一个使用Keras构建和训练简单神经网络的例子。

python">import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import OneHotEncoder
import numpy as np# 加载数据
iris = load_iris()
X = iris.data
y = iris.target
y = np.expand_dims(y, axis=1)# 数据预处理
encoder = OneHotEncoder(sparse=False)
y = encoder.fit_transform(y)# 拆分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)# 创建简单的神经网络模型
model = Sequential()
model.add(Dense(10, input_dim=4, activation='relu'))  # 隐藏层
model.add(Dense(3, activation='softmax'))  # 输出层，3个分类# 编译模型
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])# 训练模型
model.fit(X_train, y_train, epochs=100, batch_size=10, verbose=1)# 测试模型
_, accuracy = model.evaluate(X_test, y_test)
print(f'Accuracy: {accuracy * 100:.2f}%')
4.2 PyTorch

PyTorch是由Facebook开发的深度学习框架，以其动态计算图和强大的GPU支持而闻名。它具有灵活性和易于调试的特点，广泛应用于学术研究和工业实践中。与TensorFlow不同，PyTorch使用动态图，这使得它更容易调试和修改模型。

4.2.1 安装PyTorch
pip install torch torchvision
4.2.2 PyTorch实现基本模型

下面是一个使用PyTorch构建简单神经网络并进行训练的示例。

python">import torch
import torch.nn as nn
import torch.optim as optim
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import OneHotEncoder
import numpy as np# 加载数据
iris = load_iris()
X = iris.data
y = iris.target
y = np.expand_dims(y, axis=1)# 数据预处理
encoder = OneHotEncoder(sparse=False)
y = encoder.fit_transform(y)# 转换为Tensor
X = torch.tensor(X, dtype=torch.float32)
y = torch.tensor(y, dtype=torch.float32)# 创建训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)# 定义神经网络模型
class SimpleNN(nn.Module):def __init__(self):super(SimpleNN, self).__init__()self.layer1 = nn.Linear(4, 10)  # 输入层到隐藏层self.layer2 = nn.Linear(10, 3)  # 隐藏层到输出层def forward(self, x):x = torch.relu(self.layer1(x))x = self.layer2(x)return x# 初始化模型
model = SimpleNN()# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)# 训练模型
for epoch in range(100):model.train()optimizer.zero_grad()outputs = model(X_train)loss = criterion(outputs, torch.max(y_train, 1)[1])  # 使用CrossEntropyLossloss.backward()optimizer.step()if (epoch + 1) % 10 == 0:print(f'Epoch [{epoch+1}/100], Loss: {loss.item():.4f}')# 测试模型
model.eval()
with torch.no_grad():outputs = model(X_test)_, predicted = torch.max(outputs.data, 1)_, labels = torch.max(y_test, 1)accuracy = (predicted == labels).sum().item() / len(y_test)print(f'Accuracy: {accuracy * 100:.2f}%')
4.3 MXNet

MXNet是一个高效的深度学习框架，由Apache基金会管理，支持分布式计算并可以部署在多个平台。MXNet的特点是灵活性和高效性，支持多种语言接口，包括Python、Scala、Julia和R。

4.3.1 安装MXNet
pip install mxnet
4.3.2 MXNet实现基本模型

以下是一个使用MXNet实现简单神经网络的示例：

python">import mxnet as mx
from mxnet import nd, gluon, autograd
from mxnet.gluon import nn
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import OneHotEncoder
import numpy as np# 加载数据
iris = load_iris()
X = iris.data
y = iris.target
y = np.expand_dims(y, axis=1)# 数据预处理
encoder = OneHotEncoder(sparse=False)
y = encoder.fit_transform(y)# 转换为NDArray
X = nd.array(X)
y = nd.array(y)# 拆分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)# 定义网络结构
class SimpleNN(gluon.nn.Block):def __init__(self, **kwargs):super(SimpleNN, self).__init__(**kwargs)self.dense0 = nn.Dense(10, activation='relu')self.dense1 = nn.Dense(3, activation='softmax')def forward(self, x):x = self.dense0(x)x = self.dense1(x)return x# 初始化模型
model = SimpleNN()
model.initialize(mx.init.Xavier(), ctx=mx.cpu())# 定义损失函数和优化器
loss_fn = gluon.loss.SoftmaxCrossEntropyLoss()
optimizer = gluon.Trainer(model.collect_params(), 'adam')# 训练模型
for epoch in range(100):with autograd.record():output = model(X_train)loss = loss_fn(output, y_train)loss.backward()optimizer.step(len(X_train))if (epoch + 1) % 10 == 0:print(f'Epoch [{epoch+1}/100], Loss: {loss.mean().asscalar():.4f}')# 测试模型
output = model(X_test)
accuracy = (nd.argmax(output, axis=1) == nd.argmax(y_test, axis=1)).mean().asscalar()
print(f'Accuracy: {accuracy * 100:.2f}%')
4.4 Theano

Theano是一个深度学习框架，早期由蒙特利尔大学开发，并为深度学习的研究提供了强大的支持。尽管现在Theano的开发已停止，但它仍然在许多学术研究中被使用。

4.4.1 安装Theano
pip install theano
4.4.2 Theano实现基本模型

以下是一个使用Theano实现简单神经网络的例子：

python">import numpy as np
import theano
import theano.tensor as T
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import OneHotEncoder# 加载数据
iris = load_iris()
X = iris.data
y = iris.target
y = np.expand_dims(y, axis=1)# 数据预处理
encoder = OneHotEncoder(sparse=False)
y = encoder.fit_transform(y)# 定义输入和输出变量
X_tensor = T.dmatrix('X')
y_tensor = T.dmatrix('y')# 定义权重和偏置
W = theano.shared(np.random.randn(4, 3), name='W')
b = theano.shared(np.zeros(3), name='b')# 定义模型输出
output = T.nnet.softmax(T.dot(X_tensor, W) + b)# 定义损失函数
loss = T.mean(T.nnet.categorical_crossentropy(output, y_tensor))# 定义梯度和更新规则
grad_W, grad_b = T.grad(loss, [W, b])
learning_rate = 0.01
update_W = W - learning_rate * grad_W
update_b = b - learning_rate * grad_b# 定义训练函数
train = theano.function(inputs=[X_tensor, y_tensor], outputs=loss, updates=[(W, update_W), (b, update_b)])# 训练模型
for epoch in range(100):loss_val = train(X, y)if (epoch + 1) % 10 == 0:print(f'Epoch [{epoch+1}/100], Loss: {loss_val:.4f}')
4.5 深度学习常用工具包
  • NumPy：深度学习中的基础工具，用于矩阵运算和数组操作。
  • Pandas：用于数据处理和分析，帮助组织数据集。
  • Matplotlib/Seaborn：可视化工具，帮助展示训练过程中的损失值、准确率等指标。
  • Scikit-learn：用于数据预处理、评估、模型选择等。

这些工具包在深度学习项目中通常会与TensorFlow、PyTorch等框架一起使用，提供了丰富的支持和功能。

总结

在本部分中，介绍了常见的深度学习框架，包括TensorFlow、Keras、PyTorch、MXNet和Theano，并提供了使用这些框架实现基础深度学习模型的示例。这些框架为深度学习模型的构建、训练和部署提供了强大的支持，可以根据个人的需求和项目特点选择合适的工具包。

用Python开启人工智能之旅（一）Python简介与安装

用Python开启人工智能之旅（二）Python基础

用Python开启人工智能之旅（三）常用的机器学习算法与实现

用Python开启人工智能之旅（四）常用的机器学习算法与实现

用Python开启人工智能之旅（五）AI项目实战中Python基础

了解更多关于AI算法Python实现文章，欢迎关注这个专栏！ 点击进入：AI算法Python实现

本文为原创内容，未经许可不得转载。


http://www.ppmy.cn/ops/145016.html

相关文章

探索 Samba 服务器：搭建跨平台文件共享的桥梁

探索 Samba 服务器：搭建跨平台文件共享的桥梁

samba 介绍 samba最先是再Linux和Windows两个平台之间建立一个桥梁，使得Linux系统和Windows系统之间互相通信和传输内容,比如复制文件、实现不同操作系统之间的资源共享等。在实际应用中，可以将samba服务器设置成一个功能非常强大的文件服务器。 SMB协…
阅读更多...
Java爬虫获取1688关键字接口详细解析

Java爬虫获取1688关键字接口详细解析

概述 在电商领域，获取商品信息和价格对于市场分析、价格监控和供应链管理至关重要。1688作为中国领先的B2B电商平台，提供了海量的商品数据。本文将详细介绍如何利用Java爬虫技术合法合规地获取1688商品关键字接口数据。 前期准备 Java开发环境&#x…
阅读更多...
计算机网络：IP地址相关知识总结

计算机网络：IP地址相关知识总结

目录 一、IP地址的表现形式 1.1 十进制表示形式 1.2 二进制表示形式 1.3 转换示例介绍 二、IP地址的组成 2.1 网络ID 2.2 主机ID 2.3 示例 三、IP地址的分类 3.1 A类地址 3.2 B类地址 3.3 C类地址 3.4 D类地址 3.5 E类地址 四、常见的特殊IP地址 五、IP地址二进…
阅读更多...
ABAQUS纤维混凝土细观模型基于梁单元建模

ABAQUS纤维混凝土细观模型基于梁单元建模

钢纤维混凝土（SFRC）弥补了素混凝土抗裂性的不足，为建立钢纤维混凝土的力学本构模型，本案例通过CAD随机纤维3D插件建立随机分布的纤维线模型，并将模型导入ABAQUS内，通过梁单元纤维模型，研究细观纤…
阅读更多...
配置清晰，nignx http tcp 代理 已经websocket

配置清晰，nignx http tcp 代理 已经websocket

启动 docker run -it --name lv_ocr --privilegedtrue --restartalways --nethost -v $(pwd)/config/nginx.conf:/etc/nginx/nginx.conf -v $(pwd)/config/conf.d:/etc/nginx/conf.d -d harbor.jettech.com/jettechtools/nginx:1.21.4 [rootit4it-prd-99 config]# ls conf.d…
阅读更多...
web越权简介

web越权简介

横向越权（Horizontal Privilege Escalation）和 纵向越权（Vertical Privilege Escalation）是常见的授权和访问控制漏洞。它们都涉及到用户对其不应该访问的资源或操作的访问。下面将详细解释这两种越权类型，并通过案例说…
阅读更多...
7. petalinux 根文件系统配置（package group）

7. petalinux 根文件系统配置（package group）

根文件系统配置（Petalinux package group） 当使能某个软件包组的时候，依赖的包也会相应被使能，解决依赖问题，在配置页面的help选项可以查看需要安装的包 每个软件包组的功能: packagegroup-petalinux-audio包含与音…
阅读更多...
探索 Python编程 调试案例：配置日志记录器查看程序运行bug

探索 Python编程 调试案例：配置日志记录器查看程序运行bug

在 Python 编写程序的过程中，调试和日志查看是确保程序正确运行、快速定位错误以及理解程序执行流程的关键技能。无论是初学者还是经验丰富的开发者，都会在代码编写过程中遇到各种意想不到的问题，而有效的调试和程序运行日志记录能够大大提高…
阅读更多...
最新文章

Copyright @ 2022~2023