环境感知——自动驾驶模型训练（菜鸟版本）

server/2024/10/11 11:22:19/

简述

本文用仿真工具录制下训练数据后，存到本地CSV文件中，本文仅用方向盘转角速度进行训练。

代码示例采用Jupyter编码，如在其他编辑器运行问题，请使用Jupyter.

CSV文件中存储的数据如下：

  • "center","left","right","steering","throtlle","reverse","speed"
  • 中间摄像头图片路径，左侧摄像头图片路径，右侧摄像头图片路径，方向盘角度，油门，速度

模型训练过程

  1. 问题定义：

    • 明确待解决的任务类型（如分类、回归、聚类、推荐等）以及目标业务场景。
    • 设定具体目标，如提高预测准确性、降低误差、提升用户体验等。
    • 定义评估指标（如精度、召回率、AUC、RMSE等），用于量化模型性能。

  2. 数据收集：

    • 确定所需数据源，包括内部数据库、公开数据集、API接口、用户行为记录等。
    • 收集与问题相关且质量可靠的数据，并将其存储在合适的数据结构（如数据库、数据表、数据帧等）中。

  3. 数据预处理：

    • 数据清洗：去除重复项、修复格式错误、处理无效或不一致的数据。
    • 缺失值处理：通过填充（如使用平均值、中位数、众数、插值等方法）、删除含有缺失值的行/列或使用专门的缺失值插补技术来处理缺失数据。
    • 异常值检测与处理：识别并可能移除或修正数据集中偏离正常范围的观测值，可采用箱线图法、Z-score、IQR等方法。
    • 数据标准化/归一化：对数值特征进行尺度变换，如min-max scaling、z-score标准化等，以便不同特征间具有可比性。
    • 数据转换：根据需要进行特征编码（如独热编码、标签编码等）、特征提取（如PCA、LDA等）、特征交互（如多项式特征）等操作。
    • 数据采样：如果数据不平衡，可能需要进行过采样、欠采样或生成合成样本等以平衡类别分布。

  4. 特征选择与工程：

    • 根据领域知识和数据分析，选择与目标变量最相关的特征。
    • 创建新特征（衍生变量）以增强模型表现，可能涉及特征组合、统计计算、时间序列分析等。

  5. 模型选择：

    • 根据问题特性、数据规模、计算资源、解释性需求等因素，选择合适的机器学习算法或深度学习架构。
    • 常见模型包括线性回归、逻辑回归、决策树、随机森林、支持向量机、神经网络、AdaBoost、XGBoost、LightGBM等。

  6. 模型训练：

    • 将预处理后的数据集划分为训练集、验证集（有时还包括测试集），通常采用交叉验证以更稳健地估计模型性能。
    • 使用训练集对选定的模型进行参数调整和训练。这通常涉及使用优化算法（如梯度下降、Adam、L-BFGS等）迭代更新模型参数，以最小化预定的损失函数（如均方误差、交叉熵等）。

  7. 模型评估：

    • 在独立的验证集（或交叉验证折叠）上评估训练好的模型，计算预定义的评价指标（如精度、召回率、F1分数、AUC-ROC曲线、MAE、MSE等）。
    • 可视化关键指标、绘制学习曲线、计算特征重要性等，以深入理解模型性能和特征影响。

  8. 模型优化：

    • 调整模型超参数，通过网格搜索、随机搜索、贝叶斯优化等方法找到最优超参数组合。
    • 针对性能瓶颈尝试不同的正则化策略（如L1、L2正则化、dropout、early stopping等）减少过拟合风险。
    • 如果适用，尝试集成学习（如bagging、boosting、stacking等）提高模型泛化能力。

  9. 模型验证与部署：

    • 使用独立的测试集（如果有的话）对最终选定模型进行验证，确认其在未见过数据上的表现。
    • 将模型封装成API、嵌入应用程序或作为批处理作业集成到生产环境。
    • 实施监控系统，持续跟踪模型在实际应用中的性能，为未来模型更新或重新训练提供反馈。

  10. 后期维护与更新：

    • 定期评估模型在新数据上的表现，必要时重新训练或调整模型以适应数据变化。
    • 跟踪领域知识和算法进展，适时引入新技术或改进现有模型。

数据分析与预处理

 代码示例：

import numpy as np
import pandas as pd# 读取数据
data = pd.read_csv('driving_log.csv',names=["center","left","right","steering","throtle","reverse","speed"])# 数据展示
# 把方向盘的转角数据分成20份
counts,angle = np.histogram(data["steering"],20)
# angle有21个数据，把两次数据加在一起再求个平均，就只有20份数据了，这是中心点坐标
center = (angle[1:]+angle[:-1])/2
import matplotlib.pyplot as plt
# 柱状图展示自动驾驶数据分布情况:可以看出来角度为0直行的数据过多，需要进行剪裁
# plt.bar(center,counts,width=0.1)# 数据清洗：根据数据的分布规律，把结果一直一些特别多的训练数据给删除掉
# 过滤出直行的数据
# 记录所有的直行数据的位置信息
li = []
for i in range(0,len(data["steering"])):if data["steering"][i] == 0:li.append(i)# print(len(li))
# 画线，从中间切一刀
# plt.plot((-1,1),(300,300))
# plt.bar(center,counts,width=0.1)
# 洗牌操作，只保留300 条记录
np.random.shuffle(li)
rm_list = li[300:]
# np.drop 丢弃某些数据， 参数inplace=True： 在原来的数据集上操作
data.drop(rm_list, inplace=True)counts,angle = np.histogram(data["steering"],20)
# angle有21个数据，把两次数据加在一起再求个平均，就只有20份数据了，这是中心点坐标
center = (angle[1:]+angle[:-1])/2
plt.bar(center,counts,width=0.1)
info = data[["center","steering"]]
info.to_csv("info.csv")

数据集分割与准备

from sklearn.model_selection import train_test_split
import cv2
# 返回值：训练集、测试集、训练集结果、测试集结果
X_train,X_test,Y_train,Y_test = train_test_split(info["center"],info["steering"],test_size=0.2,random_state=23)
print(len(X_train),len(Y_test))
# 绘制转角数据直方图,用于查看数据集分布情况
plt.subplot(121)# 121:1行两列第一个
plt.hist(Y_train,20,width=0.1)
plt.subplot(122)# 121:1行两列第2个
plt.hist(Y_test,20,width=0.1)# 显示训练集中索引为2的图片
img = plt.imread(X_train.iloc[2])
# plt.imshow(img)# 图片预处理：图片
# 去掉引擎盖部分和天空部分，仅保留训练相关部分
img = img[60:135,:,:]
# 高斯模糊去除燥点
img = cv2.GaussianBlur(img,(3,3))
# 按照论文中，放入的图片尺寸为宽200*高66,YUV格式,YUV 格式很适合做图形分割与分类
img = cv2.resize(img,(200,66))
img = cv2.cvtColor(img,cv2.COLOR_RGB2YUV)# 图片预处理函数：宽高、颜色模式调整
def data_preprocessing(img_path):img = cv2.imread(img_path)img = img[60:135,:,:]img = cv2.GaussianBlur(img,(3,3),1)img = cv2.resize(img,(200,66))img = cv2.cvtColor(img,cv2.COLOR_RGB2YUV)return img# 绘图后对比原图和预处理后的图
random_index = np.random.randint(len(X_train))
src_img = plt.imread(X_train.iloc[random_index])
dst_img = data_preprocessing(X_train.iloc[random_indexa])
# 
plt.subplot(121)
plt.imshow(src_img)
plt.subplot(122)
plt.imshow(dst_img)plt.show()# 准备卷积神经网络CNN需要的训练数据
train_img = []
for i in range(0,len(X_train)):img = data_preprocessing(X_train.iloc[i])# 归一化操作img = img/255.0train_img.append(img)X_train_imgs = np.array(train_img)# 准备卷积神经网络CNN需要的训练数据
test_img = []
for i in range(0,len(X_test)):img = data_preprocessing(X_test.iloc[i])# 归一化操作img = img/255.0test_img.append(img)X_test_imgs = np.array(test_img)y_train = y_train.to_numpy()
y_test = y_test.to_numpy()

模型构建与训练

第一次训练

# 模型输出结果是-1 到 1的角度值，所以是回归问题。
# 回归问题用误差函数MSE，分类问题用的Sigmoidimport tensorflow as tf
# 线性模型库
model = tf.keras.Sequential()
# 卷积层
model.add(tf.keras.layers.Conv2D((24,(5,5),strides=(2,2),input_shape=(66,200),activation="relu"))model.add(tf.keras.layers.Conv2D((36,(5,5),strides=(2,2),activation="relu"))model.add(tf.keras.layers.Conv2D((48,(5,5),strides=(2,2),activation="relu"))model.add(tf.keras.layers.Conv2D((64,(3,3),activation="relu"))
model.add(tf.keras.layers.Conv2D((64,(3,3),activation="relu"))
model.add(tf.keras.layers.Flatten())model.add(tf.keras.layers.Dense(1164,activation="relu"))
model.add(tf.keras.layers.Dense(100,activation="relu"))
model.add(tf.keras.layers.Dense(50,activation="relu"))
model.add(tf.keras.layers.Dense(10,activation="relu"))
model.add(tf.keras.layers.Dense(1)) # 方向盘回归问题
model.summary()# 模型编译
model.compile(optimizer="rmsprop",loss="mse")
# 模型训练
history = model.fit(X_train_img,y_train,epochs=50,batch_size=128,validation_data=(X_test_img,y_test))# 展示训练集与验证集的损失比较
plt.plot(history.history["loss"])
plt.plot(history.history["val_loss"])
plt.legend(["train","test"])
plt.show()

模型参数调整

# 发现测试集表现不稳定，经常有尖锐的差距，说明模型训练过程中泛化能力差，可以增加随机取消神经元工作
# relu用于在数据集不大但模型参数很多，可能出现梯度消失模型不收敛的情况，需要换其他的激活函数# 线性模型库
model = tf.keras.Sequential()
# 卷积层
model.add(tf.keras.layers.Conv2D((24,(5,5),strides=(2,2),input_shape=(66,200),activation="elu"))# Dropout增加泛化能力，去除尖锐部分，减少训练过程中抖动情况
model.add(tf.keras.layers.Dropout(0.5))model.add(tf.keras.layers.Conv2D((36,(5,5),strides=(2,2),activation="elu"))
model.add(tf.keras.layers.Conv2D((48,(5,5),strides=(2,2),activation="elu"))# Dropout增加泛化能力，去除尖锐部分，减少训练过程中抖动情况
model.add(tf.keras.layers.Dropout(0.2))model.add(tf.keras.layers.Conv2D((64,(3,3),activation="elu"))
model.add(tf.keras.layers.Conv2D((64,(3,3),activation="elu"))
model.add(tf.keras.layers.Flatten())model.add(tf.keras.layers.Dense(1164,activation="elu"))
model.add(tf.keras.layers.Dense(100,activation="elu"))
model.add(tf.keras.layers.Dense(50,activation="elu"))# Dropout增加泛化能力，去除尖锐部分，减少训练过程中抖动情况
model.add(tf.keras.layers.Dropout(0.2))model.add(tf.keras.layers.Dense(10,activation="elu"))
model.add(tf.keras.layers.Dense(1)) # 方向盘回归问题
model.summary()# 模型编译
model.compile(optimizer="rmsprop",loss="mse")
# 模型训练
history = model.fit(X_train_img,y_train,epochs=50,batch_size=128,validation_data=(X_test_img,y_test))
model.save("model.h5")
# 展示训练集与验证集的损失比较
plt.plot(history.history["loss"])
plt.plot(history.history["val_loss"])
plt.legend(["train","test"])
plt.show()

模型测试 

test_index = np.random.randint(len(X_test_imgs))
models = tf.keras.models.load_model("model.h5")
result = models.predict(X_test_imgs[test_index].reshape(1,66,200,3))
predict_result = result[0][0]


http://www.ppmy.cn/server/16170.html

相关文章

mysql知识点梳理

mysql知识点梳理

mysql知识点梳理 一、InnoDB引擎中的索引策略，了解过吗？二、一条 sql 执行过长的时间，你如何优化，从哪些方面入手？三、索引有哪几种类型？四、SQL 约束有哪几种呢？五、drop、delete、truncate的区…
阅读更多...
设计模式- 模板方法模式（Template Method Pattern） 结构|原理|优缺点|场景|示例

设计模式- 模板方法模式（Template Method Pattern） 结构|原理|优缺点|场景|示例

设计模式（分类） 设计模式（六大原则） 创建型（5种） 工厂方法 抽象工厂模式 单例模式 建造者模式 原型模式 结构型（7种） 适配器…
阅读更多...
【深度学习-第5篇】使用Python快速实现CNN分类（模式识别）任务，含一维、二维、三维数据演示案例（使用pytorch框架）

【深度学习-第5篇】使用Python快速实现CNN分类（模式识别）任务，含一维、二维、三维数据演示案例（使用pytorch框架）

在之前的文章中介绍了CNN的图解入门，CNN的MATLAB分类实现，CNN的MATLAB回归实现。 卷积神经网络(Convolutional Neural Networ，简称CNN)是一种广泛应用于图像识别领域的深度学习算法。它通过模拟人类视觉系统的层次结构，可以自动提…
阅读更多...
2024年区块链链游即将迎来大爆发

2024年区块链链游即将迎来大爆发

随着区块链技术的不断发展和成熟，其应用领域也在不断扩展。其中，区块链链游（Blockchain Games）作为区块链技术在游戏行业中的应用，备受关注。2024年，区块链链游行业即将迎来爆发，这一趋势不容忽…
阅读更多...
2024/4/25 红外遥控代码

2024/4/25 红外遥控代码

51完结撒花&#xff01;&#xff01;&#xff01; 这块如果IR听不懂可以看看那个状态机的相关视频。 Int0.c #include <REGX52.H>void Int0_Init(void) {IT01;IE00;EX01;EA1;PX01; }//void Int0_Routine(void) interrupt 0 //{ // Num; //} Timer0.c #include …
阅读更多...
vue框架中的路由

vue框架中的路由

vue框架中的路由 一.VueRouter的使用&#xff08;52&#xff09;二.路由模块封装三.声明式导航 - 导航链接1.router-link-active类名2.router-link-exact-active类名3.声明式导航-自定义类名 四.查询参数传参五.动态路由传参方式查询参数传参 VS 动态路由传参 六.动态路由参数的…
阅读更多...
C#中=＞ “Lambda运算符”

C#中=＞ “Lambda运算符”

在C#中&#xff0c;> 符号被称为“Lambda运算符”或“Lambda箭头”。它用于连接Lambda表达式中的参数列表和表达式主体&#xff0c;表示函数的输入和输出关系。因此&#xff0c;Lambda运算符充当了将参数映射到表达式的箭头。 Lambda运算符的左侧是参数列表&#xff0c;它们…
阅读更多...
BFS解决八数码问题-java

BFS解决八数码问题-java

本文主要通过BFS广度优先搜索来解决八数码问题。 文章目录 前言 一、八数码 二、算法思路 1.思路模拟 2.实现思路 三、代码 1.代码如下&#xff1a; 2.读入数据 3.代码运行结果 总结 前言 本文主要通过BFS广度优先搜索来解决八数码问题。 提示&#xff1a;以下是本篇文章正文内…
阅读更多...
最新文章

Copyright @ 2022~2023