OpenPCDet安装、使用方式及自定义数据集训练

news/2024/11/24 14:06:37/

OpenPCDet安装、使用方式及自定义数据集训练

个人博客

OpenPCDet安装

# 先根据自己的cuda版本，安装对应的spconv
pip install spconv-cu113# 下载OpenPCDet并安装
git clone https://github.com/open-mmlab/OpenPCDet.git
cd OpenPCDet
pip install -r requirements.txt 
python setup.py develop# 安装open3d（可视化工具）（推荐）
pip install open3d# （可选）安装mayavi（可视化工具）
pip install vtk
pip install mayavi
pip install PyQt5

安装完，就可以运行demo.py，测试一下。（需要准备好模型和数据文件）

python demo.py --cfg_file cfgs/kitti_models/pv_rcnn.yaml --ckpt pv_rcnn_8369.pth --data_path ../data/kitti/testing/velodyne/000001.bin

如果出现SharedArray相关的错误的话，可以适当的降低其版本。例如pip install -U SharedArray==3.1

注意，demo.py运行成功需要在具有显示设备的条件下，如果只有终端的话是无法运行成功的。

KITTI数据集训练

首先需要准备KITTI数据集，为了快速训练演示，选取100个数据进行训练。将数据集按照以下目录格式存放。

OpenPCDet
├── data
│   ├── kitti
│   │   │── ImageSets
│   │   │── training
│   │   │   ├──calib & velodyne & label_2 & image_2 & (optional: planes) & (optional: depth_2)
│   │   │── testing
│   │   │   ├──calib & velodyne & image_2
├── pcdet
├── tools

ImageSets中存在train.txt val.txt test.txt文本，其内容为训练、验证和测试使用的数据。

运行下面的代码以生成infos，生成的文件可在data/kitti找到。

python -m pcdet.datasets.kitti.kitti_dataset create_kitti_infos tools/cfgs/dataset_configs/kitti_dataset.yaml

openPCDet的可训练网络配置（KITTI数据集）存放在cfgs/kitti_models目录下。以pv_rcnn训练为例，由于本次没有使用planes数据，将pv_rcnn.yaml中的USE_ROAD_PLANE改成False。之后在tools目录下运行下面代码即可进行训练。

python train.py --cfg_file cfgs/kitti_models/pv_rcnn.yaml --batch_size 1 --workers 1 --epochs 10

在这里插入图片描述

训练结束后可以在output/kitti_models目录中找到模型文件。

训练注意事项—train.py（以KITTI数据集为例）

  1. 如果不指定具体的ckpt，train.py中会默认加载最新的ckpt。换句话说，如果上一次训练pv_rcnn网络的epochs为5，得到了5个ckpt，下一次训练pv_rcnn的时候没有指定ckpt且epochs值小于等于5，那么就不会进入训练而是直接进入eval。如果本次epochs为大于5的值，则会接着epochs=5的ckpt训练。

    # trian.py中的相关代码
# 如果ckpt不为None的话，就加载该ckpt，并从指定ckpt的epoch开始训练
if args.ckpt is not None:it, start_epoch = model.load_params_with_optimizer(args.ckpt, to_cpu=dist_train, optimizer=optimizer, logger=logger)last_epoch = start_epoch + 1
else:# 如果为None的话，会默认加载最新的ckptckpt_list = glob.glob(str(ckpt_dir / '*.pth'))if len(ckpt_list) > 0:# 按时间进行排序ckpt_list.sort(key=os.path.getmtime)while len(ckpt_list) > 0:try:it, start_epoch = model.load_params_with_optimizer(ckpt_list[-1], to_cpu=dist_train, optimizer=optimizer, logger=logger)last_epoch = start_epoch + 1breakexcept:ckpt_list = ckpt_list[:-1]

  2. max_ckpt_save_num参数代表最大保存ckpt的数量。如果当前ckpt的数量多于最大保存ckpt数量，那么会删除几个时间最早的ckpt。默认为30.

    # train_utils.py中的相关代码
ckpt_list = glob.glob(str(ckpt_save_dir / 'checkpoint_epoch_*.pth'))
ckpt_list.sort(key=os.path.getmtime)# 如果当前ckpt的数量多于最大保存ckpt数量，那么会删除几个时间最早的ckpt
if ckpt_list.__len__() >= max_ckpt_save_num:for cur_file_idx in range(0, len(ckpt_list) - max_ckpt_save_num + 1):os.remove(ckpt_list[cur_file_idx])

  3. ckpt_save_time_interval参数代表每隔{ckpt_save_time_interval}秒保存一次ckpt。默认为300

  4. train.py中的eval使用的数据集是kitti_dataset.yaml中的test值。默认配置下，kitti_dataset.yaml中test值为val，如下面代码所示：

    # kitti_dataset.yaml
"""
总得来说，在训练的时候'train'和'test'分别对应训练集和验证集；在测试的时候'test'对应测试集。
所以需要根据训练和测试任务更换test的配置。
"""# 需要加载的文件名称，默认为train.txt val.txt
DATA_SPLIT: {'train': train,'test': val
}# 需要加载的pkl文件 可以设置多个
INFO_PATH: {'train': [kitti_infos_train.pkl],'test': [kitti_infos_val.pkl],
}

如果想要修改val数据集，就需要修改DATA_SPLIT和INFO_PATH中的test值。

  1. num_epochs_to_eval参数代表只评估最后{num_epochs_to_eval}个epoch。比如当num_epochs_to_eval为1的时候，总epochs为5，那么只会评估后面4个epoch。默认为0，也就是每个epoch都评估。

  2. build_dataloader函数中

    # 使用变量 dataset_cfg.DATASET 中指定的数据集类型，创建一个数据集对象 dataset
# 如果dataset_cfg.DATASET为KittiDataset，那么返回的dataset为kitti_dataset.py中的KittiDataset类型
dataset = __all__[dataset_cfg.DATASET](dataset_cfg=dataset_cfg,class_names=class_names,root_path=root_path,training=training,logger=logger,
)

  3. cfg_from_yaml_file函数将网络yaml和数据集yaml合并在一起，如果存在相同的key，则用网络yaml相应的val替换。因此如果网络yaml和数据集yaml中存在相同类型的配置，比如数据增强，那么最终训练使用的配置是网络yaml中的配置。实现这部分的相关代码可以在config.py中找到。

测试注意事项—test.py（以KITTI数据集为例）

  1. 运行test.py使用的测试数据集可以在kitti_dataset.yaml中的DATA_SPLIT和INFO_PATH找到相关配置。其中，它加载的测试数据集是INFO_PATH中的test值，这个值是一个列表，里面可以填多个.pkl文件，这部分的加载代码可以在kitti_dataset.py的include_kitti_data函数中找到；DATA_SPLIT中的test值默认为val，表示加载val.txt。

    所以说如果想要修改测试数据集就需要修改DATA_SPLIT和INFO_PATH中的test值。

    # kitti_dataset.yaml
"""
总得来说，在训练的时候'train'和'test'分别对应训练集和验证集；在测试的时候'test'对应测试集。
所以需要根据训练和测试任务更换test的配置。
"""
# 需要加载的文件名称，默认为train.txt val.txt
DATA_SPLIT: {'train': train,'test': val
}# 需要加载的pkl文件 可以设置多个
INFO_PATH: {'train': [kitti_infos_train.pkl],'test': [kitti_infos_val.pkl],
}

demo.py和open3d_vis_utils.py分析（以KITTI数据集为例）

  1. 使用Demo.py时，如果传入数据集参数时文件夹，则会获取文件夹所有符合后缀条件（.bin/.npy）的文件。

  2. 模型预测结果pred_dicts是一个列表，列表元素为字典，字典包含’pred_boxes’, ‘pred_scores’, 'pred_labels’三个键。

  3. 在open3d_vis_utils.py开头加入下面代码，目的是方式警告。不知道是什么原因，使用的时候一直会报颜色设置错误的警告。

    # 关闭警告
open3d.utility.set_verbosity_level(open3d.utility.VerbosityLevel.Error)

  4. 在draw_box函数中可以得到box3d，它是OrientedBoundingBox类型，所以可以通过get_box_points、get_center等函数获得相应的点坐标。

  5. 可以在draw_box函数中加入下面代码，功能是给方框标记中心点，中心点的颜色与方框相同。

    # 给方框标记中心点
if center:sphere_center = open3d.geometry.TriangleMesh.create_sphere(radius=0.1)sphere_center.paint_uniform_color(box_colormap[ref_labels[i]])sphere_center.translate(box3d.get_center())vis.add_geometry(sphere_center)

  6. 可以在open3d_vis_utils.py中添加下面的代码用于绘制POINT_CLOUD_RANGE。如图所示，红色框为点云边界框。

    # 根据最大边界点和最小边界点画出方框---在这里是用于画POINT_CLOUD_RANGE的，该参数配置于voxset.yaml
min_bound = [0, -39.68, -3]
max_bound = [69.12, 39.68, 1]
bbox = open3d.geometry.AxisAlignedBoundingBox(min_bound, max_bound)
bbox_lines = open3d.geometry.LineSet.create_from_axis_aligned_bounding_box(bbox)
bbox_lines.paint_uniform_color([1, 0, 0])
vis.add_geometry(bbox_lines)

在这里插入图片描述

使用自定义数据集进行训练

官方教程

准备数据集

首先需要按照官方教程创建文件目录，如下所示。

OpenPCDet
├── data
│   ├── custom
│   │   │── ImageSets
│   │   │   │── train.txt
│   │   │   │── val.txt
│   │   │── points
│   │   │   │── 000000.npy
│   │   │   │── 999999.npy
│   │   │── labels
│   │   │   │── 000000.txt
│   │   │   │── 999999.txt
├── pcdet
├── tools

使用SUSTechPOINTS标注完后会得到json格式的标签文件，我们需要提取有用的内容再保存成txt格式。

OpenPCDet支持的自定义label文件格式如下所示

# format: [x y z dx dy dz heading_angle category_name]
1.50 1.46 0.10 5.12 1.85 4.13 1.56 Vehicle
5.54 0.57 0.41 1.08 0.74 1.95 1.57 Pedestrian

其中最后一个heading_angle，就是json标签文件中的rotation的z值。不过这个地方需要确保自己点云坐标系（激光雷达坐标系）与OpenPCDet中规定的坐标系是一致的，不然还需要转换成OpenPCDet坐标系。

在这里插入图片描述

可以使用下面这个函数实现将json格式的标签文件转换成符合OpenPCDet训练的标签文件。

def json_to_txt(json_path, txt_path):"""将json文件转化成符合OpenPCDet训练的标签文件json_path: json文件所在目录txt_path： 生成txt文件目录"""json_list = os.listdir(json_path)for json_name in json_list:json_file = os.path.join(json_path, json_name)with open(json_file, 'r') as f:data = json.load(f)label_list = []for obj_dict in data:label_name = obj_dict["obj_type"]pos_xyz = obj_dict["psr"]["position"]rot_xyz = obj_dict["psr"]["rotation"]scale_xyz = obj_dict["psr"]["scale"]temp = ""for xyz_dict in [pos_xyz, scale_xyz]:for key in ["x", "y", "z"]:temp += str(xyz_dict[key])temp += " "temp += str(rot_xyz["z"]) + " " + str(label_name) + "\n"label_list.append(temp)txt_name = json_name.split(".")[0] + ".txt"with open(os.path.join(txt_path, txt_name), "w") as f:for label in label_list:f.write(label)

除了需要转换标签文件，还需要将pcd格式的点云转换成npy格式。可以使用下面的函数实现。

def pcd_to_npy(pcd_path, npy_path):"""将pcd文件转换成npy文件pcd_path: pcd格式点云目录npy_path: npy格式点云输出目录"""pcd_list = os.listdir(pcd_path)for pcd_name in pcd_list:pcd_file = os.path.join(pcd_path, pcd_name)lidar = []pcd = o3d.io.read_point_cloud(pcd_file)points = np.array(pcd.points)for linestr in points:if len(linestr) == 3:  # only x,y,zlinestr_convert = list(map(float, linestr))linestr_convert.append(0)lidar.append(linestr_convert)if len(linestr) == 4:  # x,y,z,ilinestr_convert = list(map(float, linestr))lidar = np.array(lidar).astype(np.float32)np.save(os.path.join(npy_path, pcd_name[:-4]+".npy"), lidar)

可以使用下面的函数快速生成train.txt和val.txt

def get_train_val_txt(src_path, dst_path, num_of_train):"""src_path: 标签文件目录dst_path: 输出文件目录num_of_train: 训练集样本数量"""src_list = os.listdir(src_path)random.shuffle(src_list)with open(os.path.join(dst_path, "train.txt"), 'w') as f:for index in range(num_of_train):f.write(src_list[index].split(".")[0])f.write('\n')with open(os.path.join(dst_path, "val.txt"), 'w') as f:for index in range(num_of_train, len(src_list)):f.write(src_list[index].split(".")[0])f.write('\n')

将npy点云、txt标签、train.txt和val.txt放到指定目录下。修改custom_dataset.py，需要根据自己数据集修改分类类别。

在这里插入图片描述

修改custom_dataset.yaml。主要关注以下内容：

# 与KITTI数据集映射   左边是自己数据集   右边是KITTI数据集
# 这个地方只会在eval阶段会用到，所以如果自己不需要eval的话可以不加
MAP_CLASS_TO_KITTI: {# 'Vehicle': 'Car''Pedestrian': 'Pedestrian','BicycleRider': 'Cyclist',
}

# 需要与自己的点云数据格式对应，一般不需要改
POINT_FEATURE_ENCODING: {encoding_type: absolute_coordinates_encoding,used_feature_list: ['x', 'y', 'z', 'intensity'],src_feature_list: ['x', 'y', 'z', 'intensity'],
}

DATA_AUGMENTOR:DISABLE_AUG_LIST: ['placeholder']AUG_CONFIG_LIST:- NAME: gt_samplingUSE_ROAD_PLANE: FalseDB_INFO_PATH:- custom_dbinfos_train.pklPREPARE: {# 需要改成自己的数据集类别filter_by_min_points: ['Pedestrian:5', 'BicycleRider:5'],# filter_by_difficulty: [-1], # 这个地方如果不注释的话训练可能会报错，可以自己尝试一下}# 需要改成自己的数据集类别SAMPLE_GROUPS: [Pedestrian:15', 'BicycleRider:15']NUM_POINT_FEATURES: 4DATABASE_WITH_FAKELIDAR: FalseREMOVE_EXTRA_WIDTH: [0.0, 0.0, 0.0]LIMIT_WHOLE_SCENE: True

最后在命令行运行下面命令。如果不报错的话就可以得到训练数据集了。

python -m pcdet.datasets.custom.custom_dataset create_custom_infos tools/cfgs/dataset_configs/custom_dataset.yaml

修改网络yaml配置文件

# 要改成自己的类别
CLASS_NAMES: ['Pedestrian', 'BicycleRider']

# 需要修改成custom_dataset.yaml
_BASE_CONFIG_: cfgs/dataset_configs/custom_dataset.yaml
# 点云范围 [x_min, y_min, z_min, x_max, y_max, z_max]
# 需要和VOXEL_SIZE满足倍数关系。X和Y轴与体素需要满足16倍的关系。详细配置可以看官方教程。
POINT_CLOUD_RANGE: [0, -15.36, -2, 15.36, 15.36, 2]

# 按照自己数据集修改
DATA_AUGMENTOR:DISABLE_AUG_LIST: ['placeholder']AUG_CONFIG_LIST:- NAME: gt_sampling# 该数据增强方法起源于SECOND网络，作者将其他帧ground truth矩形框内的点云抽取出来放在当前帧的空余位置，# 以此来形成“新”一帧的训练数据，达到数据增强的目的。USE_ROAD_PLANE: FalseDB_INFO_PATH:- custom_dbinfos_train.pklPREPARE: {# 保留至少5个点的车辆、行人和骑行者filter_by_min_points: ['Pedestrian:5', 'BicycleRider:5'],# filter_by_difficulty: [-1],}# 指定需要采样的物体类别和数量SAMPLE_GROUPS: ['Pedestrian:15', 'BicycleRider:15']NUM_POINT_FEATURES: 4DATABASE_WITH_FAKELIDAR: FalseREMOVE_EXTRA_WIDTH: [0.0, 0.0, 0.0]LIMIT_WHOLE_SCENE: False

# anchor配置，需要适配自己的数据集
ANCHOR_GENERATOR_CONFIG: [{'class_name': 'Pedestrian',# 尺寸 长宽高 单位为米'anchor_sizes': [[0.75, 0.66, 1.73]],'anchor_rotations': [0, 1.57],    # 旋转角度 0°和90°(弧度π/2=1.57）表示anchor可以沿水平和垂直方向旋转'anchor_bottom_heights': [-0.6],    # 底部高度，离地面的高度'align_center': False,    # 居中对齐'feature_map_stride': 1,    # 特征图步幅'matched_threshold': 0.5,    # 匹配阈值    高于这个阈值的被认为是正样本'unmatched_threshold': 0.35    # 不匹配阈值    低于这个阈值的被认为是负样本},{'class_name': 'BicycleRider','anchor_sizes': [[1.83, 0.74, 1.64]],'anchor_rotations': [0, 1.57],'anchor_bottom_heights': [-0.6],'align_center': False,'feature_map_stride': 1,'matched_threshold': 0.5,'unmatched_threshold': 0.35}
]

可以使用下面的代码获取自己类别的平均anchor

# 获取每个类别的评价lwh，以此来设置anchorimport osif __name__ == "__main__":label_path = "data/custom/labels"label_list = os.listdir(label_path)# l w hP_counts = 0Pedestrian = [0.0, 0.0, 0.0]B_counts = 0BicycleRider = [0.0, 0.0, 0.0]for label_name in label_list:label_file = os.path.join(label_path, label_name)with open(label_file, 'r') as f:data = f.readlines()for line in data:temp_list = line.split(" ")cls_name = temp_list[-1][:-1]if cls_name == "Pedestrian":Pedestrian[0] += float(temp_list[3])Pedestrian[1] += float(temp_list[4])Pedestrian[2] += float(temp_list[5])P_counts += 1else:BicycleRider[0] += float(temp_list[3])BicycleRider[1] += float(temp_list[4])BicycleRider[2] += float(temp_list[5])B_counts += 1print(f"P l{Pedestrian[0]/P_counts} w{Pedestrian[1]/P_counts} h{Pedestrian[2]/P_counts}")print(f"B l{BicycleRider[0]/B_counts} w{BicycleRider[1]/B_counts} h{BicycleRider[2]/B_counts}")

按照上述要求修改完就可以训练了。

最后分享一下我自己拍摄标注的数据集：点我下载

这个数据集是以树为目标的，已经处理成自定义数据集的格式了，可以直接使用。


http://www.ppmy.cn/news/297566.html

相关文章

互联网产品的帮助中心页面制作方法？

互联网产品的帮助中心页面制作方法？

帮助中心（Help Center）是企业或组织为了向客户提供技术支持和解决方案而设立的一个资源库，为客户提供常见问题解答、使用指南、教程等信息，旨在提高客户满意度和降低客户支持成本。帮助中心通常提供多种服务方式，包括在…
阅读更多...
自助化打印面单教程

自助化打印面单教程

我们都知道，这几年快递行业，从传统纸质面单过渡到了电子面单。以往企业寄快递，能够自行填写纸质面单，等待收件员上门收件，现如今，企业寄件能否自行打印电子面单？ 首先我们要先对比一下传统面单和…
阅读更多...
锐捷（一）清除三层交换机配置

锐捷（一）清除三层交换机配置

步骤1：进入交换机SW1的命令行界面，进入特权模式。 SW1>enable步骤2：使用del config.text命令清除配置文件。 SW1#del config.text步骤3：使用reload命令重启交换机。 SW1#reload Proceed with reload? [no]y //输入y回车执…
阅读更多...
锐捷、H3C交换机根据IP查MAC

锐捷、H3C交换机根据IP查MAC

根据IP查MAC，根据MAC查IP是网管常做的事情了，现在以锐捷和H3C的交换机为例。 有一个IP地址说有攻击行为，于是电脑上ping一下，获取到MAC地址，开始在锐捷核心上查： # show mac-address-table | include aaa…
阅读更多...
锐捷交换机配置登录信息

锐捷交换机配置登录信息

version S6120_RGOS 12.1(2)B0102 hostname s6120conf terminal ##创建用户名和密码 权限是15 最大 username admin privilege 15 password admin123 ##设置enable 密码 enable password admin123 ##启动ssh 和telnet 方式登录 enable service ssh-server ##拟(Virtual Teletyp…
阅读更多...
锐捷交换机Telnet/SSH 远程管理配置

锐捷交换机Telnet/SSH 远程管理配置

锐捷交换机Telnet/SSH 远程管理配置 很久没有更新CSDN了 因为之前一段时间在找工作，好了废话不多说直接上图。 实验环境 有锐捷设备的真机最好使用真机进行配置，如果没有真机的朋友，可以使用锐捷出的模拟器-EVE(其实是镜像，需要添…
阅读更多...
锐捷常见配置

锐捷常见配置

目录 交换机： 修改名称： 划分vlan： IP地址配置： 二三层口转化： 写路由： 链路聚合： MSTP： DHCP Server DHCP 中继： ACL： 用户名以密文显示 用…
阅读更多...
锐捷网络交换机配置命令大全

锐捷网络交换机配置命令大全

【欢迎关注微信公众号：厦门微思网络】 关注我，你的眼睛会怀孕 基本配置 >Enable 进入特权模式 #Exit 返回上一级操作模式 #End 返回到特权模式 #write memory 或copy running-config startup-config 保存配置文件 #del flash:config.text…
阅读更多...
最新文章

Copyright @ 2022~2023