自动驾驶系列(七)——聊聊人机交互中的DMS驾驶员监控系统

news/2024/11/24 7:52:20/

DMS驾驶员监控系统,是自动驾驶人机交互的一部分,即通过在汽车上安装光学摄像头和红外摄像头对驾驶员的眼部状态(眼球追踪、实现追踪等)进行实时获取,通过深度学习算法对获取的信息进行分析,判断出驾驶员的状态,实现对驾驶员的身份识别、驾驶员疲劳监测、驾驶员注意力监测以及危险驾驶行为的监测,并进行不同级别的预警。

 DMS驾驶员监控系统工作原理

人在疲劳的时候会出现比较典型的面部表情或动作特征,比如增加了眨眼持续时间、减缓了眼睑运动、点头、打哈欠等。基于摄像头的驾驶员监控方案正是利用这一点采集到驾驶员不同疲劳状态下所展现的表情特征,然后将这些定性的表情特征进行量化,提取出面部特征点及特征指标作为判定依据,再结合多次实验数据总结出基于这些参数的识别方法,最后输入取得的状态数据进行识别和判断。

 识别准确率是驾驶员监测系统最核心的指标之一。DMS驾驶员监控系统采用传统算法和深度学习,通过人脸检测与追踪、3D脸部建模等核心技术,针对打哈欠、视线偏移、闭眼眨眼等多种状态进行识别,同时通过指令集优化、多线程优化、实时算法调度等高效的工程实现,大幅优化和提升系统响应速度

此外,DMS驾驶员监控系统采用近红外主动成像技术,能够适应各种光源环境,即便在夜间、逆光等情况下,也能提供高品质的像。由于红外光特性可以穿透镜片,被遮挡的眼部信息也能够正常成像,很好地解决了驾驶员眼镜反光问题。

DMS驾驶员监控系统的难点

  1. DMS驾驶员监控系统以车载摄像头拍摄的视频流作为输入,成像质量也会受外界光线干扰,例如三维映射到二维的信息丢失、部分遮挡,光线变化等。
  2. DMS驾驶员监控系统算法面临驾驶员状态多变的考验。汽车驾驶员存在不同性别、年龄、种族,可能会穿戴帽子、口罩、眼镜等,驾驶过程中头部会出现各种姿态,这些复杂状况也会对算法构成很大考验。
  3. DMS驾驶员监控系统对人类驾驶员精神状态的检测精准度难以把控。 由于对于驾驶员以及成员的生理、心理状态判断行业内没有形成可控函数,因而系统无法作出准确判断。
  4. 数据采集标注面临极大考验。计算机视觉算法对图像质量有较高要求,车载摄像头成像质量与公开数据集图像质量差异较大,为保证算法效果,需要用车载摄像头采集真实行车场景下的数据,并对此进行精准标注,这会极大增加数据采集标注难度与成本。

 

 景联文科技提供DMS系统数据解决方案

景联文科技作为一家专业的数据采集标注公司,提出了DMS系统数据解决方案,依托于自身丰富的数据采集标注经验,通过全场景数据库,定制化数据采集标注,一站式解决DMS相关算法的训练数据需求,可以帮助车企缩短数据采集和标注周期,有效降低算法模型训练成本,节省大量研发时间和成本。

景联文科技拥有丰富的DMS场景搭建采集经验,可以快速采集标注车辆中全场景条件下的数据,配合广大车企进行DMS相关算法的开发。提供的驾驶员行为数据集有:

300000张DMS驾驶员行为训练集》

  1. 采集设备:可见光和红外双目摄像头
  2. 数据规模:300000张图像,300000个json文件,600000段视频,每段视频30秒左右
  3. 采集环境:车内
  4. 数据格式:图像数据格式为jpg,标注文件格式为json,视频格式为MP4
  5. 采集多样性:多年龄段、多时间段、多种行为(疲劳驾驶、着装规范、副驾驶及后排座椅、未系安全带、抽烟、吃喝、后挡风玻璃置物台、主驾驶防护栏、中控台、故意遮挡镜头、手持手机打电、未超载、中央扶手处、聊微信看视频)
  6. 采集时间:白天、傍晚和夜晚
  7. 标注说明:对检测对象进行框选标注,所有图片中框选的类型都需要被划分到正确的类型中,不能出现漏标注或类型标注错误的情况
  8. 准确率:采集数据数量达到合同要求,采集种类和场景不少于双方协议的98%不遗漏框,不误标框,不多标框,准确率达98%以上标注分类标签准确度达100%

除此之外,景联文科技有全职采集标注人员和专业的技术团队对采集标注项目进行把控,合作专业租车平台,对采集车辆全部上保险,被采集者本人均签署授权协议书,保证数据采集流程安全合规。

 景联文科技|AI基础数据服务|数据采集|数据标注|假指纹制作|指纹防伪算法

助力人工智能技术加速数字经济相关产业质量变革,赋能传统产业智能化转型升级

文章著作权归景联文科技所有,商业转载请联系景联文科技获得授权,非商业转载请注明出处;图片源自网络,如有侵权请联系我们进行删除。


http://www.ppmy.cn/news/520251.html

相关文章

MXL90614红外线测温传感器

特性和优点: 体积小,成本低 易集成 宽温度范围内的出厂校准设置: 传感器温度范围-40…125 C 物体温度范围-70…380 C Ta和To 由0到50C 温度范围内,精度可达到0.5C (医用) 高精度校准 测量辨析度可达 0.02C 单个和双重视野版本 兼容…

开发框架前后端分离的好处是什么

关于将前端和后端保持在一起或分开,存在广泛的意见分歧。唯一重要的是,这两个组件对于开发成熟的应用程序都是必需的。 考虑:紧密耦合的前端和后端 许多人认为后端和前端的分离是一个坏主意,这两个角色之间没有太大区别。 以下…

重新理解微服务之终究绕不过这4个坎之(一)

写在前头 大家曾经有没有遇过日常技术交流的时候,会讨论某某技术之间的关系是什么,某些技术是否应该用到微服务。我相信热爱技术交流的您,就算不是在微服务这里领域,或多或少都会跟其他同行会做一些争议话题的探讨,而…

为啥海康摄像头网页无法预览

最近在做IPC相关的业务,用谷歌、火狐都无法预览摄像头画面,即使装了插件也不行,后面发现了,要用IE打开,才能预览。。。。。 转载于:https://www.cnblogs.com/132818Creator/p/10980880.html

海康威视定时截图保存本地

import cv2 import time import os.path import datetime url "rtsp://admin:a123456789192.168.1.22/Streaming/Channels/1" #rtsp://用户名:密码ip地址/Streaming/Channels/1最后面的1是因为我选择1会显示出我要的内容,有的是1或者3或者4 cap cv2.Vid…

iVMS-4200 Mac 版监控客户端切换中文语言的方法

安装好最新版本之后&#xff0c;直接跳转到&#xff08;或者在应用程序中的 iVMS-4200 图标上鼠标右键&#xff0c;显示包内容&#xff09;/Applications/iVMS-4200.app/Contents/MacOS/&#xff0c;之后用文本编辑器修改 Setup.xml&#xff1a; <?xml version1.0 encodin…

EasyNVR通过Onvif方式接入的设备云台控制无反应是什么原因?

EasyNVR平台可以通过Onvif协议与摄像头进行网络连接&#xff0c;并实现摄像头的PTZ云台控制&#xff0c;PTZ控制包含转动、变焦等&#xff08;需要摄像头带云台功能&#xff09;。与EasyGBS平台不同&#xff0c;EasyGBS是通过国标GB28181协议接入实现云台的控制功能。对EasyNVR…