分享驾驶员监视系统及其操作方法与流程

这里介绍的分享驾驶员监视系统及其操作方法与流程,接下来的内容为您介绍:




背景技术:

本技术领域涉及驾驶员监视,并且更具体地涉及用于汽车驾驶员的扫视模式监视。

提高驾驶员的注意力是期望的,但驾驶员可能会收到大量对威胁或潜在威胁的误报和过度报告。向驾驶员警示潜在威胁是有利的;但是,向驾驶员警示他们在视觉上无法注意到的潜在威胁可能更有利。这涉及通过评估是否可在视觉上感知威胁来协调威胁检测方法。



技术实现要素:

根据一个实施方案,提供了一种操作用于车辆的驾驶员监视系统的方法,该方法包括以下步骤:接收用于车辆驾驶员的多个扫视目标点;将多个扫视目标点输入到分心模型的预测概率中以获得预测分心分布;确定多个扫视目标点中是否存在一个或多个信息性扫视位置;当多个扫视目标点中存在一个或多个信息性扫视位置时,将预测分心分布与预测分心分布阈值进行比较;以及当预测分心分布满足或超过预测分心分布阈值时,警示驾驶员。

根据各种实施方案,该方法还可包括以下特征中的任一者或者这些特征中的一些或全部的任何技术上可行的组合:

·预测分心分布是表示基于现有数据的碰撞或接近碰撞概率的图形或数字数据模式;

·当多个扫视目标点中不存在一个或多个信息性扫视位置时,将预测分心分布与预测显著性分布融合;

·在将预测显著性分布与预测分心分布融合时,确定当前驾驶状态并将当前驾驶状态用作输入;

·分心模型的预测概率包括隐马尔可夫模型(hmm);

·分心模型的预测概率包括使用针对给定扫视位置的事件概率的观察矩阵来获得预测分心分布;

·分心模型的预测概率包括形成多个扫视目标点的图形表示;

·图形表示是多个扫视目标点的直方图;

·图形表示用于形成扫视共生矩阵,该扫视共生矩阵捕获具有多个扫视目标点的多个扫视转变;

·将扫视共生矩阵馈送到隐马尔可夫模型(hmm)的步骤;

·以滑动窗口方式以一步增量完成馈送;

·使用非负矩阵分解(nmf)技术对扫视共生矩阵进行因式分解以产生多个nmf因子;

·从该多个非负矩阵分解(nmf)因子中导出多个特征;和/或

·将该多个特征与针对给定扫视位置和扫视转变的事件概率的观察矩阵进行比较,以获得预测分心分布。

根据另一个实施方案,提供了一种操作用于车辆的驾驶员监视系统的方法,该方法包括以下步骤:接收用于车辆驾驶员的多个扫视目标点;将多个扫视目标点输入到分心模型的预测概率中,其中分心模型的预测概率包括隐马尔可夫模型(hmm);将多个扫视目标点与针对给定扫视位置的事件概率的观察矩阵进行比较,以获得预测分心分布;将预测分心分布与预测分心分布阈值进行比较;以及当预测分心分布满足或超过预测分心分布阈值时,警示驾驶员。

根据各种实施方案,该方法还可包括以下特征中的任一者或者这些特征中的一些或全部的任何技术上可行的组合:

·确定该多个扫视目标点中是否存在一个或多个信息性扫视位置;以及/或者

·当该多个扫视目标点中存在一个或多个信息性扫视位置时,仅执行预测分心分布与预测分心分布阈值的比较。

根据又一个实施方案,提供了一种用于车辆的驾驶员监视系统,该系统包括:面向驾驶员的摄像头;以及可操作地耦接到面向驾驶员的摄像头的电子控制单元(ecu),其中ecu被配置为:从面向驾驶员的摄像头接收用于车辆的驾驶员的多个扫视目标点;将多个扫视目标点输入到分心模型的预测概率中以获得预测分心分布;确定多个扫视目标点中是否存在一个或多个信息性扫视位置;当多个扫视目标点中存在一个或多个信息性扫视位置时,将预测分心分布与预测分心分布阈值进行比较;并且当预测分心分布满足或超过预测分心分布阈值时,警示驾驶员。

附图说明

下文将结合附图描述一个或多个实施方案,其中类似的标号表示类似的元件,并且其中:

图1是描绘了能够利用本文所公开的方法的驾驶员监视系统的实施方案的框图;

图2示出了来自图1的系统的车辆中和周围的各种扫视位置;

图3示出了根据一个实施方案的预测显著性分布的固定镜头;

图4示出了根据一个实施方案的两个预测显著性分布的另一个固定镜头;

图5是在图1的驾驶员监视系统的上下文中描述的操作驾驶员监视系统的方法的实施方案的流程图;

图6是示出图5的方法的一个步骤的子步骤的流程图;

图7是可以与图5和图6中所示的方法一起使用的随时间的扫视位置的图;

图8示出了根据一个实施方案的预测分心分布;

图9是可以与图5和图6中所示的方法一起使用的扫视位置计数的直方图;

图10是可以与图5和图6中所示的方法一起使用的扫视位置计数的另一个直方图;

图11示出了可以与图5和图6中所示的方法一起使用的各种矩阵;

图12是示出了在图1的驾驶员监视系统的上下文中描述的扫视显著性分布分析中涉及的步骤的流程图;并且

图13是示出了在图1的驾驶员监视系统的上下文中描述的传感器显著性分布分析中涉及的步骤的流程图。

具体实施方式

下文描述的系统和方法涉及使用时间序列扫视模式分析的用于驾驶员监视系统的驾驶员分心预测。扫视模式分析产生预测分心分布,该预测分心分布可以用于确定是否应向驾驶员提供警示。预测分心分布可以是表示基于现有数据的针对给定扫视位置或扫视转变的碰撞或接近碰撞概率的图形或数字数据模式。在一些实施方案中,扫视模式分析可以与预测显著性分布融合以估计或评估对车辆的潜在威胁。预测显著性分布是针对其他驾驶员可能在视觉上注意到的威胁的基于时空摄像头的预测分布。通过更复杂的模式分析,本系统和方法可以有助于比其他驾驶员监视系统更有效地检测分心,同时减少错误警报。

参考图1,其示出了包括驾驶员监视系统10的操作环境,该驾驶员监视系统可以用于实现本文所公开的方法。驾驶员监视系统10通常包括传感器22-32、面向前面的摄像头34、面向驾驶员的摄像头36、gnss接收器38、无线通信设备40、其他车辆系统模块(vsm)50-58、和电子控制单元(ecu)60。驾驶员监视系统10还包括一群全球导航卫星系统(gnss)卫星68、一个或多个无线载波系统70、陆地通信网络76、计算机或服务器78、和后端设施80。应当理解,所公开的方法可与任何数量的不同系统一起使用,并且不具体地限于本文所示的操作环境。以下段落提供了一个此类驾驶员监视系统10的简要概述;然而,这里未示出的其他系统也可采用所公开的方法。还应当理解,驾驶员监视系统10和方法可以与任何类型的车辆一起使用,这些车辆包括传统的客运车辆、运动型多用途车辆(suv)、跨界车、卡车、货车、公共汽车、休闲车(rv)等。这些仅仅是一些可能的应用,因为本文所述的驾驶员监视系统和方法不限于图1中所示的示例性实施方案,并且可以用任意数量的不同车辆来实现。

任意数量的不同传感器、部件、设备、模块、系统等可以为驾驶员监视系统10提供信息、数据和/或其他输入。这包括例如图1中所示的部件以及本领域已知但此处未示出的其他部件。应当理解,主机车辆传感器、摄像头、对象检测传感器、gnss接收器、ecu、hmi、及作为驾驶员监视系统10的一部分并且/或者由该驾驶员监视系统使用的任何其他部件可以体现为硬件、软件、固件、或它们的某种组合。这些部件可以直接感测或测量它们所提供的条件,或者这些部件可以基于其他传感器、部件、设备、模块、系统等提供的信息间接地评估这些条件。此外,这些部件可以直接耦接到控制器或ecu60,可以经由其他电子设备、车辆通信总线、网络等间接耦接到控制器或ecu60,或者可以根据本领域已知的一些其他布置耦接到控制器或ecu60。这些部件可以集成在另一个车辆部件、装置、模块、系统等(例如,已经是主动安全系统、牵引力控制系统(tcs)、电子稳定控制(esc)系统、防抱死制动系统(abs)等的一部分的传感器)内,它们可以是独立的部件(如图1中示意性地所示),或者可以根据一些其他布置来提供这些部件。在一些情况下,可以采用多个传感器来感测单个参数(例如,用于提供冗余)。应当理解,前述场景仅表示一些可能性,因为可以使用任何类型的合适布置或架构来执行本文所述的方法。

主机车辆传感器22-30可以包括向本系统和方法提供关于车辆12的性能、状态和/或状况的数据或信息的任何类型的感测或其他部件。来自主机车辆传感器22-30的信息可以用于推断关于即将到来的对象或威胁的信息(例如,主机车辆12是否正朝向潜在威胁、道路状况等加速)。根据图1中所示的非限制性示例,主机车辆传感器包括主机车辆速度传感器22-28以及动态传感器单元30。

主机车辆速度传感器22-28向系统10提供速度读数,该速度读数指示车轮的旋转速度,并因此指示车辆的总体速度或速率。在一个实施方案中,各个车轮速度传感器22-28耦接到车辆的四个车轮中的每一者,并且分别提供指示对应车轮的旋转速率的速度读数(例如,通过对一个或多个旋转车轮上的脉冲进行计数)。技术人员将理解,这些传感器可以根据光学技术、电磁技术或其他技术来操作,并且速度传感器22-28不限于任何特定的速度传感器类型。在另一个实施方案中,速度传感器可以耦接到车辆的某些部分(诸如耦接到变速器的输出轴或速度计的后面),并且根据这些测量产生速度读数。还能够根据加速度读数导出或计算出速度读数(技术人员理解速率读数与加速度读数之间的关系)。在另一个实施方案中,速度传感器22-28通过将雷达、激光和/或其他信号导向地面并分析反射信号,或者通过采用来自具有全球定位系统(gps)能力的导航单元(例如,gnss接收器38)的反馈,来确定车辆相对于地面的速度。能够通过一些其他模块、子系统、系统等(如动力系或发动机控制模块或制动控制模块)向系统10提供速度读数。可以替代性地使用任何其他已知的速度感测技术。

动态传感器单元30向系统提供动态读数,该动态读数与车辆内发生的各种动态状况(诸如,加速度和偏航率)有关。单元30可以包括检测或测量车辆动力学的传感器或传感元件的任何组合,并且该单元可以单独封装或者封装为单个单元。根据一个示例性实施方案,动态传感器单元30是集成惯性测量单元(imu),其包括偏航率传感器、横向加速度传感器和纵向加速度传感器。合适的加速度传感器类型的一些示例包括微机电系统(mems)型传感器和音叉型传感器,但可以使用任何类型的加速度传感器。根据系统的特定需求,加速度传感器可以是单轴或多轴传感器,可以检测加速度和/或减速度,可以检测作为矢量的加速度的量值和/或方向,可以直接感测或测量加速度,可以根据其他读数(如,车辆速度读数)计算或推断加速度,并且/或者可以提供重力加速度,以列举一些可能性。尽管动态传感器单元30被示为单独的单元,但该单元或其元件能够集成到一些其他单元、装置、模块、系统等中。

对象检测传感器32向系统10提供传感器读数和对象数据,该传感器读数和对象数据与附近的车辆、行人、或车辆12周围的其他对象或威胁有关。对象传感器读数可以表示附近车辆以及附近行人和其他对象的存在情况、位置、速率和/或加速度。该数据本质上可以是绝对的(例如,对象相对于地面或一些其他参照系的速率或加速度),或者数据本质上可以是相对的(例如,对象相对于主机车辆的速率或加速度)。尽管仅示意性地示出了一个对象检测传感器32,但在一些实施方案中,包括多个对象检测传感器以监视车辆12周围的各种位置。对象检测传感器中的每一者可以是单个传感器或传感器的组合,并且可以包括一个或多个雷达装置、激光装置、激光雷达装置、超声装置、视觉装置、其他已知装置、或它们的组合。在有利的实施方案中,对象检测传感器32是雷达传感器或激光雷达传感器。在另一有利的实施方案中,对象检测传感器32是透地雷达传感器。

当然,除了或代替上文所述的那些传感器,可以使用提供关于车辆12的状态的信息的其他车辆传感器。一些潜在的示例包括:v2x通信单元,该v2x通信单元用于提供与其他车辆、基础结构或行人(例如,v2v、v2i或v2p)有关的信息;环境传感器,该环境传感器用于提供与外部天气事件或其他环境事件有关的读数;转向角传感器;加速器和制动踏板传感器;稳定传感器;以及档位选择传感器,此处仅列举了几个示例。此外,本系统和方法的一些具体实施可以不具有本文所述的所有车辆传感器或其他部件。

环境摄像头34和面向驾驶员的摄像头36可以分别用于提供环境摄像头图像以及与车辆12的驾驶员的扫视模式有关的信息。在有利的实施方案中,环境摄像头34是面向前面的摄像头,该摄像头获得车辆12前方的环境的摄像头图像。然而,摄像头34能够面向其他方向,并且该方法能够用于评估车辆的其他周围区域中的错误威胁(例如,当车辆12倒车时利用后视摄像头)。环境摄像头34和/或面向驾驶员的摄像头36可以直接或间接连接到ecu60,以用于处理来自摄像头的输入。摄像头34、36可以是任何合适的摄像头类型(例如,电耦装置(ccd)、互补金属氧化物半导体(cmos)等),并且可以具有本领域已知的任何合适的镜头,使得其不限于任何特定类型、品牌或型号。在一个具体实施方案中,摄像头34、36均安装到由车辆12的驾驶员佩戴的一副眼镜上。在另一个实施方案中,摄像头34、36集成到安装在车辆12的挡风玻璃或后视镜附近或上的单个摄像头模块中。在一些实施方案中,可以仅使用一个摄像头来获得环境摄像头图像和驾驶员扫视图像。其他摄像头配置当然也是可能的,诸如,将环境摄像头34安装在车辆12的外部,以及将面向驾驶员的摄像头36安装在后视镜附近,此处仅列举了几个示例。可与摄像头34、36一起使用的潜在实施方案或特征的一些非限制性示例包括:用于夜视的红外led;广角镜头或鱼眼镜头;表面安装、齐平安装、许可证安装或侧面安装摄像头;具有多个摄像头的立体布置;集成到尾灯、刹车灯或车辆后端的其他部件中的摄像头;以及有线或无线摄像头,此处仅列举了几个示例。以实时或几乎实时的方式执行方法之前,可以离线完成对本文所述方法的修改以适应摄像头34、36的各种摄像头类型和/或位置。

摄像头34、36可以向ecu60提供多个图像(例如,源自流式视频或其他捕获视频),然后,ecu60可以处理图像以生成预测分心分布、预测显著性分布和/或扫视轨迹概率分布,如下文详细描述的。在一个实施方案中,在车辆的点火或主推进系统启动或激活时,摄像头34、36将视频数据连续地传输到ecu60。视频数据可以是传输到ecu60的隔行或逐行扫描型视频数据或者隔行扫描型视频数据。然后,ecu60可以解码、转换或以其他方式处理视频数据,使得本文所述的各种方法可以充分地处理和使用数据中编码的视频。其他图像处理可以由ecu60的处理器或车辆12中的其他处理设备执行。

如下文将更详细讨论的,通过使用图像处理技术,处理器可以识别某些对象,诸如驾驶员可能未注意到的即将到来的针对车辆12的威胁。在一个实施方案中,ecu60可以使用可区分出捕获图像中的某些对象的图像处理软件,并且通过分析一系列图像(可能结合来自一个或多个车辆传感器诸如传感器32的信息),ecu60可以确定区分出的这些威胁或对象相对于车辆12的位置、距离、速度和/或加速度。

装置22-36中的任一者可以是独立的,如图1中所示,或者它们可以被并入或包括在一些其他装置、单元或模块内(例如,传感器22-28中的一些传感器可以被封装在惯性测量单元(imu)中,摄像头34可以与主动安全系统集成,等等)。此外,装置22-36中的任一者可以是专用的,如图1中所描绘,或者它们可以是车辆中的其他系统或子系统的一部分或者可以由车辆中的其他系统或子系统共享(例如,摄像头34和/或传感器22-30中的一些传感器可以是半自动驾驶系统的一部分)。视频输入和/或传感器输入设备22-36可以直接提供给ecu60,或者通过一些其他装置、模块和/或系统间接提供给ecu60,如本领域公知的那样。因此,装置22-36不限于图1中的示意性表示或上文的示例性描述,它们也不限于任何特定实施方案或布置,只要它们可以与本文所述的方法一起使用即可。

全球导航卫星系统(gnss)接收器38从一群gnss卫星68接收无线电信号。gnss接收器38可以被配置为符合给定地缘政治区域(例如,国家)的特定法规或法律和/或根据给定地缘政治区域(例如,国家)的特定法规或法律操作。gnss接收器38可以被配置为与各种gnss具体实施一起使用,包括美国的全球定位系统(gps)、中国的北斗导航卫星系统(bds)、俄罗斯的全球导航卫星系统(glonass)、欧盟的伽利略以及各种其他导航卫星系统。例如,gnss接收器38可以为gps接收器,其可以从一群gps卫星68接收gps信号。并且,在另一示例中,gnss接收器38可以为bds接收器,其从一群gnss(或bds)卫星68接收多个gnss(或bds)信号。在任一种具体实施中,gnss接收器38可以包括至少一个处理器和存储器,包括存储指令(软件)的非暂态计算机可读存储器,该指令(软件)可由处理器访问以执行由接收器38执行的处理。

gnss接收器38可以用于向车辆驾驶员提供导航和其他位置相关的服务。导航信息(诸如关于可能影响行程的即将发生的事件的信息)可以在显示器50上呈现,或者可以口头呈现,诸如在提供逐项导航时所做的那样。导航服务可以使用专用车载导航模块(其可以是gnss接收器38的一部分和/或作为无线通信设备40或其他vsm的一部分并入)来提供,或者一些或所有导航服务可经由安装在车辆中的车辆通信装置40(或其他支持远程信息处理的装置)来完成,其中地点或位置信息被发送到远程位置,以便为车辆提供导航地图、地图注释(兴趣点、餐馆等)、路线计算等。可以将位置信息提供给车辆后端设施80或其他远程计算机系统(诸如计算机78),以用于其他目的,诸如,用于在形成预测分心分布和/或预测显著性分布时的训练目的,如下文所讨论。

无线通信设备40能够通过使用蜂窝芯片组44经由短程无线通信(srwc)和/或经由蜂窝网络通信来传送数据,如例示的实施方案中所描绘。在一个实施方案中,无线通信设备40是用于执行下文所讨论的方法的至少一部分的中央车辆计算机。在例示的实施方案中,无线通信设备40包括srwc电路42、蜂窝芯片组44、处理器46、存储器48、以及天线43和45。在一个实施方案中,无线通信设备40可以是独立模块,或者在其他实施方案中,设备40可以作为一个或多个其他车辆系统模块(诸如中心堆栈模块(csm)、车身控制模块(bcm)、信息娱乐模块、头部单元和/或网关模块)的一部分并入或包括在内。在一些实施方案中,装置40可以被实现为安装在车辆中的oem安装(嵌入)或售后装置。在一些实施方案中,无线通信设备40是能够使用一个或多个蜂窝载波系统70执行蜂窝通信的远程信息处理单元(或远程信息处理控制单元)。远程信息处理单元可以与gnss接收器38集成,使得例如gnss接收器38和无线通信设备(或远程信息处理单元)40彼此直接连接,而不是经由通信总线59连接。

在一些实施方案中,无线通信设备40可以被配置为根据一个或多个短程无线通信(srwc)诸如wifitm、wimaxtm、wi-fidirecttm、其他ieee802.11协议、zigbeetm、bluetoothtm、bluetoothtmlowenergy(ble)或近场通信(nfc)中的任一者进行无线通信。如本文所用,bluetoothtm是指bluetoothtm技术中的任一种,诸如bluetoothlowenergytm(ble)、bluetoothtm4.1、bluetoothtm4.2、bluetoothtm5.0、以及可开发的其他bluetoothtm技术。如本文所用,wi-fitm或wi-fitm技术是指wi-fitm技术中的任一种,诸如ieee802.11b/g/n/ac或任何其他ieee802.11技术。短程无线通信(srwc)电路42使得无线通信设备40能够发射和接收srwc信号,诸如ble信号。srwc电路可以允许设备40连接到另一个srwc装置。另外,在一些实施方案中,无线通信设备可以包括蜂窝芯片组44,从而允许该设备经由一个或多个蜂窝协议(诸如蜂窝载波系统70所使用的那些协议)进行通信。在这种情况下,无线通信设备变为可用于经由蜂窝载波系统70执行蜂窝通信的用户设备(ue)。

无线通信设备40可以使车辆12能够经由分组交换数据通信与一个或多个远程网络(例如,后端设施80或计算机78处的一个或多个网络)通信。该分组交换数据通信可以通过使用经由路由器或调制解调器连接到陆地网络的非车辆无线接入点来执行。当用于分组交换数据通信诸如tcp/ip时,通信设备40可以被配置为具有静态ip地址,或者可被设置为从网络上的另一设备诸如路由器或从网络地址服务器自动接收分配的ip地址。还可以通过使用可由设备40访问的蜂窝网络来执行分组交换数据通信。通信设备40可以经由蜂窝芯片组44通过无线载波系统70传送数据。在此类实施方案中,无线电传输可用于与无线载波系统70建立通信信道,诸如语音信道和/或数据信道,使得可通过该信道发送和接收语音和/或数据传输。

处理器46可以是能够处理电子指令的任何类型的设备,包括微处理器、微控制器、主机处理器、控制器、车辆通信处理器和专用集成电路(asic)。该处理器可以是仅用于通信设备40的专用处理器,或者可以与其他车辆系统共享。处理器46执行各种类型的数字存储指令,诸如存储在存储器48中的软件或固件程序,这些指令使得设备40能够提供各种各样的服务。例如,处理器46可以执行程序或处理数据以执行本文所讨论的方法的至少一部分。存储器48可以是有源临时存储器、任何非暂态计算机可读介质、或其他类型的存储器。例如,存储器可以是多种不同类型的ram(随机存取存储器,包括各种类型的动态ram(dram)和静态ram(sram))、rom(只读存储器)、固态驱动器(ssd)(包括其他固态存储装置,诸如固态混合驱动器(sshd))、硬盘驱动器(hdd)、磁盘或光盘驱动器中的任一者。与先前描述的那些类似的部件(处理器46和/或存储器48,以及srwc电路42和蜂窝芯片组44)可以被包括在另一个控制模块和/或通常包括此类处理/存储能力的各种其他vsm(诸如,ecu60)中。

无线通信设备40连接到总线59,并且可以从一个或多个车辆传感器22-32以及/或者摄像头34、36接收传感器数据,然后,车辆12可以将该数据(或者从该数据导出或基于该数据导出的其他数据)发送到其他设备或网络(包括车辆后端设施80)。然而,在一些实施方案中,全部或一些数据由ecu60或另一模块处理。在有利的实施方案中,实时或几乎实时的处理均经由ecu60完成,以避免处理延迟。然而,可以使用计算机78和/或后端设施80(包括服务器82和数据库84)来完全或部分地处理用于这些方法的训练。

车辆电子器件20还包括多个车辆用户界面,这些界面提供给车辆乘客提供和/或接收信息的方式,包括视觉显示器50、按钮52、麦克风54、音频系统56和/或触觉反馈装置58。如本文所用,术语“车辆用户界面”广义地包括任何适当形式的电子设备,包括硬件和软件部件两者,其位于车辆12上并使车辆用户能够与车辆部件通信或通过车辆部件通信。车辆用户界面50-54也是车载车辆传感器,它们可以接收来自用户的输入或其他传感信息。按钮52允许用户手动输入到通信设备40中以提供其他数据、响应或控制输入。音频系统56向车辆乘员提供音频输出,并且可以是专用的独立系统或主要车辆音频系统的一部分。根据此处所示的特定实施方案,音频系统56操作地耦接到车辆总线59和娱乐总线(未示出)两者,并且可以提供am、fm和卫星无线电、cd、dvd、和其他多媒体功能。该功能可以与信息娱乐模块一起提供或者可以独立于信息娱乐模块提供。音频系统56可以用于在应该向车辆12的驾驶员警示潜在威胁时提供定向音频感知。麦克风54向无线通信设备40提供音频输入,以使驾驶员或其他乘员能够经由无线载波系统70提供语音命令和/或执行免提呼叫。为此,可以利用本领域已知的人机界面(hmi)技术将其连接到车载自动语音处理单元。视觉显示器或触摸屏50优选地是图形显示器并且可以用于提供多种输入和输出功能。显示屏50可以是仪表板上的触摸屏、挡风玻璃上反射的平视显示器、或者可投影图形以供车辆乘员观看的投影仪。例如,在一个实施方案中,显示器50是通过车辆12的挡风玻璃示出的增强现实显示器。触觉反馈装置58可以用于向车辆12的驾驶员提供触感。在该实施方案中,触觉反馈装置58是座椅90。可以激活区域92、94,例如,以向车辆12的驾驶员警示存在朝向车辆的对应侧面的潜在威胁。还可以利用各种其他车辆用户界面,因为图1的界面仅为一个特定具体实施的示例。因此,如果车辆12的驾驶员分心,则可以使用一个或多个车辆用户界面来警示他或她,如下文更详细地讨论的。

ecu60控制驾驶员监视系统10的各种部件,并且处理执行本文所述方法所需的许多(如果不是全部)实时或几乎实时处理中的基于车辆的处理。因此,ecu60可以从多个源诸如传感器22-32以及摄像头34、36获得反馈或信息,并且然后使用此类反馈或信息来有效地监视驾驶员和/或对车辆12的潜在威胁。ecu60可以被认为是控制器、控制模块等,并且可以包括任何种类的电子处理设备、存储器设备、输入/输出(i/o)装置和/或其他已知的部件,并且可以执行各种控制和/或通信相关的功能。在示例性实施方案中,ecu60包括存储传感器读数(例如,来自传感器22-32的传感器读数)、图像或视频信息(例如,来自摄像头34、36的图像或视频馈送)、查找表或其他数据结构(例如,下文所述的一个或多个矩阵或型号)、算法(例如,下文所述方法中体现的算法)等的电子存储器设备62。存储器设备62可以保持由在预定时间段内或在预定实例期间收集的数据(例如,驾驶员的扫视目标点、传感器读数等)组成的缓冲区。如本领域所理解的,存储器设备62或其仅一部分可以以电子数据结构的形式实现或保持。ecu60还包括电子处理设备64(例如,微处理器、微控制器、专用集成电路(asic)等),其执行存储在存储器设备62中的用于软件、固件、程序、算法、脚本等的指令,并且可以部分地管理本文所述的过程和方法。

根据特定实施方案,ecu60可以是独立的车辆电子模块(例如,特殊或专用驾驶员监视控制器),可以将ecu60并入或包括在另一车辆电子模块(例如,视频控制器)内,或者ecu60可以是更大的网络或系统(例如,主动安全系统)的一部分,或者ecu60可以是基于监督车辆控制单元实现低级控制的从属控制单元,此处仅列举了几种可能性。因此,ecu60不限于任一特定实施方案或布置,并且可以由本方法用于控制驾驶员监视系统10操作的一个或多个方面。驾驶员监视系统10和/或ecu60还可以包括校准文件,该校准文件是定义向致动部件诸如显示器50、音频系统56和/或触觉反馈装置58提供的命令的设置文件。

无线载波系统70可以是任何合适的蜂窝电话系统。载波系统70被示为包括蜂窝塔72;然而,载波系统70可以包括以下部件中的一者或多者(例如,取决于蜂窝技术):蜂窝塔、基站收发台、移动交换中心、基站控制器、演进节点(例如,enodeb)、移动性管理实体(mme)、服务网关和pgn网关等,以及将无线载波系统70与陆地网络76连接或将无线载波系统与用户设备(ue,例如,可包括车辆12中的远程信息处理设备)连接所需的任何其他联网部件。载波系统70可以实现任何合适的通信技术,这些通信技术包括gsm/gprs技术、cdma或cdma2000技术、lte技术等。

除了使用无线载波系统70之外,还可以使用卫星通信形式的不同无线载波系统来提供与车辆的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路发射台(未示出)来完成。例如,单向通信可以是卫星无线电服务,其中节目内容(新闻、音乐等)由上行链路发射台接收,打包上传,然后发送到卫星,卫星向订阅者广播节目。双向通信可以是例如卫星电话服务,使用一个或多个通信卫星来中继车辆12和上行链路发射台之间的电话通信。如果使用,该卫星电话可用作无线载波系统70的补充或替代。

陆地网络76可以是传统的陆基电信网络,其连接到一个或多个陆线电话并且将无线载波系统70连接到车辆后端设施80。例如,陆地网络76可包括公共交换电话网(pstn),诸如用于提供硬连线电话、分组交换数据通信和互联网基础设施的公共交换电话网。陆地网络76的一个或多个部分可通过使用标准有线网络、光纤或其他光网络、电缆网络、电力线、其他无线网络(诸如无线局域网(wlan))或提供宽带无线接入(bwa)的网络或其任何组合来实现。

计算机78(仅示出一台)可以是经由诸如互联网的私有或公共网络访问的多台计算机中的一些。在一个实施方案中,每个这样的计算机78可以用于一个或多个目的,诸如用于分心模型的预测概率和/或预测显著性分布的训练和初始形成。其他这样的可访问计算机78可以是,例如:客户端计算机,车主或其他用户将其用于各种目的,如访问或接收车辆数据、或建立或配置用户偏好或控制车辆功能;或者第三方存储库,通过与车辆12、后端设施80或两者通信来向其或者从其提供车辆数据或其他信息。计算机78还可以用于提供互联网连接诸如dns服务,或用作使用dhcp或其他合适的协议向车辆12分配ip地址的网络地址服务器。

车辆后端设施80远离车辆12定位。后端设施80可以被设计成通过使用一个或多个电子服务器82向车辆电子器件20提供许多不同的系统后端功能,并且在许多情况下,可以提供用于本文所述的模型的初始训练的处理能力,但大多数实时或几乎实时的处理在车辆12处完成,诸如利用ecu60完成。后端设施80可以是物理呼叫中心,或者该后端设施可以是基于云的服务器等。后端设施80包括车辆后端服务器82和数据库84,其可以存储在多个存储器设备上。车辆后端设施80可以包括这些各种部件中的任一者或全部,并且优选地,各种部件中的每一者经由有线或无线局域网彼此耦接。后端设施80可以经由连接至陆地网络76的调制解调器接收和传输数据。数据传输也可以由无线系统诸如ieee802.11x、gprs等进行。本领域的技术人员将理解,尽管在例示的实施方案中仅描绘了一个后端设施80和一台计算机78,但可使用许多远程设施80和/或计算机78。此外,多个后端设施80和/或计算机78可以按地理区域分布,并且各自可以与彼此协调信息和服务。

服务器82可以是包括至少一个处理器并且包括存储器的计算机或其他计算设备。处理器可以是能够处理电子指令的任何类型的设备,包括微处理器、微控制器、主机处理器、控制器、车辆通信处理器和专用集成电路(asic)。处理器可以是仅用于服务器82的专用处理器,或者可以与其他系统共享。该至少一个处理器可以执行各种类型的数字存储指令诸如软件或固件,这些指令使得服务器82能够提供各种各样的服务。该软件可以存储在计算机可读存储器中,并且可以是任何合适的非暂态计算机可读介质。例如,存储器可以是多种不同类型的ram(随机存取存储器,包括各种类型的动态ram(dram)和静态ram(sram))、rom(只读存储器)、固态驱动器(ssd)(包括其他固态存储装置,诸如固态混合驱动器(sshd))、硬盘驱动器(hdd)、磁盘或光盘驱动器中的任一者。对于网络通信(例如,网络内通信、包括互联网连接的网络间通信),服务器可以包括可用于向计算机传送数据和从计算机传送数据的一个或多个网络接口卡(nic)(包括无线nic(wnic))。这些nic可以允许一个或多个服务器82彼此连接,与数据库84或其他联网设备(包括路由器、调制解调器和/或交换机)连接。在一个具体实施方案中,服务器82的nic(包括wnic)可以允许建立srwc连接,并且/或者可包括以太网电缆可连接到的以太网(ieee802.3)端口,这些端口可提供两个或更多个设备之间的数据连接。后端设施80可以包括多个路由器、调制解调器、交换机或其他网络设备,这些网络设备可用于提供联网能力,例如与陆地网络76和/或蜂窝载波系统70连接。

数据库84可以存储在多个存储器设备(诸如有源临时存储器,或任何合适的非暂态计算机可读介质)上。例如,存储器可以是多种不同类型的ram(随机存取存储器,包括各种类型的动态ram(dram)和静态ram(sram))、rom(只读存储器)、固态驱动器(ssd)(包括其他固态存储装置,诸如固态混合驱动器(sshd))、硬盘驱动器(hdd)、磁盘或光盘驱动器中的任一者,其存储执行本文所讨论的各种外部装置功能所需的一些或全部软件。后端设施80处的一个或多个数据库84可以存储各种信息,并且可以包括用于存储与分心模型的预测概率和/或预测显著性分布的形成有关的信息的数据库。

图2示出了来自图1的驾驶员监视系统的车辆12的内部的视图,其中示出了可以与本系统和方法一起使用的各种不同的示例性扫视位置102-126。扫视位置102-126与车辆驾驶员的扫视目标点相对应。因此,当面向驾驶员的摄像头36接收到关于驾驶员的扫视目标点的信息时,可以使用ecu60等将那些扫视目标点映射到扫视位置102-126。在图2中用虚线圆圈或轮廓示意性地表示扫视位置102-126。然而,应当理解,扫视位置可以具有不同尺寸(例如,比所示扫视位置的尺寸更大或更小)、不同形状(例如,扫视位置的形状可以更加无定形以与特定车辆特征部相对应,使得扫视位置之间没有任何间隙)、不同类别(例如,它们可以表示车辆的其他区域,或者可能存在比图中所示的位置更多或更少的位置),等等。

扫视位置102-126表示驾驶员可能在视觉上注意到的区域。在一个特定示例中,尽管其他示例当然也是可能的,但扫视位置包括:右窗扫视位置102、右镜扫视位置104、右前扫视位置106、后视镜扫视位置108、乘客扫视位置110、左窗扫视位置112、左镜扫视位置114、左前扫视位置116、内部对象扫视位置118、仪表组扫视位置120、前扫视位置122、中控面板扫视位置124以及移动电话扫视位置126。同样,其他扫视位置类型、形状等也是可能的,并且一些扫视位置甚至可能部分重叠。在所示的示例中,驾驶员的扫视目标点由面向驾驶员的摄像头36获得,并且然后映射到各种扫视位置102-126或以其他方式与其相关联。这些扫视目标点/扫视位置可以用于下文进一步详细描述的方法中。

除扫视目标点/扫视位置102-126之外,图3和图4示意性地示出了可以与本系统和方法一起使用的威胁检测分布200、202、204的各种实施方案。更具体地讲,所示威胁检测分布200、202、204是预测显著性分布210,在一些实施方案中,其可以用于补充、证实等扫视分析。威胁检测分布200是预测显著性分布210,其覆盖在车辆12外部的环境的分析图像212上,诸如由环境摄像头34拍摄的图像。预测显著性分布210是基于时空摄像头的预测威胁分布,并且与其他驾驶员可能在视觉上注意到的威胁有关。由于扫视目标点214背对潜在威胁(即,对象车辆216),在该示例中突出显示预测显著性分布210。鉴于预测显著性分布210与扫视目标点估计214(诸如,从面向驾驶员的摄像头36获得的扫视轨迹概率分布)之间的差异,本系统和方法可以就潜在威胁或对象车辆216警示车辆12的驾驶员。预测显著性分布210具有高警告区218、中等警告区220和低警告区222。在一些实施方案中,高警告区218可以是红色等以表示最高估计风险半径,中等警告区220可以从红色转变为橙色或黄色以表示中等估计风险半径,并且低警告区222可以转变为绿色或蓝色以表示低估计风险半径。

预测显著性分布210类似于动态热图等,其根据车辆12的移动和/或环境中对象或威胁的移动而变化。下文中进一步详细描述了预测显著性分布的形成。在图3和图4中的图示中,预测显著性分布210包括第一威胁216,并且随后,分布200、202、204中每一个分布中的每个区218-222随车辆朝向十字路口224移动而变化或变形,在图4中该车辆被示出为更靠近该十字路口。图4具有新的分析图像226,该图像是在晚于图3的分析图像212的时间处拍摄的。在图4中,给定扫视目标点估计214、威胁检测分布202、204可以指示车辆12的驾驶员应该注意到的区域(例如,预测显著性分布210)。下文所述的方法1200、1300更全面地详述了图3和图4中示意性示出的各种分布的形成。

图5示出了使用上文相对于图1至图4描述的系统10和车辆12操作车辆的驾驶员监视系统的方法500。应当理解,本文所述的每种方法的步骤并非必须以任何特定顺序呈现,并且以另选顺序或同时执行一些或所有步骤是可能的并且是可以设想的。此外,这些方法可能能够在与图1中所示的驾驶员监视系统10不同的其他系统中实现,并且在系统10的上下文内对这些方法的描述可能仅仅是示例。

步骤502涉及接收用于车辆12的驾驶员的多个扫视目标点。扫视目标点可以是在ecu60处从面向驾驶员的摄像头36接收的眼睛跟踪数据的形式。在一些实施方案中,眼睛跟踪数据可以表示几个x,y坐标。这可以被估计或投射到车辆12前方的场景,如图3和图4中的点230示意性示出的那样。扫视目标点还可以映射到图2中所示的扫视位置102-126或以其他方式与其相关联。因此,扫视目标点可以是车辆12中和周围的各种扫视位置的扫视目标点估计。可以通过分析来自面向驾驶员的摄像头的视频的几帧来获得扫视目标点。在一个具体实施方案中,面向驾驶员的摄像头36的帧速率约为每1/10秒。

步骤504涉及将来自步骤502的多个扫视目标点输入到分心模型的预测概率中以获得预测分心分布。预测分心分布是表示基于现有数据的碰撞或接近碰撞概率的图形或数字数据模式。为了获得预测分心分布,使用分心模型的预测概率来处理扫视目标点。可以以多种方式实现分心模型的预测概率,其中一种方式大致示出在图6的分解子步骤中。

图6示出了多个子步骤5041-5045。子步骤5041-5043表示通常在执行整个方法500之前完成的初始训练和测试时段,其中子步骤5044-5045表示结合方法500实时或几乎实时地执行的步骤504的分类方面。然而,能够并且设想,在场外进行更多的训练和测试(例如,通过计算机78和后端设施80),并且将来自该训练的更新发送到车辆12以便利用ecu60与实时或几乎实时更新的信息一起处理。

子步骤5041涉及从事件数据库获得现有数据。在一个实施方案中,事件数据库包括来自驾驶员的被标记的现有数据。标记可以包括针对给定特征或扫视位置的事件(碰撞或接近碰撞)和基线(正常)的实例。基线包括正常驾驶给定特定扫视位置,而碰撞/接近碰撞包括在驾驶员碰撞时(或在碰撞之前的特定时间段(例如,10秒)内)或者在接近碰撞的场景中时观察到或以其他方式估计的扫视位置。事件是否被标记为接近碰撞可以取决于系统的期望敏感性。例如,当驾驶员进行纠正操作以避免碰撞(例如,转弯或最大制动)时,可能发生接近碰撞的情况。在具体实施方案中,现有数据从弗吉尼亚理工大学交通运输研究院(vtti)100-汽车数据中获得或以其他方式从弗吉尼亚理工大学交通运输研究院(vtti)100-汽车数据中导出。另外,在该实施方案中,碰撞/接近碰撞的确定可以遵循用于确定碰撞/接近碰撞和基线的vtti标准和统计分析参数。在一些实施方案中,用于子步骤5041的现有数据可以来自车辆12的驾驶员或其他车辆驾驶员。

子步骤5042涉及从训练数据中提取特征。在第一实施方案中,特征提取步骤涉及提取扫视目标点,诸如图2中所示的扫视位置102-126,可以对其进行预定义以用于模型。图7和图8示出了可以与该子步骤一起使用的时间序列扫视模式分析。图7是以1/10秒(总共3秒)为单位的x轴上的时间与图2中所示的扫视位置102-126的关系图700。x1表示没有视频数据,且x2表示驾驶员的眼睛闭合时的情况。图8具有表示以1/10秒(总共3秒)为单位的时间的对应x轴,其中y轴表示碰撞或接近碰撞的概率。图7示出了,驾驶员开始看向左镜扫视位置114(区段702),然后看向内部对象扫视位置118(区段704)、后视镜扫视位置108(区段706)、前扫视位置122(区段708),并且最后看向左窗扫视位置112(区段710)。然后,图8是用于图7中所示的扫视目标点的预测分心分布800。预测分心分布800的变化通常跟随图7的图形表示中的变化(例如,变化发生在约十分之七秒、五分之八秒、两秒、二分之五秒处)。预测分心分布800还可以将驾驶员保持扫视目标点的时间计算在内。例如,图7中的区段704与内部对象扫视位置118处的扫视目标点相对应。驾驶员保持该扫视目标点的时间越长,碰撞/接近碰撞事件的概率就越大。这由预测分心分布800中的对应区段的斜率的增大来反映。其他示例性变型形式、模式等当然也是可能的并且将取决于训练数据。

在第二实施方案中,特征提取子步骤5042涉及提取特征诸如扫视目标点和扫视目标点之间的转变。为了实现第二实施方案,使用图形分析、共生矩阵和/或非负矩阵分解(nmf)技术来提取特征诸如扫视位置和转变。特征提取的该第二实施方案的图形表示在图9、图10和图11中示出。在该示例性实施方案中,以一秒增量分析来自现有数据的扫视目标点以用于图形分析,其包括分别在图9和图10中示出的两个扫视直方图900、1000。在直方图900、1000中,在x轴上绘制扫视位置102-126(其中x1表示没有视频数据,且x2表示眼睛闭合),并且每个扫视位置的计数沿y轴示出。在该示例中,每个直方图900、1000表示一秒,其中每十分之一秒采用新的帧(即,每个直方图十个计数)。其他示例性时间段和帧速率当然也是可能的,另选的图形格式也是可能的。

子步骤5042的该第二实施方案中的特征计数用于获得共生矩阵。继续上文的示例,直方图900、1000用于获得图11中示出的扫视共生矩阵1100。在该示例性共生矩阵1100中,相对于扫视位置102-126、x1、x2绘制扫视位置102-126、x1、x2。共生矩阵1100利用扫视目标点捕获扫视转变。如图所示,鉴于驾驶员在该1秒至2秒的时间段的大部分时间内都看向前扫视位置122,在122、122处出现最高频率区域1102。区域1104表示驾驶员的扫视目标点从前扫视位置122到内部对象扫视位置118的转变的计数频率或估计计数频率,其中区域1106表示相反的转变(即,从内部对象扫视位置118到前扫视位置122的转变)。如图所示,共生矩阵1100包括其他扫视位置和扫视转变。共生矩阵的结构可以与示例性共生矩阵1100不同,并且其格式和配置将根据许多因素(诸如,扫视位置的数量、分析时序等)而变化。

子步骤5042的该第二实施方案中的共生矩阵1100可以用于导出包括扫视位置和扫视转变的多个特征,这些特征可能更可能造成碰撞/无碰撞场景。在一个示例中,使用非负矩阵分解(nmf)技术来实现附加级别的特征提取。图11还示出了通过使用nmf技术对共生矩阵1100进行因式分解产生的三个子矩阵1110、1112、1114。然而,应当指出的是,可能生成具有更多特征的更多子矩阵,但图11中仅示出了三个子矩阵。鉴于其倾向于集群输入数据,nmf对于形成子矩阵1110、1112、1114可能特别有用。每个子矩阵中的高频区域可以用作步骤5042的提取特征。在该示例中,子矩阵1110具有与左窗扫视位置112,112相对应的高频区域1120。子矩阵1112具有与右窗扫视位置102,102相对应的高频区域1122。子矩阵1114具有与左镜扫视位置114,114相对应的高频区域1124。nmf技术可以有助于从输入的当前数据中导出新特征,诸如扫视转变,其发生在两个不同的扫视位置102-126、x1、x2的交汇处。

子步骤5043涉及针对子步骤5042中提取的给定特征(例如,扫视位置和/或扫视转变)形成事件概率的观察矩阵。观察矩阵包括从现有数据中导出的特征可能性,其用于训练用于方法500的实时/几乎实时方面的隐马尔可夫模型(hmm)。观察矩阵尺寸可以包括每行中的多个特征,其中包括两列以用于给定事件(例如,碰撞和/或接近碰撞)的给定观察扫视目标点的概率以及给定基线(例如,正常驾驶或未碰撞/接近碰撞)的给定观察扫视目标点的概率。继续上文相对于图7和图8所述的第一实施方案,观察矩阵将包括具有以下示例性概率的扫视位置,如下表i中所示。

表i

例如,与其他扫视位置相比,用于移动电话扫视位置126的p(观察|事件)的值相对较高(例如,鉴于移动电话扫视目标点,它可能更有可能陷入碰撞/接近碰撞事件)。然而,对于移动电话扫视位置126而言,p(观察|基线)相对较低,因为其在驾驶员的扫视目标点中通常不太常见。这些概率以及相应的观察矩阵将根据现有数据和训练而变化,并且可以定期更新(例如,通过经由无线通信设备40将新的训练数据从后端设施80传送到ecu60)。用于第二实施方案的观察矩阵可以类似于上文表i中所示的观察矩阵,但用于第二实施方案的观察矩阵包括从共生矩阵1100中分解出的特征,而不是仅包括扫视位置。观察矩阵可以表示扫视位置的集群以及每个集群相对于所有其他集群的发生频率。

子步骤5044和5045表示分心模型的预测概率的实时或几乎实时的方面。子步骤5044涉及从眼睛跟踪数据中提取特征。这可以利用在步骤502中获得的扫视目标点来实现。继续具有子步骤5043的第一示例性实施方案,可以相对于扫视位置102-126(具有x1和x2)关联和分析扫视目标点。继续具有步骤5043的第二示例性实施方案,可以关联并分析扫视目标点以确定扫视位置和扫视转变。

在子步骤5045中,获得预测分心分布。在一个实施方案中,观察矩阵然后可以与hmm一起用于获得针对从驾驶员接收到的实时或几乎实时的扫视目标点的预测分心分布。因此,观察矩阵可以用于使用前向预测算法对输入的测试数据进行预测。在一个实施方案中,使用贝叶斯更新,并且基于扫视位置和现有数据利用以下公式计算前向预测算法(例如,处于事件状态或基线状态时)。

然后可以执行递归算法,其中,以固定的时间步骤增量重复以下公式(公式2):

公式2:p(状态t+1|观察1∶t+1)=α*p(观察t+1|状态t+1)∑状态tp(状态t+1|状态t)*p(状态t|观察1∶t)

其中,α为归一化系数;p(观察t+1|状态t+1)从观察矩阵中获得;p(状态t+1|状态t)是从先前状态转变到新状态的转变概率(即,从先前时间步骤中预测到的先前状态变为另一状态(其可能是事件或基线)的概率));并且p(状态t|观察1∶t)是先前步骤中的预测状态概率。当应用于时间序列扫视目标点数据时,该贝叶斯更新可以给出碰撞/接近碰撞(即,事件状态)的概率。

预测概率分布可以是上文计算的贝叶斯更新的结果,或者在一些实施方案中,可以针对指定时间窗口(例如,1秒)分析使用来自观察矩阵的数据至少部分地获得的预测概率,以实现预测概率分布。在一个有利的实施方案(上文所述的第一示例性实施方案)中,hmm将扫视目标点作为输入并预测当前状态(例如,事件或基线;碰撞/接近碰撞或正常)。针对每个扫视目标点输入,查找来自观察矩阵的可能性值,然后将其乘以转变概率以得到用于给定扫视位置的预测状态。在另一个有利的实施方案(上文所述的第二示例性实施方案)中,以滑动窗口方式以一步增量将共生矩阵1100馈送到hmm中。然后,hmm提供分心分布的概率(例如,碰撞/接近碰撞的可能性)。一步增量的滑动窗口方法可以有助于逐步更新分心模型的预测概率的参数。

返回图5中的方法500,可以将在步骤504中获得的预测分心分布与步骤506中的预测分心分布阈值进行比较。根据预测分心分布结构化的方式,步骤506询问预测分心分布是否无法满足或超过预测分心分布阈值。在一个实施方案中,步骤506询问预测分心分布值是否大于预测分心分布阈值。应当理解,比较步骤中的叙述诸如“小于”或“大于”是开放式的,使得其可以分别包括“小于或等于”或“大于或等于”,并且这将取决于期望具体实施中已建立的参数评估。预测分心分布阈值可以是动态阈值,其至少部分地从现有数据中学习得到或者基于现有数据。在一个更具体的实施方案中,预测分心分布阈值是启发式学习阈值,其至少部分地基于当前扫视位置或扫视转变,如下文将进一步详述的。在一个更具体的实施方案中,预测分心分布阈值是用于特定扫视位置的概率0.4至0.6(有利地为0.5),这在下文中将再次进一步详述。例如,对于扫视位置诸如移动电话扫视位置126而言,该阈值可能较低;对于扫视位置诸如前扫视位置122而言,该阈值可能较高。步骤506中的阈值分析可以有助于确定方法500何时将触发系统10以警示车辆12的驾驶员。如果预测分心分布不满足或超过阈值,则方法500可以返回到步骤502以继续监视驾驶员。如果预测分心分布确实满足或超过阈值,则该方法继续到步骤508以确定是否存在一个或多个信息性扫视位置。

步骤508涉及确定从车辆12的驾驶员接收到的多个扫视目标点中是否存在一个或多个信息性扫视位置。该步骤可以查看分析时间段(例如,最后一秒,但其他时间段也是可能的)内的扫视位置。如果存在一个或多个信息性扫视位置,则该方法将继续到步骤510以警示驾驶员。如果不存在一个或多个信息性扫视位置,则该方法将继续到步骤512以评估当前驾驶状态。在一个实施方案中,信息性扫视位置的确定取决于预测概率。例如,如果对于给定扫视位置,预测概率或准确度高于特定量(例如,85%至90%),则可以认为该给定扫视位置是信息性扫视位置。在另一个实施方案中,信息性扫视位置包括移动电话扫视位置126、眼睛闭合x2、内部对象扫视位置118、乘客扫视位置110和中控面板扫视位置124。在另一实施方案中,如果最近的扫视位置主要包括以下扫视位置,则可以确定不存在一个或多个信息性扫视位置:前扫视位置122、后视镜扫视位置108、左窗扫视位置102和右窗扫视位置112、以及左镜扫视位置104和右镜扫视位置114。

步骤510涉及警示车辆12的驾驶员。可以诸如利用显示器50提供各种警示。在有利的实施方案中,显示器50是增强现实显示器,其向驾驶员突出显示或提供某些类型的视觉指示,使得驾驶员注意力应集中在与他或她当前关注的位置不同的位置上(例如,在车辆12中的增强现实显示器或另一显示器上突出显示潜在威胁)。在另一个实施方案中,使用音频系统56提供定向音频提示。例如,可以提供用于定向音频感知的声学提示,以帮助指示检测到的威胁大致位于何处。在又一个实施方案中,触觉反馈装置58用于警示驾驶员。例如,可以激活座椅90中的区域92、94,以向车辆12的驾驶员警示存在朝向车辆的对应侧面的潜在威胁。其他基于hmi的警示以及各种其他警示当然也是可能的。例如,可以执行自动驾驶动作等以帮助避免威胁。一般来讲,步骤510中的警示有助于减少或减轻预测的驾驶员分心情况。

如果在步骤508中确定不存在一个或多个信息性扫视位置,则该方法可以继续到步骤512以确定车辆12的当前驾驶状态。该步骤可以提供驾驶相关的上下文信息以增强预测准确度。例如,如果存在特定驾驶状态(例如,车辆12停止、倒车、在停车场中、在车道上等),则方法500可以不继续。例如,如果车辆12在交通信号灯处停止,则方法500可以在警示驾驶员之前先等待一段时间,直到车辆12处于运动状态。

步骤512将预测分心分布确定与预测显著性分布融合。在一些实施方案中,在步骤510中确定的当前驾驶状态在该步骤中也可以用作输入。例如,可以仅在车辆12运动时执行下文概述的预测显著性分布计算。方法500可以依赖于预测显著性分布而不是仅依赖于预测性分心分布来确定是否向驾驶员发出警示(步骤508)。步骤512可以涉及产生扫视显著性分布(图12中的方法1200)以及/或者生成传感器显著性分布(图13中的方法1300)。

在两种方法1200、1300中,生成在每种方法中使用的预测显著性分布涉及类似的步骤。如上所述,预测显著性分布是针对其他驾驶员可能在视觉上注意到的威胁的基于时空摄像头的预测分布。在一些实施方案中,使用计算机78和后端设施80至少部分地实现用于最初形成预测显著性分布的一个或多个方面的训练,其中然后将关于驾驶员可能将注意到的威胁的信息本地发送到车辆12,以用于实时或几乎实时的处理。因此,可以使用查找表、图像匹配算法、或特定威胁的一些其他编译来形成预测显著性分布,并且可以对那些威胁进行加权或以其他方式进行排序(例如,车辆随图3中的威胁车辆216、图3和图4中所示的接近的交通或十字路口224、或其他潜在威胁退出停车位,该其他潜在威胁包括但不限于道路中的对象或行人、碰撞风险、道路特征诸如急转弯等)。可以采用模型训练,以例如通过观察驾驶员并记录驾驶时产生的针对特定对象的扫视模式来形成威胁编译。例如,如果大多数驾驶员在视觉上注意到对象或威胁类型,则该对象或威胁类型可能被包含在编译中。可以使用各种技术来实现加权和/或排序,这包括使用从传感器22-32、摄像头34或一些其他源获得的数据对接近度、速度、加速度等进行加权。

为了形成预测显著性分布,步骤1202、1302涉及在获得分析环境摄像头图像之前获得多个初始环境摄像头图像。多个初始环境摄像头图像和分析环境摄像头图像优选为从环境摄像头34的视频反馈中获得或以其他方式从环境摄像头34的视频反馈中提取的连续图像。初始环境摄像头图像的数量可以取决于要在神经网络中传递的批次大小,如下文将进一步详述的。在一个有利的实施方案中,初始环境摄像头图像的数量是十五,其中第十六图像是分析环境摄像头图像,诸如图3中所示的图像212。一旦获得了多个初始环境摄像头图像,则每个分析图像可以在初始批次之后顺序地继续。例如,延迟不受图4中所示的分析图像226的影响,因为已经获得了足够的批次大小,并且在处理了初始环境摄像头图像之后可以进行每个单独分析环境图像的后续处理。

在一个特定实施方案中,步骤1204、1304涉及执行初始环境摄像头图像的光流分析。在一个实施方案中,光流分析涉及每个初始环境摄像头图像的图像匹配。光流分析有助于编码与车辆12前方的区域或者和方法1200、1300一起监视并采用的另一区域中的相对移动有关的信息。在一个特定示例中,在步骤1204、1304中使用opencvdeepflow。在其他实施方案中,采用变分能量最小化或另一种类型的图像匹配光流分析。

在一个特定实施方案中,步骤1206、1306涉及分析环境摄像头图像的语义分割。语义分割分析可以提供风景信息,并且可以输出用于生成预测显著性分布的各种区域、结构、片段、形状等。语义分割可以使用任何可操作算法或分割技术,并且可能将取决于期望分割输出结构。在一些实施方案中,还使用语义分割分析来分析每个单独的初始环境图像。在此类实施方案中,将16个分割帧的聚合序列输入到步骤1208、1308中。然而,另选编号的序列当然也是可能的(例如,初始批次可以具有更多或更少的顺序图像帧)。

步骤1208、1308涉及生成预测显著性分布。步骤1208、1308获得来自分析环境摄像头图像的输入、来自步骤1204、1304的光流分析结果、以及来自步骤1206、1306的语义分割分析结果。在一个实施方案中,神经网络用于生成预测显著性分布,并且预测显著性分布是指示分析环境图像中其他驾驶员可能注意到的潜在威胁区域的概率分布函数。在一个示例中,如图3和图4中所示,预测显著性分布210是动态地突出显示顺序图像中的各个区的热图,其中分布210随图像中各种威胁的相对位置改变而变化或变形。预测显著性分布210还可以以其他各种形式表示,诸如以数字形式、以图形形式或使用另一种分布函数模型表示。

方法1200、1300均将分别在步骤1202至1208和步骤1302至1308中生成的预测显著性分布用作输入。方法1200、1300的不同之处在于,除预测显著性分布之外,还将扫视目标点估计(方法1200:步骤1210至1212)和威胁加权占有概率分布(方法1300:步骤1310至1312)用作输入。因此,方法1200更多地关注扫视显著性,而方法1300更多地关注传感器显著性,其中任一方法能够在整个方法500中生成警示(步骤510)。

方法1200的步骤1210涉及从车辆的驾驶员接收眼睛跟踪数据。这可以使用在方法500的步骤502中例如利用面向驾驶员的摄像头36接收到的扫视目标点来实现。在一些实施方案中,眼睛跟踪数据可以表示几个x,y坐标。这可以被估计或投射到车辆12前方的场景,如图3和图4中的点230示意性示出的那样。可以通过分析来自面向驾驶员的摄像头的视频的几帧来获得扫视目标点估计。在一些实施方案中,面向驾驶员的摄像头36的帧速率(例如,约每1/10秒)高于环境摄像头34的帧速率,使得可以得到用于扫视目标点估计的更多数据。

方法1200的步骤1212涉及使用来自步骤1210的眼睛跟踪数据来确定扫视轨迹概率分布。扫视轨迹概率分布是扫视目标点估计,其可以表示一群或一组协调的眼睛移动(例如,场景上的模型分布)。在一个实施方案中,2d隐马尔可夫模型(hmm)用于根据接收到的眼睛跟踪数据确定扫视轨迹概率分布。鉴于基于序列的图像分析,2dhmm可能是有利的模型。

方法1200的步骤1214涉及创建单应投影以协调扫视轨迹概率分布和分析环境摄像头图像。单应投影相应地协调来自环境摄像头34和面向驾驶员的摄像头36的输入。创建单应投影中涉及的处理属性和算法将取决于各种因素,这些因素为诸如每个摄像头34、36的安装布置、摄像头类型、图像大小等。在步骤1214中创建单应投影允许与在步骤1208中计算得到的预测显著性分布进行更有效且更准确的比较。

步骤1216涉及确定在步骤1202至1208中确定的预测显著性分布与在步骤1210至1214中确定的扫视轨迹概率分布之间的扫视显著性差异。差异越大,驾驶员就越不可能注意到对车辆12的显著威胁。在有利的实施方案中,步骤1216涉及计算预测显著性分布与扫视轨迹概率分布之间的kullback-leibler(kl)散度。将kl散度(扫视显著性差异)与用于预测显著性分布的神经网络结合可以允许更复杂地近似估算且更准确地确定错误威胁检测。在步骤1216中确定差异的其他方法包括但不限于扫描显著性、直方图分析、像素线性度、分析roc(接收器操作特性)曲线下方的面积、或一些其他可操作的方法。

方法1200的步骤1218涉及将在步骤1216中确定的扫视显著性差异与扫视显著性差异阈值进行比较。在一个实施方案中,步骤1218询问扫视显著性差异是否大于扫视显著性差异阈值。应当理解,比较步骤中的叙述诸如“小于”或“大于”是开放式的,使得其可以分别包括“小于或等于”或“大于或等于”,并且这将取决于期望具体实施中已建立的参数评估。扫视显著性差异阈值可以是动态阈值,其至少部分地从现有数据中学习得到或者基于现有数据。在一个更具体的实施方案中,扫视显著性差异阈值是启发式学习阈值,其至少部分地基于当前显著性和/或扫视模式。例如,如果预测显著性分布指示朝向周边的可能威胁(例如,来自小巷的接近交通),但驾驶员正在看向中心,则阈值可能较低。相比之下,对于盯着地平线的司机,则存在中心偏置。如果预测显著性分布在驾驶员正在看向周边区域时指示车辆前方公路上的潜在威胁,则阈值可能较高。因此,可以根据威胁的类型、给定驾驶环境的驾驶员的扫视位置、或其他因素来调整扫视显著性阈值。有利地,设置扫视显著性阈值,使得具有低概率扫视目标点估计的高概率显著性预测(例如,预测显著性分布210中的区218、220)将触发系统10以警示车辆12的驾驶员。因此,在步骤1218之后,如果扫视显著性差异大于扫视显著性差异阈值,则方法1200将返回到方法500的步骤510,以警示驾驶员。在这种情况下,驾驶员可能会分心、疲倦或注意力不集中。

如上所述,方法1200、1300均将分别在步骤1202至1208和步骤1302至1308中生成的预测显著性分布用作输入。图13中的方法1300与图12中的方法1200的不同之处在于,方法1300将威胁加权占有概率分布(方法1300:步骤1310至1312)用作输入,而不是将扫视目标点估计(方法1200:步骤1210至1212)用作输入。

方法1300的步骤1310涉及接收外部传感器读数。这可以使用对象检测传感器32来实现,该对象检测传感器有利地为雷达传感器或激光雷达传感器。在更具体的实施方案中,在步骤1310中接收到的传感器读数是来自透地雷达传感器的对象检测读数。可以以多种不同的可操作形式提供来自传感器读数的信息的表示。例如,马尔可夫随机场(mrf)模型可以用于利用来自对象检测传感器32的可以被过滤和/或平滑的传感器读数来估计占有网格。

方法1300的步骤1312涉及根据在步骤1310中获得的一个或多个传感器读数确定威胁加权占有概率分布。继续上文提供的示例,占有网格可以用于至少部分地确定威胁加权占有概率分布。可以使用mrf模型来形成占有网格,每个网格单元通常表示威胁的位置,其中以不同的维度表示一个或多个方面诸如惯性、相对速率等(例如,沿z轴经由x,y坐标指定位置,一些实施方案可能具有三个或更多个维度)。因此,在该实施方案中,占有网格是威胁加权占有概率分布;然而,用于生成威胁加权占有概率分布的其他方法当然也是可能的。例如,可以以不同的坐标方案或以更适合于不同分布类型的其他格式提供传感器数据。另外,步骤1312可以使用信息诸如由来自速度传感器22-28的读数指示的主机车辆速度或者来自其他系统部件的信息,来帮助生成威胁加权占有概率分布。

方法1300的步骤1314涉及创建对准投影以协调威胁加权占有概率分布和步骤1302中获得的分析环境摄像头图像。在一个实施方案中,对准投影是单应投影,但其他对准技术也是可能的并且可以取决于传感器32的类型。对准投影相应地协调来自环境摄像头34和对象检测传感器32的输入。创建投影中涉及的处理属性和算法将取决于各种因素,这些因素为诸如摄像头34的安装布置、传感器32的类型、图像大小、传感器32的范围等。在步骤1314中创建对准投影允许与在步骤1308中计算得到的预测显著性分布进行更有效且更准确的比较。

步骤1316涉及确定在步骤1302至1308中确定的预测显著性分布与在步骤1310至1314中确定的威胁加权占有概率分布之间的传感器显著性差异。差异越大,存在异常环境传感器指示的可能性就越大。在一些情况下,对象检测传感器32可以指示预测显著性分布未触发或呈现风险的异常对象或操纵。这些异常可以帮助训练或形成预测显著性分布、就未对准的传感器(例如,具有高概率显著性预测和低概率威胁加权占有检测)警示驾驶员、并且/或者就低概率显著威胁(例如,大多数驾驶员均不会评估的威胁)仍然存在风险(如高概率威胁加权占有检测所指示)警示驾驶员。在有利的实施方案中,步骤1316涉及计算预测显著性分布与威胁加权占有概率分布之间的kullback-leibler(kl)散度。将kl散度(传感器显著性差异)与用于预测显著性分布的神经网络结合可以允许更复杂地近似估算且更准确地确定错误威胁检测。在步骤1316中确定差异的其他方法包括但不限于扫描显著性、直方图分析、像素线性度、分析roc(接收器操作特性)曲线下方的面积、或一些其他可操作的方法。

方法1300的步骤1318涉及将在步骤1316中确定的传感器显著性差异与传感器显著性差异阈值进行比较。在一个实施方案中,步骤1318询问传感器显著性差异是否大于传感器显著性差异阈值。同样,应当理解,比较步骤中的叙述诸如“小于”或“大于”是开放式的,使得其可以分别包括“小于或等于”或“大于或等于”,并且这将取决于期望具体实施中已建立的参数评估。就预测分心分布阈值和扫视显著性差异阈值而言,传感器显著性差异阈值可以是动态阈值,其至少部分地从现有数据中学习得到或者基于现有数据。在一个更具体的实施方案中,传感器显著性差异阈值是启发式学习阈值,其至少部分地基于当前显著性和/或传感器读数。例如,如果透地雷达对象检测传感器32指示骑车人从车辆12一侧的树篱后面接近车辆,但预测显著性分布表明没有风险,则阈值可能较低。对于直接在车辆前方的更显著的威胁,阈值可能较高。因此,可以根据威胁的类型、传感器的类型、或其他因素来调整传感器显著性阈值。有利地,设置传感器显著性阈值,使得具有高概率威胁加权占有估计的低概率显著性预测(例如,预测显著性分布210中的区222或不存在区)将触发系统10以警示车辆12的驾驶员。因此,在步骤1318之后,如果扫视显著性差异大于扫视显著性差异阈值,则方法1300将返回到方法500的步骤510,以警示驾驶员。

应当理解,前面是对本发明的一个或多个实施方案的描述。本发明不限于本文所公开的特定实施方案,而是仅由下文的权利要求限定。此外,除非是上文明确定义的术语或短语,否则前述说明书中包含的陈述涉及特定实施方案,并且不应被解释为对本发明范围的限制或对权利要求中所用的术语的定义的限制。各种其他实施方案以及对所公开的实施方案的各种改变和修改对于本领域技术人员而言将是显而易见的。所有此类其他实施方案、改变和修改旨在落入所附权利要求的范围内。

如在本说明书和权利要求中所用的,术语“如”、“例如”、“比如”、“诸如”和“像”以及动词“包含”、“具有”、“包括”及它们的其他动词形式,在与一个或多个部件或其他项目的列表结合使用时,各自均被理解为是开放式的,这意味着该列表不应被视为排除其他附加部件或项目。其他术语应被理解为使用其最广泛的合理含义,除非它们用于需要不同解释的上下文中。另外,术语“和/或”应被理解为包括性“或”。因此,例如,短语“a、b和/或c”应被解释为涵盖以下的任一者或多者:“a”;“b”;“c”;“a和b”;“a和c”;“b和c”;以及“a、b和c”。


技术特征:

1.一种操作用于车辆的驾驶员监视系统的方法,包括以下步骤:

接收用于所述车辆的驾驶员的多个扫视目标点;

将所述多个扫视目标点输入到分心模型的预测概率中以获得预测分心分布;

确定所述多个扫视目标点中是否存在一个或多个信息性扫视位置;

当所述多个扫视目标点中存在一个或多个信息性扫视位置时,将所述预测分心分布与预测分心分布阈值进行比较;以及

当所述预测分心分布满足或超过所述预测分心分布阈值时,警示所述驾驶员。

2.根据权利要求1所述的方法,其中,所述预测分心分布是表示基于现有数据的碰撞或接近碰撞概率的图形或数字数据模式。

3.根据权利要求1所述的方法,还包括以下步骤:当所述多个扫视目标点中不存在一个或多个信息性扫视位置时,将所述预测分心分布与预测显著性分布融合。

4.根据权利要求3所述的方法,还包括以下步骤:在将所述预测显著性分布与所述预测分心分布融合时,确定当前驾驶状态并将所述当前驾驶状态用作输入。

5.根据权利要求1所述的方法,其中所述分心模型的预测概率包括隐马尔可夫模型(hmm)。

6.根据权利要求1所述的方法,其中所述分心模型的预测概率包括使用针对给定扫视位置的事件概率的观察矩阵来获得所述预测分心分布。

7.根据权利要求1所述的方法,其中所述分心模型的预测概率包括形成所述多个扫视目标点的图形表示。

8.根据权利要求7所述的方法,其中所述图形表示是所述多个扫视目标点的直方图。

9.根据权利要求8所述的方法,其中所述图形表示用于形成扫视共生矩阵,所述扫视共生矩阵捕获具有所述多个扫视目标点的多个扫视转变。

10.根据权利要求9所述的方法,还包括以下步骤:将所述扫视共生矩阵馈送到隐马尔可夫模型(hmm)中。

11.根据权利要求10所述的方法,其中,以滑动窗口方式以一步增量完成所述馈送。

12.根据权利要求9所述的方法,还包括以下步骤:使用非负矩阵分解(nmf)技术对所述扫视共生矩阵进行因式分解以产生多个nmf因子。

13.根据权利要求12所述的方法,还包括以下步骤:从所述多个非负矩阵分解(nmf)因子中导出多个特征。

14.根据权利要求13所述的方法,还包括以下步骤:将所述多个特征与针对给定扫视位置和扫视转变的事件概率的观察矩阵进行比较,以获得所述预测分心分布。

15.一种用于车辆的驾驶员监视系统,包括:

面向驾驶员的摄像头;以及

电子控制单元(ecu),所述ecu可操作地耦接到所述面向驾驶员的摄像头,其中所述ecu被配置为:从所述面向驾驶员的摄像头接收用于所述车辆的驾驶员的多个扫视目标点;将所述多个扫视目标点输入到分心模型的预测概率中以获得预测分心分布;确定所述多个扫视目标点中是否存在一个或多个信息性扫视位置;当所述多个扫视目标点中存在一个或多个信息性扫视位置时,将所述预测分心分布与预测分心分布阈值进行比较;并且当所述预测分心分布满足或超过所述预测分心分布阈值时,警示所述驾驶员。

技术总结
本发明题为“驾驶员监视系统及其操作方法”。本发明公开了用于车辆的驾驶员监视系统以及操作驾驶员操作系统的方法。在一种具体实施中,该方法涉及:接收用于车辆的驾驶员的多个扫视目标点;将多个扫视目标点输入到分心模型的预测概率中以获得预测分心分布;确定多个扫视目标点中是否存在一个或多个信息性扫视位置;当多个扫视目标点中存在一个或多个信息性扫视位置时,将预测分心分布与预测分心分布阈值进行比较;以及当预测分心分布满足或超过预测分心分布阈值时,警示驾驶员。

技术研发人员:L·A·布什;S·A·林;P·考尔
受保护的技术使用者:通用汽车环球科技运作有限责任公司
技术研发日:2019.06.11
技术公布日:2020.06.26

分享驾驶员监视系统及其操作方法与流程的相关内容如下: