(12)发明专利申请
(10)申请公布号 CN 111008554 A(43)申请公布日 2020.04.14
(21)申请号 201910981853.0(22)申请日 2019.10.16
(71)申请人 合肥湛达智能科技有限公司
地址 230088 安徽省合肥市高新区黄山路
602号国家大学科技园创业孵化中心(72)发明人 王定国 陈孝庭
(74)专利代理机构 北京同辉知识产权代理事务
所(普通合伙) 11357
代理人 郭丽英(51)Int.Cl.
G06K 9/00(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)G06T 7/11(2017.01)
权利要求书2页 说明书5页 附图1页
(54)发明名称
一种基于深度学习的动态交通斑马线内不礼让行人识别方法
(57)摘要
本发明提供了一种基于深度学习的动态交通斑马线内不礼让行人识别方法，应用于交通自动识别技术领域，包括：获取连续时间段内的多个待检测图像，其中，目标图像为包含斑马线区域的行人和/或车辆的图像；将每一个待检测图像进行图像分割处理，获得分割图像，并对分割图像按照时间顺序和图像的位置顺序进行编号；将编号后的分割图像分别输入至深度学习模型中，通过所述深度学习模型进行识别是否存在不礼让行为的机动车，并记录该机动车的车牌号。应用本发明实施例，自动识别不礼让行人的车辆，提高了识别效率。
CN 111008554 ACN 111008554 A
权 利 要 求 书
1/2页
1.一种基于深度学习的动态交通斑马线内不礼让行人识别方法，其特征在于，所述方法包括：
S101，获取连续时间段内的多个待检测图像，其中，目标图像为包含斑马线区域的行人和/或车辆的图像；
S102，将每一个待检测图像进行图像分割处理，获得分割图像，并对分割图像按照时间顺序和图像的位置顺序进行编号；
S103，将编号后的分割图像分别输入至深度学习模型中，通过所述深度学习模型进行识别是否存在不礼让行为的机动车，并记录该机动车的车牌号，其中，所述深度学习模型的识别过程包括：识别与行人距离最小、且位于斑马线上的机动车；根据相邻两幅待检测图像确定车辆是否为减速状态，如果否，则确认车辆为非礼让行人状态，并识别该车辆的车牌号。
2.根据权利要求1所述的基于深度学习的动态交通斑马线内不礼让行人识别方法，其特征在于，所述深度学习模型包括：
第一卷积层，包括两个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第一图像特征；
第一池化层，接收所输入的第一图像特征，并对所述第一图像特征进行压缩；第二卷积层，包括三个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第二图像特征；
第二池化层，接收所输入的第二图像特征，并对所述第二图像特征进行压缩；第三卷积层，包括二个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第三图像特征；
第三池化层，接收所输入的第三图像特征，并对所述第三图像特征进行压缩；所述第一卷积层与上采样层相连逆卷积层后接一个向上采样层，每一个卷积层与激活函数相连，第二卷积层后接一个向上采样层，采用上采样层进行内容复制并扩充特征映射图；
接收原始车道图片，通过多个卷积层提取车道区域特征信息，以及经过上采样层进行填充处理，获得与行人距离最小的车辆，并获得车辆是否为减速状态的结果。
3.根据权利要求1或2所述的基于深度学习的动态交通斑马线内不礼让行人识别方法，其特征在于，所述将编号后的分割图像分别输入至深度学习模型中的步骤，包括:
将分割后图像输入深度学习模型中，判定所述分割后图像中各像素点的类别并赋予类别标签，得到分割出车道区域的各分割后图像，其中，所述类别标签包括减速状态和非减速状态。
4.根据权利要求3所述的基于深度学习的动态交通斑马线内不礼让行人识别方法，其特征在于，所述深度学习模型的识别过程包括的步骤，包括：
根据所述类别标签，获取每一分割后图像中每一个像素点所对应的类别标签；统计该分割后图像中，每一个类别标签的数量；获取所述数量的最大值；
将该最大值对应的类别标签确定为该分割后图像做对应的区域；获取类别标签为非减速状态的车辆，并识别该车辆的车牌号。
2
CN 111008554 A
权 利 要 求 书
2/2页
5.根据权利要求2所述的基于深度学习的动态交通斑马线内不礼让行人识别方法，其特征在于，所述深度学习模型的训练方法包括：
从分割后图像中随机选取第一数量张图像输入卷积神经网络中，第一数量为正整数，其中，第一数量张图像包含正样本和负样本，其中，正样本为不礼让行人的图像、负样本为礼让行人的图像；
通过所述卷积神经网络提取所述第一数量分割后图像的特征；
根据提取的特征将所述第一数量分割后图像划分为减速状态和非减速状态，得到区域划分结果；
根据所述区域划分结果调整所述卷积神经网络的参数。
6.根据权利要求5所述的基于深度学习的动态交通斑马线内不礼让行人识别方法，其特征在于，所述方法还包括：
从分割后图像中随机选取第二数量张图像输入卷积神经网络中进行测试；
通过所述卷积神经网络获得所述第二数量分割后图像中每一个图像的分类结果；根据分类结果确定划分正确的样本数量，并获取分类正确率；在分类正确率不小于预设阈值的情况下，并基于当前该卷积神经网络的参数确定为深度学习模型。
3
CN 111008554 A
说 明 书
1/5页
一种基于深度学习的动态交通斑马线内不礼让行人识别方法
技术领域
[0001]本发明涉及车道识别技术领域，尤其涉及一种基于深度学习的动态交通斑马线内不礼让行人识别方法。
背景技术
[0002]目前对于机动车辆的违规主要可以通过电子摄像头进行图像的采集、识别，获得违章结果，而对于非机动车道的车辆则没有明确的检测方法。[0003]现有技术中，有的采用对非机动车道区域进行图像获取，并通过霍夫变换用于在二值图像中找到直线，这通常对应于车道边界。但是通过霍夫变换，通常很难确定一条线是否与车道边界相对应。在色彩分割方法中，RGB图像经常转换为HSI或自定义色彩空间，由于这些方法在像素级别运行，它们通常对来自路灯或类似照明源的环境光颜色的变化敏感。[0004]目前车道识别技术主要是通过对普通可见光图像进行车道线边缘的识别来实现，但该方法局限性较大，会受到很多外界因素如强光、阴影等的干扰，导致系统识别效率低，准确性差，普适性不高。发明内容
[0005]本发明的目的在于克服现有技术之缺陷，提供了一种基于深度学习的动态交通斑马线内不礼让行人识别方法，旨在自动识别斑马线处不礼让行人的车辆，提高识别效率。[0006]本发明是这样实现的：
[0007]本发明提供一种基于深度学习的动态交通斑马线内不礼让行人识别方法，包括步骤：
[0008]S101，获取连续时间段内的多个待检测图像，其中，目标图像为包含斑马线区域的行人和/或车辆的图像；[0009]S102，将每一个待检测图像进行图像分割处理，获得分割图像，并对分割图像按照时间顺序和图像的位置顺序进行编号；[0010]S103，将编号后的分割图像分别输入至深度学习模型中，通过所述深度学习模型进行识别是否存在不礼让行为的机动车，并记录该机动车的车牌号，其中，所述深度学习模型的识别过程包括：识别与行人距离最小、且位于斑马线上的机动车；根据相邻两幅待检测图像确定车辆是否为减速状态，如果否，则确认车辆为非礼让行人状态，并识别该车辆的车牌号。
[0011]一种实现方式中，所述深度学习模型包括：[0012]第一卷积层，包括两个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第一图像特征；[0013]第一池化层，接收所输入的第一图像特征，并对所述第一图像特征进行压缩；[0014]第二卷积层，包括三个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第二图像特征；
4
CN 111008554 A[0015]
说 明 书
2/5页
第二池化层，接收所输入的第二图像特征，并对所述第二图像特征进行压缩；
[0016]第三卷积层，包括二个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第三图像特征；[0017]第三池化层，接收所输入的第三图像特征，并对所述第三图像特征进行压缩；[0018]所述第一卷积层与上采样层相连逆卷积层后接一个向上采样层，每一个卷积层与激活函数相连，第二卷积层后接一个向上采样层，采用上采样层进行内容复制并扩充特征映射图；
[0019]接收原始车道图片，通过多个卷积层提取车道区域特征信息，以及经过上采样层进行填充处理，获得与行人距离最小的车辆，并获得车辆是否为减速状态的结果。[0020]一种实现方式中，所述将编号后的分割图像分别输入至深度学习模型中的步骤，包括
[0021]将分割后图像输入深度学习模型中，判定所述分割后图像中各像素点的类别并赋予类别标签，得到分割出车道区域的各分割后图像，其中，所述类别标签包括减速状态和非减速状态。
[0022]一种实现方式中，所述深度学习模型的识别过程包括的步骤，包括：[0023]根据所述类别标签，获取每一分割后图像中每一个像素点所对应的类别标签；[0024]统计该分割后图像中，每一个类别标签的数量；[0025]获取所述数量的最大值；
[0026]将该最大值对应的类别标签确定为该分割后图像做对应的区域；[0027]获取类别标签为非减速状态的车辆，并识别该车辆的车牌号。[0028]一种实现方式中，所述深度学习模型的训练方法包括：
[0029]从分割后图像中随机选取第一数量张图像输入卷积神经网络中，第一数量为正整数，其中，第一数量张图像包含正样本和负样本，其中，正样本为不礼让行人的图像、负样本为礼让行人的图像；
[0030]通过所述卷积神经网络提取所述第一数量分割后图像的特征；
[0031]根据提取的特征将所述第一数量分割后图像划分为减速状态和非减速状态，得到区域划分结果；
[0032]根据所述区域划分结果调整所述卷积神经网络的参数。[0033]一种实现方式中，所述方法还包括：
[0034]从分割后图像中随机选取第二数量张图像输入卷积神经网络中进行测试；
[0035]通过所述卷积神经网络获得所述第二数量分割后图像中每一个图像的分类结果；[0036]根据分类结果确定划分正确的样本数量，并获取分类正确率；[0037]在分类正确率不小于预设阈值的情况下，并基于当前该卷积神经网络的参数确定为深度学习模型。
[0038]应用本发明的基于深度学习的动态交通斑马线内不礼让行人识别方法，通过获取连续时间段内的多个待检测图像，然后将每一个待检测图像进行图像分割处理，获得分割图像，并对分割图像按照时间顺序和图像的位置顺序进行编号；再将编号后的分割图像分别输入至深度学习模型中，通过所述深度学习模型进行识别是否存在不礼让行为的机动车，并记录该机动车的车牌号。实现了通过深度学习模型自动识别车辆在斑马线距离行人
5
CN 111008554 A
说 明 书
3/5页
最近时是否处于加速状态，如果是则判断为不礼让行人。因此，识别效率较高。
附图说明
[0039]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0040]图1为本发明实施例提供的基于深度学习的动态交通斑马线内不礼让行人识别方法的流程示意图。
具体实施方式
[0041]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。[0042]参见图1，本发明实施例提供一种基于深度学习的动态交通斑马线内不礼让行人识别方法，包括步骤如下：[0043]S101，获取连续时间段内的多个待检测图像，其中，目标图像为包含斑马线区域的行人和/或车辆的图像。[0044]需要说明的是，视频是不断的采集图像的，且每一帧图像均对应有采集的时间，所以根据设置的一个时间段，能够获得在这段时间内所对应的视频图像，这些视频图像是需要进行检测的图像，即待检测图像。
[0045]本发明实施例旨在对不礼让行人的车辆进行检测，所以需要具备特定的时间和地点，时间是必须在行人可以通过的绿灯时间，此时也是车辆的左转或者右转时间，地点是在斑马线地区，所以目标图像必须具备的条件是包含斑马线的人、车辆所对应的图像。[0046]S102，将每一个待检测图像进行图像分割处理，获得分割图像，并对分割图像按照时间顺序和图像的位置顺序进行编号。[0047]可以理解的是，每一个图像均对应有一个时间，所以将一个时间点所唯一对应的待检测图像进行编码，编码后得到编号，因此，编号与时间点是一一对应的，然后对每一个待分割图像进行分割，从而对于分割后的图像即包含了其在该待检测图像中的位置，也对应有该待检测图像所对应的编号。[0048]S103，将编号后的分割图像分别输入至深度学习模型中，通过所述深度学习模型进行识别是否存在不礼让行为的机动车，并记录该机动车的车牌号；其中，所述深度学习模型的识别过程包括：识别与行人距离最小、且位于斑马线上的机动车；根据相邻两幅待检测图像确定车辆是否为减速状态，如果否，则确认车辆为非礼让行人状态，并识别该车辆的车牌号。
[0049]需要说明的是，深度学习模型是本发明实施例所实现的基础，本发明实施例提供的一种具体实现中，对于深度学习模型的结构包括：第一卷积层，包括两个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第一图像特
6
CN 111008554 A
说 明 书
4/5页
征；第一池化层，接收所输入的第一图像特征，并对所述第一图像特征进行压缩；第二卷积层，包括三个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第二图像特征；第二池化层，接收所输入的第二图像特征，并对所述第二图像特征进行压缩；第三卷积层，包括二个卷积层，每一个卷积层为多个3*3的卷积核，对包含非机动车道的输入图像进行卷积操作，获得第三图像特征；第三池化层，接收所输入的第三图像特征，并对所述第三图像特征进行压缩；
[0050]所述第一卷积层与上采样层相连逆卷积层后接一个向上采样层，每一个卷积层与激活函数相连，第二卷积层后接一个向上采样层，采用上采样层进行内容复制并扩充特征映射图；接收原始车道图片，通过多个卷积层提取车道区域特征信息，以及经过上采样层进行填充处理，获得与行人距离最小的车辆，并获得车辆是否为减速状态的结果。[0051]需要说明的是，将分割后图像输入深度学习模型中进行检测，检测的结果是判定所述分割后图像中各像素点的类别并赋予类别标签，得到分割出车道区域的各分割后图像，其中，所述类别标签包括减速状态和非减速状态。[0052]可以理解的是，模型是需要进行训练，作为成熟的模型才可以使用的，本发明提供的模型训练过程包括：根据所述类别标签，获取每一分割后图像中每一个像素点所对应的类别标签；统计该分割后图像中，每一个类别标签的数量；获取所述数量的最大值；将该最大值对应的类别标签确定为该分割后图像做对应的区域；获取类别标签为非减速状态的车辆，并识别该车辆的车牌号。[0053]一种实现方式中，所述深度学习模型的训练方法包括：从分割后图像中随机选取第一数量张图像输入卷积神经网络中，第一数量为正整数，其中，第一数量张图像包含正样本和负样本，其中，正样本为不礼让行人的图像、负样本为礼让行人的图像；通过所述卷积神经网络提取所述第一数量分割后图像的特征；根据提取的特征将所述第一数量分割后图像划分为减速状态和非减速状态，得到区域划分结果；根据所述区域划分结果调整所述卷积神经网络的参数。
[0054]以及在模型训练以后，需要对模型进行测试，以保证模型的识别结果，例如模型的识别结果必须保证在98％方可投入使用，因此，本发明实施例中，首先从分割后图像中随机选取第二数量张图像输入卷积神经网络中进行测试；通过所述卷积神经网络获得所述第二数量分割后图像中每一个图像的分类结果；根据分类结果确定划分正确的样本数量，并获取分类正确率；在分类正确率不小于预设阈值的情况下，并基于当前该卷积神经网络的参数确定为深度学习模型。[0055]可以理解的是，进行测试和进行训练的样本是一样的，首先可以进行样本的采集工作，然后对样本进行检验，挑选出不合格样品，然后对数据进行归一化处理，以便输入神经网络模型中进行训练和测试，然后进行样品的比例划分，例如为7:3，也就是训练样本为总数量的70％、测试样本为总数量的30％，在进行模型的训练以后进行测试，在测试的准确率达到要求以后就作为合格的模型进行投入使用。[0056]可以理解的是，在模型的使用过程中，由于硬件或者软件等原因会发生改变，因此需要不断的进行模型的检验，可以通过增加或者更新测试样本，以检验当前模型的测试准确率，当模型的测试准确率不低于预设值时，则可以继续使用，否则需要采用新的训练样本继续进行训练，再执行样本测试的步骤，直至模型的测试准确率不低于预设值。
7
CN 111008554 A[0057]
说 明 书
5/5页
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精
神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
8
CN 111008554 A
说 明 书 附 图
图1
9
1/1页
因篇幅问题不能全部显示，请点此查看更多更全内容