(12)发明专利申请
(10)申请公布号(10)申请公布号 CN 104899898 A (43)申请公布日(43)申请公布日 2015.09.09
(21)申请号 201510284119.0(22)申请日 2015.05.28
(71)申请人华南理工大学
地址510006 广东省广州市番禺区广州大学
城华南理工大学(72)发明人徐雪妙 胡枭玮 赵南轩 龙伟健(74)专利代理机构广州市华学知识产权代理有
限公司 44245
代理人罗观祥(51)Int.Cl.
G06T 7/40(2006.01)
权利要求书2页 说明书7页 附图2页
(54)发明名称
基于多维信息概率模型的路面检测方法(57)摘要
本发明公开了一种基于多维信息概率模型的路面检测方法，包括以下步骤：步骤1：建立路面样本库；步骤2：综合路面色度与色彩特征，建立高斯概率模型；步骤3：提取路面纹理特征，建立路面纹理特征众数最优松弛概率模型；步骤4：车道线检测；步骤5：结合色度、色彩、纹理、运动和车道线的多维信息，建立路面检测概率模型。本发明具有适用于多种环境下的路面检测，准确性较高，鲁棒性较强以及良好的应用前景等优点。
C N 1 0 4 8 9 9 8 9 8 A CN 104899898 A
权 利 要 求 书
1/2页
1.一种基于多维信息概率模型的路面检测方法，其特征在于，包括以下步骤：
步骤1：建立路面样本库；步骤2：综合路面色度与色彩特征，建立高斯概率模型；步骤3：提取路面纹理特征，建立路面纹理特征众数最优松弛概率模型；步骤4：车道线检测；步骤5：结合色度、色彩、纹理、运动和车道线的多维信息，建立路面检测概率模型。2.根据权利要求1所述的基于多维信息概率模型的路面检测方法，其特征在于，在步骤1中，搜集若干个路段在若干种光照情况下的路面特征，以建立路面样本库。
3.根据权利要求1所述的基于多维信息概率模型的路面检测方法，其特征在于，在步骤2中，建立所述高斯概率模型的方法包括以下步骤：
步骤21、获取图像的R通道；步骤22、将图像转化到YCrCb颜色空间，提取Cr色度通道和Cb色度通道；步骤23、进行Kolmogorov-Smirnov检验，验证路面样本的Cr通道、Cb通道和R通道均符合高斯分布；
步骤24、结合Cr、Cb、R通道，建立高斯概率模型。
4.根据权利要求1所述的基于多维信息概率模型的路面检测方法，其特征在于，在步骤3中，所述建立路面纹理特征众数最优松弛概率模型的建立方法包括以下步骤：
步骤31、建立路面样本图像的灰度共生矩阵；步骤32、求解路面纹理的角二矩阵ASM和反差分矩阵IDM；步骤33、建立众数最优松弛概率模型适用条件：60％以上样本的角二矩阵和反差分矩阵值即众数为最值，剩余样本的特征值与众数绝对距离小于5倍标准差；定义：众数最优松弛概率模型来描述被测量值x符合样本的松弛概率：
其中，σ为样本的标准差，m为样本中的众数，μ为样本中非众数的最值，k为松弛度，当μ为最小值时(μ±kσ)取减号，反之取加号，||a-b||表示a到b的绝对距离；
步骤34、利用众数最优松弛概率模型求解路面纹理特征的概率模型；应用众数最优松弛概率模型计算待检测区域的角二矩阵和反差分矩阵值符合路面分布的概率为：
其中，A表示待检测区域。
5.根据权利要求1所述的基于多维信息概率模型的路面检测方法，其特征在于，在步骤4中，车道线检测的检测方法包括以下步骤：
步骤41、将图像转化为灰度图像；步骤42、Canny算子提取图像边缘；步骤43、扫描整幅图像并提取符合车道线特征的线段；
2
CN 104899898 A
权 利 要 求 书
2/2页
其中，l为线段长度，α为线段与竖直方向的夹角，v和θ为对应阈值。
6.根据权利要求1所述的基于多维信息概率模型的路面检测算法，其特征在于，在步骤5中，建立所述多维信息概率模型的建立方法包括以下步骤：
步骤51、将交通视频中第i帧图像设为fi(x,y),第一帧图像为f1(x,y)，则符合路面特征的概率p为：
其中，P1(fi(x,y))为当前帧(x,y)像素点利用色度、色彩信息建立高斯模型获得的概率，P2(fi(x,y))为当前帧(x,y)像素点利用纹理特征建立众数最优松弛概率模型获得的概率，P(fi-1(x,y))为利用交通视频的运动信息，即上一帧被检测为路面的部分有一定的概率在当前帧也为路面；
参数α、β、γ为对应概率信息的权重值(α+β+γ＝1)，在一般场景下取85％、10％和5％；当路面检测应用于视频监控系统时，γ的比重适当加大，由此可得路面检测概率图像，通过选择合理的阈值，即可判断路面区域；
步骤52、参数
为用车道线检测结果对漏检区域进行修补，修补方法如下：
利用车道线检测结果，查找车道线左侧一定范围内是否有足够多的像素点被检测为路面，如是，则填充车道线与其之间的像素点；
当视频图像为第一帧时，公式(5)退化为：
其中，α+β＝1，通过建立多维信息概率模型，增强了路面检测的准确性与鲁棒性。
3
CN 104899898 A
说 明 书
基于多维信息概率模型的路面检测方法
1/7页
技术领域
本发明涉及一种路面检测技术，属于计算机图像处理领域，特别涉及一种基于多维信息概率模型的路面检测方法，该路面检测方法是一种基于路面色度、色彩、纹理、运动多维信息综合车道线检测建立概率模型的路面检测算法。
[0001]
背景技术
随着经济的发展、社会的进步，汽车成为人们出行的主要交通工具，智能交通也得
到了迅速的发展。车辆控制系统和交通监控系统是智能交通领域的主要组成部分。车辆控制系统即自动驾驶汽车，对于减轻驾驶员的负担有着重要的意义；交通监控系统对于帮助交警部门动态监控以及记录道路车辆及人员信息、提高道路安全管理水平起着重要的作用。而路面检测是车辆控制系统与交通监控系统智能化的基础，对于查找车辆有效驾驶区域、缩小其他路面交通信息检测的范围，降低运算的复杂度、实现检测的实时性至关重要。[0003] 环境的复杂性，如路面车辆、天空与树木的干扰，光线突变，车道线等路面标志物的影响，会造成路面检测不完整、非路面的误检等缺陷。目前检测路面的方法主要是基于色度与饱和度或颜色的模板匹配等方法，但这些方法存在以下问题：由于模板选择的固定性对光照变化缺乏鲁棒性，易混淆天空等与路面色度相近的物体，同时对于路面的标识物不能检测出来，从而造成检测路面的断裂。这些问题降低了路面检测的准确性，是本领域技术人员急待解决的一个技术问题。
[0002]
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于多维信息概率模型
的路面检测方法，该路面检测方法解决了现有算法对不能检测到完整路面的问题，并且建立了符合路面色度、色彩以及纹理数值特征的概率模型。[0005] 本发明的目的通过下述技术方案实现：一种基于多维信息概率模型的路面检测方法，包括以下步骤：
[0006] (1)建立路面样本库；
[0007] (2)综合路面色度与色彩特征，建立高斯概率模型；[0008] (3)提取路面纹理特征，建立众数最优松弛概率模型；[0009] (4)车道线检测；[0010] (5)结合色度、色彩、纹理、运动、车道线的多维信息，建立路面检测概率模型。[0011] 在步骤1中，搜集若干个路段在若干种光照情况下的路面特征，以建立路面样本库。
[0012] 在步骤2中，建立所述高斯概率模型的方法包括以下步骤：
[0004]
步骤21、获取图像的R通道；[0014] 步骤22、将图像转化到YCrCb颜色空间，提取Cr色度通道和Cb色度通道；[0015] 步骤23、进行Kolmogorov-Smirnov检验，验证路面样本的Cr通道、Cb通道和R通
[0013]
4
CN 104899898 A
说 明 书
2/7页
道均符合高斯分布；[0016] 步骤24、结合Cr、Cb、R通道，建立高斯概率模型。[0017] 在步骤3中，所述建立路面纹理特征众数最优松弛概率模型的建立方法包括以下步骤：
[0018] 步骤31、建立路面样本图像的灰度共生矩阵；[0019] 步骤32、求解路面纹理的角二矩阵(ASM)和反差分矩阵(IDM)；[0020] 步骤33、建立众数最优松弛概率模型适用条件：60％以上样本的角二矩阵和反差分矩阵值即众数为最值，剩余样本的特征值与众数绝对距离小于5倍标准差；定义：众数最优松弛概率模型来描述被测量值x符合样本的松弛概率(概率可以小于零)：
[0021]
其中，σ为样本的标准差，m为样本中的众数(即最值)，μ为样本中非众数的
最值，k为松弛度(一般为3)，k越大表示检测的范围越大，精度越小。当μ为最小值时(μ±kσ)取减号，反之取加号，||a-b||表示a到b绝对距离；
[0022] [0023]
步骤34、利用众数最优松弛概率模型求解路面纹理特征的概率模型；应用众数最优松弛概率模型计算待检测区域的角二矩阵和反差分矩阵值符合路面分布的概率为：
[0024] [0025] [0026] [0027] [0028] [0029] [0030] [0031]
其中，A表示待检测区域。在步骤4中，车道线检测的检测方法包括以下步骤：步骤41、将图像转化为灰度图像；步骤42、Canny算子提取图像边缘；步骤43、扫描整幅图像并提取符合车道线特征的线段；
其中，l为线段长度，α为线段与竖直方向的夹角，v和θ为对应阈值。
[0033] 在步骤5中，建立所述多维信息概率模型的建立方法包括以下步骤：[0034] 步骤51、将交通视频中第i帧图像设为fi(x,y)，第一帧图像为f1(x,y)，则符合路面特征的概率p为：
[0032] [0035]
其中，P1(fi(x,y))为当前帧(x,y)像素点利用色度、色彩信息建立高斯模型获得
的概率，P2(fi(x,y))为当前帧(x,y)像素点利用纹理特征建立众数最优松弛概率模型获得的概率，P(fi-1(x,y))为利用交通视频的运动信息，即上一帧被检测为路面的部分有一定的
[0036]
5
CN 104899898 A
说 明 书
3/7页
概率在当前帧也为路面，当路面检测应用于视频监控系统时尤为重要；[0037] 参数α、β、γ为对应概率信息的权重值(α+β+γ＝1)，在一般场景下取85％、10％和5％；当路面检测应用于视频监控系统时，γ的比重适当加大，由此可得路面检测概率图像，通过选择合理的阈值，即可判断路面区域；
[0038] [0039]
步骤52、参数为用车道线检测结果对漏检区域进行修补，修补方法如下：
利用车道线检测结果，查找车道线左侧(右侧)一定范围内是否有足够多的像素点被检测为路面，如是，则填充车道线与其之间的像素点；[0040] 当视频图像为第一帧时，公式(5)退化为：
[0041]
[0042] 其中，α+β＝1，通过建立多维信息概率模型，增强了路面检测的准确性与鲁棒
性。
本发明的工作原理：本发明是一种基于多维信息概率模型的路面检测算法，该算法综合路面色度、色彩、纹理、运动以及车道线等多维信息建立概率模型来提高路面检测的准确性和鲁棒性。在该算法中，首先建立路面样本库，然后基于YCrCb颜色空间以及RGB颜色空间的Cr、Cb、R通道建立高斯概率模型，增强了路面检测的准确性。之后提出了基于路面纹理特征的众数最优松弛概率模型，获得了基于路面纹理特征被检测为路面的概率，对于不同光照条件具有较强的鲁棒性。最后结合色度、色彩、纹理、运动等路面信息，建立多维信息概率模型，并利用车道线检测的结果弥补漏检区域，从而检测到完整的路面。本发明适用于多种环境下的路面检测，准确性较高，鲁棒性较强，具有良好的应用前景。
[0043]
本发明相对于现有技术具有如下的优点及效果：[0045] 1.提出了众数最优松弛概率模型，建立了符合路面纹理特征的检测模型，增强了路面检测的鲁棒性。
[0046] 2.验证了在YCrCb颜色空间路面的CrCb色度通道与在RGB颜色空间R通道符合高斯分布，建立了基于CbCrR的高斯概率模型，增强了路面检测的准确性。[0047] 3.结合色度、色彩、纹理、运动、车道线等路面特征，建立了多维信息概率模型检测路面，提高了路面检测的完整性与鲁棒性。
[0044]
附图说明
图1是本发明方法的流程图。
[0049] 图2是综合路面色度与色彩特征、建立高斯概率模型与提取路面纹理特征、建立众数最优松弛概率模型的流程图。
[0048]
具体实施方式
[0050] 下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0051] 实施例
[0052] 如图1所示，一种基于多维信息概率模型即利用路面的色度、色彩、纹理、运动及车道线等信息来建立概率模型提取完整路面的算法，如图2所示，该算法首先建立路面样
6
CN 104899898 A
说 明 书
4/7页
本库，在YCrCb和RGB颜色空间分离路面样本的Cr、Cb、R通道，验证其符合高斯分布并建立高斯概率模型；之后利用灰度共生矩阵提取路面纹理特征，建立众数最优松弛概率模型；然后进行车道线检测。最后结合运动信息，将Cr、Cb、R通道组成的高斯概率模型与利用路面纹理特征建立的众数最优松弛概率模型以及上一帧图像检测的结果赋予不同的权重，组建多维信息概率模型，并利用车道线检测的结果补充路面漏检区域，最终获得精准的路面区域。该方法解决了在复杂环境下路面区域误检、漏检问题。同时利用路面多维信息，提取到更加精准的路面区域。[0053] 具体步骤如下：
[0054] 1.路面样本库的建立；
[0055] 收集不同路段在不同光照条件下的路面图片或视频，用小窗口截取路面样本(不包括车道线等路面标识物)，建立路面样本库。[0056] 2.路面色度、色彩特征高斯概率模型的建立；[0057] 在YCbCr颜色空间，亮度信号与色度信号相互独立,对不同光照下的背景具有鲁棒性，基于YCbCr颜色空间分离路面样本色度信号Cr、Cb，并将得到的样本数据进行标准化，进行Kolmogorov‐Smirnov检验，即通过样本的经验分布函数与高斯分布函数进行比较，推断路面色度样本是否来自高斯分布函数的总体。实验结果表明路面Cr、Cb色度分量均服从高斯分布。但由于路面的色度分量特征与天空等干扰物的色度分布相近，极易造成误检。交通视频中的主要干扰物为树木、天空，绿色(G)、蓝色(B)色彩分量比重大，而红色(R)色彩分量在干扰物中成分较小，同时验证了路面样本的R分量服从高斯分布。基于YCrCb颜色空间和RGB颜色空间建立Cr、Cb、R通道的高斯概率模型：
[0058]
其中x为待测样本的Cr、Cb、R通道向量，mean为该向量的样本均值，Covariance为Cr、Cb、R通道的样本协方差矩阵。即：
T
[0060] x＝[x(Cr)x(Cb)x(R)]， (2)
T
[0061] mean＝[mean(Cr)mean(Cb)mean(R)]， (3)
[0059] [0062]
通过公式(1)可以求出待测样本的被检测为路面的基本概率，通过引入色彩空间的R通道，极大的减少了误检区域。
[0064] 3.路面纹理特征众数最优松弛概率模型的建立；[0065] 为了增强路面检测的鲁棒性，利用灰度共生矩阵学习路面样本的纹理特征，并提出众数最优松弛概率模型模拟纹理特征的概率分布。[0066] 首先建立路面样本图像的灰度共生矩阵，其反应了路面亮度分布特征，以及相关亮度像素的位置分布特征，是定义图像纹理特征的基础。设f(x,y)为灰度图像，大小为M×N,灰度级别为GN，则灰度共生矩阵M(i,j)为：
[0067] M(i,j)＝Number of{f(x1,y1)＝i,f(x2,y2)＝j}， (5)[0068] 当且仅当条件(6)成立：[0069] (x1,y1),(x2,y2)∈M×N，0≤i,j≤GN， (6)
[0063]
7
CN 104899898 A[0070]
说 明 书
5/7页
其中像素(x1,y1)和(x2,y2)呈对角线方向分布。
[0071] 通过灰度共生矩阵计算路面纹理的角二矩阵(ASM)和反差分矩阵(IDM)，其中角二矩阵是灰度分布均匀程度和纹理粗细的一个度量，当图像纹理较细致、灰度分布均匀时，能量值较大，反之，较小。反差分矩阵反映了纹理的清晰程度和规则程度，纹理清晰、规律性较强、易于描述的，值较大；杂乱无章的，难于描述的，值较小。二者计算方法如下：[0072] ASM＝∑M(i,j)×M(i,j)， (7)
[0073]
通过对路面样本库纹理特征的学习，发现路面样本的角二矩阵和反差分矩阵值均满足如下特征：60％以上样本的角二矩阵和反差分矩阵值即众数为最值，剩余样本的特征值与众数绝对距离小于5倍标准差。据此提出了众数最优松弛概率模型来描述被测量值(x)符合样本的松弛概率(概率可以小于零)：
[0074] [0075]
其中σ为样本的标准差，m为样本中的众数(即最值)，μ为样本中非众数的
最值，k为松弛度(一般为3)，k越大表示检测的范围越大，精度越小。当μ为最小值时(μ±kσ)取减号，反之取加号。||a-b||表示a到b的绝对距离。
[0076] [0077]
应用众数最优松弛概率模型计算待检测区域(A)的角二矩阵和反差分矩阵值符合路面分布的概率为：
[0078] [0079]
从而获得了基于路面纹理特征被检测为路面的概率，其对于不同光照条件具有较
强的鲁棒性。
[0081] 4.车道线检测；
[0082] 车道线检测部分主要结合了边缘提取算法以及车道线的相关属性而获得。[0083] 因为车道线可以粗略的看成连续小间隔的明亮(或白或黄)长直线，同时车道线在图像中为垂直线或弧线而非水平线。利用此特性，首先设置将图像做二值化处理，并进行图像边缘提取。在此基础上设置长度(l)阈值，选取大于此阈值且与水平线成一定角度(α)的的长线段进行颜色标记。
[0080] [0084]
关于图像边缘提取，比较了HOUGH,SOBEL,GABOR等算法，本发明最终选择了Canny
算子进行运算，因为此算子的鲁棒性以及实时性都是很不错的。Canny边缘检测算法于1986由John Canny提出，其采用了先平滑后导数处理的方法，具体为以下几个步骤：
[0085]
8
CN 104899898 A[0086] [0087]
说 明 书
6/7页
滤波：采用高斯滤波对图像进行去噪处理，高斯核如下所示：
实际工程经验表明，高斯函数确定的核可以在抗噪声干扰和边缘检测精确定位之间提供较好的折中方案；[0089] 增强：增强边缘的基础是确定图像各点领域强度的变化值，并将有显著变化的点凸现出来，本发明用canny算子进行卷积运算，并计算梯度幅值。其算子为：
[0088] [0090]
检测与连接：根据梯度幅值检测边缘点，通常梯度幅值大意味着是边缘的可能性更大。但为了避免选取到非边缘的大梯度幅值点，采取了非极大值抑制法。即选取极大值，抛弃非极大值。在此基础上，canny设置双阈值法，大的阈值用来控制边缘的分割，而小的阈值则控制边缘连接。[0092] 通过以上步骤，可以达到很好的提取边缘线的效果。同时结合车道线相关属性，较准确的检测到车道线位置。
[0093] 5.多维信息概率模型的建立；
[0094] 为了提高路面检测的准确性与鲁棒性，基于路面样本库的学习，结合色度、色彩、纹理、运动、车道线等路面特征，建立了多维信息概率模型检测路面。[0095] 设交通视频中第i帧图像为fi(x,y),第一帧图像为f1(x,y)，则符合路面特征的概率p为：
[0091] [0096]
其中P1(fi(x,y))为当前帧(x,y)像素点利用色度、色彩信息建立高斯模型获得的
概率，P2(fi(x,y))为当前帧(x,y)像素点利用纹理特征建立众数最优松弛概率模型获得的概率，P(fi-1(x,y))为利用交通视频的运动信息，即上一帧被检测为路面的部分有一定的概率在当前帧也为路面，当路面检测应用于视频监控系统时尤为重要。[0098] 参数α、β、γ为对应概率信息的权重值(α+β+γ＝1)，在一般场景下取85％、10％和5％。当路面检测应用于视频监控系统时，γ的比重适当加大。由此可得路面检测概率图像，通过选择合理的阈值，即可判断路面区域。
[0097] [0099]
参数为用车道线检测结果对漏检区域的修补，具体做法如下：利用车道线检测
结果，查找车道线左侧(右侧)一定范围内是否有足够多的像素点被检测为路面，如是，则填充车道线与其之间的像素点。[0100] 当视频图像为第一帧时，公式(15)退化为：
[0101]
其中，α+β＝1。
[0103] 通过建立多维信息概率模型，增强路面检测的准确性与鲁棒性。
[0102]
9
CN 104899898 A[0104]
说 明 书
7/7页
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
10
CN 104899898 A
说 明 书 附 图
1/2页
图1
11
CN 104899898 A
说 明 书 附 图
2/2页
图2
12
因篇幅问题不能全部显示，请点此查看更多更全内容