工业机器人视觉系统中双目摄像头标定算法研究
2020-08-13
来源:我们爱旅游
V01.43 No.4 562 计算机与数字工程 Computer&Digital Engineering 总第306期 2015年第4期 工业机器人视觉系统中双目摄像头标定算法研究 孙凤连李扬 广州 510006) (广东工业大学信息工程学院摘要在三维立体视觉系统中,摄像机的标定是一项必不可少的工作。针对现有的摄像机标定法在进行角点提取 时,由于光线变化产生的干扰问题,论文提出了一种将Harris算法与梯度阈值算法相结合的新方法。实验过程中采用大小 各为600mm、150mm的基线距离对该方法进行验证,实验证明,基线为600mm的轴位移为582.068,基线为150mm的轴位 移为162.125,误差大小约为15mm。因此,该算法在光线较弱或者光线变化的情况下能够准确的对双目视觉系统进行标 定,且易于实现,标定结果准确且稳定,满足双目立体视觉应用的需求。 关键词视觉系统;摄像机标定;角点提取;Harris;梯度阈值 DOI:10.3969/j.issnl672—9722.2015.04.006 中图分类号 TP242.2 Calibration Algorithm of Binocular Camera in Industrial Robot Vis ion System SUN Fenglian LI Yang (Guangdong University of Technology,School of Information Engineering,Guangzhou 510006) Abstract Camera calibration iS an indispensable issue in 3D stereo vision system.The distraction problem arises when operating the corner point extraction because of the light changes distraction problem,SO this paper proposes a new method which combines Harris algorithm with gradient threshold algorithm.In the procedure of the experiment,size 600mm and 150mm are used to validate the method.The experiment shows that the baseline axia1 displacement iS 582.068 when baseline distance iS 600ram,and the baseline axial displacement iS 162.125 when baseline distance iS 150mm.the error limit iS aboUt 15ram.The results of the experiment show that the algorithm in the case of weak lightor the light can get accurate calibration of binocular vision system,and it’S easy tO implement,also the calibration results are accurate and stable,meeting the re- quirements of binocular stereo vision application. Key Words vision system,camera calibration,corner point extraction,Harris,gradient threshold CIass N●耵1b甜 TP242.2 1 引言 近年来,由于分布式人工智能的发展,越来越 多的人投入到对机器人的研究。机器人要想得到 的标定方法大致被分为两类:传统摄像机标定法和 摄像机自标定法[2 ̄33。建立现实三维坐标中任意 一点与对应的图像坐标之间的关系,传统摄像机标 定法较为准确,但校准过程相对复杂。摄像机自标 现实世界未知环境的三维信息,视觉系统的研究必 不可少。一个对于人类来说无需思维意识的动作, 机器人执行的时候是很困难的。 定方法是通过图像之间的约束关系来求的内外参 数,具有自主性,但相对传统自标定法来说,结果没 那么准确。张正友标定法根据位于同一平面上的 因此,在机器人的视觉系统中[1],摄像机的标 定是一项重要的而又基本的工作。近年来,摄像机 定标点可以建立起关于摄像机内部参数的两个方 程这一特点,提出可以根据通过不同位置和方向的 *收稿日期:2014年lO月20日,修回日期:2014年11月29日 作者简介:孙凤连,女,硕士研究生,研究方向:工业机器人视觉系统。李扬,男,博士,教授,研究方向:触摸屏控制器、 工业组网与数据监控平台、智能控制算法、感知车间等。 2015年第4期 计算机与数字工程 563 几个平面来求解内部参数,然后再计算摄像机外部 参数的标定方法_4]。这种方法可用普通A4纸打 印模板来进行标定,简单实用。本文采用简单实用 的张正友标定法,因为张正友标定法使用起来灵 活、准确,已经被广大研究者广泛采用。尽管摄像 机标定已经比较成熟,迄今为止,还没有任何一种 方法能够适应不同的场合,因此,对摄像机标定方 法的研究,是一项必要且非常有意义的工作。 在本文中,以Visual studio2012为实验平台, 基于opencv标定算法,提出将Harris算法_5]与梯 度阈值算法相结合,提取平面棋盘上的角点,该算 法能在光线较弱或是光线改变的情况下使用。 2摄像机的图像模型 在分析图像分析之前,一般要定义三个坐标系 框架。 1)在世界坐标系中:坐标系上的任意一点标 记为( , ,乙)。 2)摄像机坐标系中:坐标系上的任意一点标 记为(Xc,yf, )。 3)图像坐标系中:光轴与图像平面的交点通 常被称为原点,假设在Ouv坐标系中任意一点为 ( 。,VO),在像素平面中,X轴和Y轴上,每个像素 的物理长度为dx,dy,因此,对于图像坐标系与像 素坐标系来说,有如下关系: H—z/dz+uo 一 /dy+VO 即: I I『_ 0 Mo] L.1J L—l - 00 1 /0dy o 1 Jl 摄像机坐标系与世界坐标系之间的关系可以 用平移向量t和旋转矩阵R来表示,可以写成 Xf] 一(1) zc [ Z 1 1 其中,R为一个3×3的正交矩阵,t为平移矢量。 由摄像机的针孔成像模型,可得到相机坐标平 面上的一个标准点Pc( , , ),根据机器视觉原 理,能够得到其在图像像素坐标系的坐标p(x, ), 其中 一fXc c ——,一fY——“ z c Z c 又可用齐次坐标以及矩阵表示为 Y c (2) Zc 1 式(2)中,L厂为相机的有效焦距。 在摄像机的畸变中,通常考虑到的是摄像机的 径向畸变和切向畸变,本文规定考虑摄像机畸变的 图像坐标为 (z ,Yd),摄像机的畸变模型为 Xd一(1+忌l + 2r2)x+E2p1.y+ 2(r2+2x )] 一(1+志1 +志2r2) +[ 1(,上+2y )+2pzz] 可简化为 圈 (3) 数,户 , z为切向畸变参数。 一 。+ + Vo-} Y d ]㈤ 上式中,( ,73。)为相机光轴与图像平面的相交点, dx和dy为像素平面的像素长度,5为相机的倾斜 [ 一[ 毒 ]A c5 厂L_R T]j lI —M (6) o 1 ‘ 1 I 1 式中,M1是摄像机内部参数,它包括dx,dy, 。, 7d0,f,k ,kz, ,Pz;M2是摄像机外部参数,包括旋 转矩阵R和平移矩阵丁。 3双目摄像机标定 摄像机的内外参数除外,通过双目摄像机标 定[6],还可以得出两台摄像机之间的相对位置关 系L7q]。如果摄像机对着同一位置的两个标定板拍 照,得出其外部参数[R, ],[R,Tr]。因此,如果 世界坐标系中的一个点 ,在左边摄像机的坐标为 z ,右边摄像机的坐标为 。则可得到以下公式: 564 RR孙凤连等:工业机器人视觉系统中双目摄像头标定算法研究 第43卷 【z,一 + 羔 Tr ㈩ 测,如果检测出的角点数与图像角点数相符则直接 2)将图像信息经过Harris算法r1]进行角点检 两台摄像机之间的空间几何位置关系可用 R。,丁。表示如下: l To —Tr—RrR TzT ㈣ 4摄像机标定过程 本文的实验一致采用棋盘格作为标定模版。 在摄像机的标定中,棋盘格的角点提取是至关重要 的,它直接影响了摄像机标定的准确性。在标定过 程中,如果没有很好地提取出图像上的大部分角 点,在使用最小二乘法计算标定参数的过程中,准 确性是难以保证的。另外,如果一幅图像的大部分 角点没被准确提取,就不能采用此幅图像,以防其 在摄像机参数计算过程中占据内存空间的分配。 文献[9~113使用opencv已经能提取出棋盘的角 点,但是准确率还不是很高。当光线因为阻挡或者 其他因素而变得很暗时,采用opencv角点提取算 法提取的角点数与标定板的角点数不符。因此,在 摄像机标定中,角点提取失败是必须要考虑的,本 文提出了一种新的算法,将梯度阈值角点提取算法 与Harris算法相结合,先经过Harris算法处理,对 结果不理想的标定板在经过梯度阈值算法处理,直 到所有角点都被正确提取出来。 本实验在光线较差的环境下,进行角点提取。 经过实验证明,新提出的算法能够很好地适应光线 差的环境,实验结果如图1所示。 __ -(c)ha s+梯度阈 黼 (d)提取的角点 值算法处理 图1 Harris算法与梯度阈值算法结合实验结果 根据摄像机标定原理,基于张正友标定法,本 文将Harris算法与梯度阈值算法相结合,对双目 系统进行标定。本文以Visual studio2012, opencv2.0为实验平台进行实验,具体算法流程图 如图2所示。 标定步骤如下: 1)读取左右摄像机的图像数据。 跳到步骤3),否则,再将图像进行梯度阈值算法,读 入图像数据到函数FindComers,如果输出结果为1: 此步骤检测到的数量与Harris算法检测到的数量之 和与设置值相符,则直接保存图像并跳转到步骤3); 如果输出结果为0:此步骤检测到的数量与Harris 算法检测到的数量之和与设置值不相符,则角点检 测失败,将图像信息送入到Threshold重新设置阈 值,直到此步骤检测到的数量与Harris算法检测到 的数量之和与设置值相符。若Threshold输出数据 为0,则可能因为摄像机的角度或者其他特殊原因导 致焦角点提取失败,放弃该图像,重新回到步骤1。 本文试验中以0.5为单位对阈值进行递增或者递 减,直到所有角点被检测出来。 3)将成功提取出来的角点的图像信息读取到 FindCornerSubPix函数,得到更加准确的亚像素坐 标。 4)读取角点坐标,得出左右摄像头的内外部 参数矩阵及畸变参数,并保存结果。 5)计算双目摄像头之间的相对参数即:R0,T0。 图2算法流程图 5实验结果及分析 根据上述标定步骤,本论文在Windows 7平 台上,以Visual studio2012,opencv2.0为实验工 具,对双目视觉系统中的双目摄像头进行标定。双 目视觉系统采用低噪声且灵敏度极高的CMOS成 像仪,并使用支持1280×960和640×480分辨率 的接口IEEE1394来传输数据。本文采用边长 15mm,中心间距15mm的方块组成9×7的方阵构 建标定模版,因此有8×6个角点。每个摄像机拍 摄了不同基线下(基线大的距离为600,小的为 2015年第4期 计算机与数字工程 565 150)的两组1O张照片。表1是各组图像标定结果 蛳伽 取平均值得到的数据。 表1摄像机标定结果 1100.260 1102.890 252.987 223.571 —1114.890 1122.440 252.777 230.372 —0.40315 0.3984 0.0015 0.00145 1107.760 1107.580 255.750 1119.750 1124.580 253.345 225.363 ——229.652 ——0.36I64 0.3865 0.00465 0.00114 0.44880 0.382170.4664 0.00309 0.00884 0.41041 0.00152 0.00428 r 0.99995 L 0.00055 0.00562 —0.00185、 0.00794 0.99994 j f 0.99982 L 0.00055 0.00312 —0.005111 0.00794 0.99994 J <一0.00765 0.99997 —0.00789> <一0.00765 0.99996 —0.00789> l一582.06869 —4.09763 32.81202 l l一162.12504 1.83315 5.85156 l从实验数据来看:在左右摄像机之间,由于制 as[J].Journal of Harbin Institute of Technology, 2007,11:1719—1722. 造或者安装的原因,内部参数有一定的差异。但对 于不同的基线而言,内部参数虽略有不同,且差别 较小,两部摄像机之间的相对位置参数矩阵R0近 似为单位矩阵,这说明两部摄像机之间没有旋转, 而只有平移。从平移矩阵T0来看,y轴和Z轴的 r3]刘中河.基于特征点匹配的摄像机非线性标定算法研 究[D].哈尔滨:哈尔滨理工大学,2013. LIU Zhonghe.Research on nolinearcamera calibration— based on feature point matching[D].Harbin:Harbin University of Science and Technology,2013. 变化是很小的,这与实际情况相符。从 还可以 看出,轴的平移距离与基线之间的误差相对较小, 基线600mm的轴位移为582.068,基线150ram的 轴位移为162.125,误差大概为15mm,说明该系统 [4]Zhengyou Zhang.A Flexible New Technique for Cam— era Calibration[J].IEEE Trans.Pattern Ana1.Mach. Intel1.,2000,22. [51王崴,唐一平,任娟莉,等.一种改进的Harris角点提取 算法EJ].光学精密工程,2008,l0:1995—2001. WANG Wei,TANG Yiping,REN Juanli,et a1.An 是稳定且可靠的。因此,本文的算法在光线较弱或 者光线变化的情况下能够准确地对双目视觉系统 进行标定。 improved algorithm for Harris corner detection[J]. Optics and Precision Engineering,2008,10:1995—2001. 6 结语 通过对双目视觉系统摄像机模型的研究,针对 光照不良的复杂场景,本文提出了一种新的算法, 将Harris算法与梯度阈值算法相结合,成功的提 取出了标定模版角点并进行了双目摄像机的标定 实验,实验结果表明,该方法对于大型和小型基线 r6]刘金颂,原思聪,张庆阳,等.双目立体视觉中的摄像机 标定技术研究[J].计算机工程与应用,2008,6:237—239. LIU Jinsong,YUAN Socong,ZHANG Qingyang,et a1.Camera Calibration Technology Research of Binocu— lar Stereo Vision[J].Computer Engineering and Appli— cations,2008,44(6):237—239. [7]赵t,l',J r1.机器人技术创意设计I-M].北京:北京航空航 天大学出版社,2013. 视觉系统是相对稳定的。 参考文献 ZHA0 Xiaochuan.Robotics Creative DesignrM].Bei— jing:Beijing university press,2013. [1]Xu De,Li You Fu,Tan Min,et a1.A new activevisual system for humanoid robots[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B:Cybernetics, 2008,382. I-8]李洪海.双目立体摄像机标定方法研究[J].微计算机 信息,2010,10:224—225,223. LI Honghai.Research on Binocular Stereo Camera Cal— ibration Method[J].Microcomputer Information,2010, 10:224-225,223. [2]李瑞峰,李庆喜.机器人双目视觉系统的标定与定位算 法I-j].哈尔滨工业大学学报,2007,11:1719—1722. LI Ruifeng,LI Qingxi.Calculation of the position be- [9]李跃,汪亚明,黄文清,等.基于OpenCV的摄像机标定 方法研究[J].浙江理工大学学报,2010,3:417—420, tween mobile robot and o4ectbased on two CCD camer— 440. (下转第629页)