第２４卷２０１４年３月 第３期 计算机技术与发展 Ｃ０ＭＰＵＴＥＲ ＴＥＣＨＮＯＬＯＧＹ ＡＮＤ ＤＥＶＥＬＯＰＭＥＮＴ Ｖｏ１．２４ Ｎｏ．３ Ｍａｔ．２０１４ 基于多传感器的光电监视系统设计 吴 川１夭 Ｉ （中国科学院长春光学精密机械与物理研究所图像室，吉林长春１３００３３） 摘要：针对成像系统的传感器日益增多、成像过程越来越复杂，获取的图像数据急剧增加，其系统设计难度不断增加的 问题，文中提出一种基于多传感器的数字成像系统。采用三个摄像机共用光路，实现无需图像配准即可得到同一视场的 同一时刻图像；通过千兆网传输图像，解决了以往数字图像传输过程中连线过多问题；因为不同传感器的成像特点不同， 应用一种改进的双边滤波技术对异源图像进行融合，融合图像质量优于各波段图像，进一步提高了光电监视水平。 关键词：多传感器；成像系统；共用光路；千兆网；融合 中图分类号：ＴＰ３９４．１ 文献标识码：Ａ 文章编号：１６７３—６２９Ｘ（２０１４）０３—０１５０—０４ ｄｏｉ：ｌ０．３９６９／ｊ．ｉｓｓｎ．１６７３—６２９Ｘ．２０１４．０３．０３８ Ｄｅｓｉｇｎ ｏｆ Ｏｐｔｉｃａｌ Ｅｌｅｃｔｒｏｎｉｃ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｂａｓｅｄ ｏｎ Ｍｕｌｔｉ－ｓｅｎｓｏｒ ＷＵ Ｃｈｕａｎ （Ｉｍａｇｅ Ｌａｂ，Ｃｈａｎｇｃｈｕｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｏｐｔｉｃｓ，Ｆｉｎｅ Ｍｅｃｈａｎｉｃｓ ｎｄ Ｐｈｙｓａｉｃｓ， Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｃｈａｎｇｃｈｕｎ １ ３００３３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｉｍｉｎｇ ａｔ ｔｈｅ ｐｒｏｂｌｅｍｓ ｏｆ ｇｒｏｗｉｎｇ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ ｓｅｎｓｏｒｓ，ｉｎｃｒｅａｓｉｎｇｌｙ ｃｏｍｐｌｅｘ ｉｍａｇｉｎｇ ｐｒｏｃｅｓｓｉｎｇ，ｉｓｉｒｎｇ ｉｍａｇｅ ｄａｔａ ｇｍｎｅｄ ｒａｐｉｄｌｙ，ｓｙｓｔｅｍ ｄｅｓｉｇｎ ｂｅｃｏｍｅｓ ｍｏｒｅ ｄｉｆｉｃｕｌｔ，ｐｕｔ ｆｏｒｗａｒｄ ａｌｌ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｍｕｌｔｉ－ｓｅｎｓｏｒ．Ｕｓｅ ｔｈｒｅｅ ＣＣＤ ｔｏ ｓｈａｒｅ ｔｈｅ ｓａｉｎｃ ｏｐｔｉｃａｌ ｐａｔｈ，ｒｅａｌｉｚｉｎｇｔｈａｔ ｏｂｔａｉｎｔｈｅ Ｓａｌｌｌｅｔｉｍｅｉｍａｇｅｓｉｎｔｈｅ ｓａｎｌｅｆｉｅｌｄ ｏｆｖｉｅｗｗｉｔｈｏｕｔｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎ．Ｓｏｌｖｅｔｈｅ ｐｒｏｂｌｅｍ ｏｆｅｘｃｅ￥－ ｓｉｖｅ ｗｉｒｉｎｇ ｐｒｏｃｅｓｓ ｉｎ ｄｉｇｉｔａｌ ｉｍａｇｅ ｔｒａｎｓｍｉｓｓｉｏｎ ｔｈｒｏｕｇｈ Ｇｉｇ ｎｅｔｗｏｒｋ．Ｂｅｃａｕｓｅ ｏｆ ｈｅ ｄｉｔｆｆｅｒｅｎｔ ｉｍａｇｉｎｇ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｉｆｅｒｄｅｎｔ ｓｅｎｓｏｒ， ｂｉｌａｔｅｒｌ ｆａｉｌｔｅｒｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｉｓ ａｐｐｌｉｄ ｆｅｏｒ ｈｅ ｆｕｓｔｉｏｎ ｏｆ ｍｕｌｉ－ｓｔｅｎｓｏｒ ｉｍａｇｅｓ．Ｔｈｅ ｆｕｓｉｏｎ ｉａｇｅ ｑｕａｍｌｉｔｙ ｉｓ ｂｅｔｔｅｒ ｔｈａｎ ｔｈｅ ｂａｎｄ ｉｍａｇｅ ａｎｄ ｔｈｉｓ ｉｍｐｒｏｖｅｓ ｔｈｅ ｐｈｏｔｏｅｌｅｃｔｒｉｃ ｍｏｎｉｔｏｒｉｎｇ ｌｅｖｅ１． Ｋｅｙ ｗｏｒｄｓ：ｍｕｌｔｉ－ｓｅｎｓｏｒ：ｉｍａｇｉｎｇ ｓｙｓｔｅｍ；ｓａｍｅ ｏｐｔｉｃａｌ ｐａｔｈ；ＧｉｇＥ；ｆｕｓｉｏｎ Ｏ 引 言 随着应用条件的日益复杂、观测信息的日益多样 以及对成像质量要求的不断提高，单一传感器成像系 统已经不能满足要求，而基于多传感器的光电监视系 统是近年来发展比较迅速的成像系统 。由于在成 提高。针对目前多传感器光学成系统存在的问题，文 中设计一种多传感器实时成像系统。采用可见光彩色 相机、近红外相机、紫外相机三个不同波段相机组成成 像系统；针对ＣａｍｅｒＬｉｎｋ制式的数字信号传输线路短 的问题，在图像传输过程中在信号发送端把Ｃａｍｅｒ－ Ｌｉｎｋ数字图像编码成标准网络数据包，通过千兆网传 输给计算机；采用三个波段相机共用光路的方法得到 同一场景图像；此外由于图像来源于不同波段的相机， 像系统中使用了多个谱段的传感器，因此能够得到更 为丰富的图像信息。多传感器成像系统同单一传感器 成像系统相比，系统具有多个成像传感器，传输数据成 倍增加；此外为了得到同一场景的不同波段图像，光路 设计和光学系统的机械加工要求更高；在电子学方面， 因此尽管图像的场景相同，但内容并不完全一样。为 了得到信息互补的图像，以提高观测能力，这里通过把 彩色图像和近红外图像或紫外图像融合，得到所含信 息更为丰富的图像。 由于目前多传感器成像系统的光学相机多采用高分辨 率数字相机，而数字相机多为ＣａｍｅｒＬｉｎｋ制式的数字 接口，信号幅值只有２００ ｍＶ左右且信号线较多，这导 致一方面同时采用多个数字相机，信号线过多从而布 线复杂；另一方面当数据传输线路过长时，图像误码率 收稿日期：２０１３—０６—０３ 作者简介：吴修回日期：２０１３—０９—０９ １ 系统组成 系统主要包括成像光学系统、摄像机、信号转换 网络出版时间：２０１４—０１—０７ 基金项目：中国科学院航空光学成像与测量重点实验室开放课题（Ｙ２ＨＣ１ＳＲ１２５） 川（１９７４一），男，副研究员，博士，研究方向为图像融合、目标识别、目标跟踪。 网络出版地址：ｈｔｔｐ：／／ｗｗｗ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／６１．１４５０．ＴＰ．２０１４０１０７．１５１１．００３．ｈｔｍｌ 第３期 吴川：基于多传感器的光电监视系统设计 ・１５１・ 器、计算机，如图１所示。观测场景经过光学镜头传递 给三个摄像机，通过信号转换器中的外同步触发电路 以１５ Ｈｚ的频率向三个摄像机发送同步信号，确保三 个摄像机能够同时把同一时刻的观测场景以Ｃａｍｅｒ－ Ｌｉｎｋ制式的信号传递给信号转换器，因为ＣａｍｅｒＬｉｎｋ 制式的信号具有幅值低，不易长线传输的问题，此外每 路ＣａｍｅｒＬｉｎｋ信号至少需要ｌ８根线，如果直接传送 ＣａｍｅｒＬｉｎｋ信号无疑增加了线路的复杂性，所以这里 通过信号转换器把三路信号编码成标准的网络数据包 通过千兆网传递给计算机。这种传输的好处在于： １）通过网络传输数据解决了ＣａｍｅｒＬｉｎｋ制式视频 信号不能长线传输的问题； ２）由于网络传输数据速度快，可实现大数据量以 １５ Ｈｚ的频率传递，保证了显示系统在不丢帧的情况 下显示观测场景； ３）通过千兆网络传递数字信号，减少了数据线数 目，增强了传输距离。 光学镜头 纛 信号转换器 ｌ 千兆网数 ｌ 据传输 Ｉ 计算机系统 图１ 系统组成 １．１共用光路设计 多传感器成像系统的光学设计目前主要有多摄像 机多镜头设计、单一摄像机配多个波段滤光片组转盘 设计、单镜头多摄像机设计等几种设计 。这里采 用紫外、可见光和近红外三个波段ＣＣＤ摄像机共用同 一入射镜头，利用胶合棱镜进行分光，在棱镜的胶合面 上镀有分色膜，能够将不同波段的光束进行反射和透 射。入射光束到达棱镜前胶合面时，紫外波段被反射， 紫外光束经过特制的紫外镜头，聚焦到紫外探测器靶 面，形成紫外图像；同时，波长大于４００ ｎｍ的可见光和 近红外光被透射，到达棱镜后胶合面时，可见光被反 射，聚焦到可见光３ＣＣＤ摄像机靶面，分别形成红、绿、 蓝图像；波长大于７６０ ｎｍ的近红外光被棱镜后胶合面 透射，聚焦到近红外探测器靶面，形成近红外图像。其 镜头与摄像机接法示意图如图２。多个波段的光学系 统采用这种共窗口结构，有以下几个优点： １）在目标距离变化时，严格保证各个波段光学系 统的视场一致； ２）各个波段的视场严格一致，有利于多个波段图 像的融合处理； ３）使光机结构更加紧凑，提高了系统的合成性， 有利于系统的装调。 图２ 多光谱成像系统光学组合示意图 １．２信号转换器作用 在多传感器成像系统中要求各光谱相机同时输出 同一场景图像。这不仅要求在光学设计中多传感器共 用光路，而且要求三个波段相机能同一时刻输出图像。 为此系统设计了信号转换器，该转换器以三ＤＳＰ＋ＦＰ－ ＧＡ为核心器件，主要完成如下功能： １）产生一个１５ Ｈｚ的同步信号触发三个相机，使 三个相机同步输出视频信号； ２）三个ＤＳＰ在ＦＰＧＡ的控制下分别读取三个相机 输出视频信号，在ＤＳＰ中实现图像的一些必要的处 理，如图像增强、去噪、通信信息的植入等； ３）处理后的图像按紫外图像、近红外图像，彩色 图像的红色系图像、绿色系图像、蓝色系图像共五路图 像为一包数据通过千兆网传递给计算机； ４）根据图像当前亮度，向相机串口发送数据，控 制相机调节曝光时间和增益。 １．３ ＣＣＩ）摄像机选择 多传感器成像系统一般要求能够全天候地进行场 景观测，并且对于一些披有伪装的人或车辆具有一定 探测能力。因此这里在选择传感器时，尽量选择分别 对不同波段光谱敏感的摄像机，使它们在一起工作时 能够起到互补作用。根据人或车辆比周围温度高的特 点，这里多个传感器中选择一个对温度比较敏感的近 红外摄像机，工作波段在０．７６ ｍ～１．１０ ｍ。再选择 一款紫外摄像机作为观测的一种有效补充，它主要工 作在０．３０ Ｉｘｍ～０．４０ ｍ波段，在这一波段，近地目标 会改变大气散射的太阳紫外线辐射分布，在均匀的亮 背景上形成暗点，这就为目标的识别提供了可能 。 此外系统中还采用了一款可见光彩色摄像机，作为常 规观测使用，其工作波段在０．４０ ｍ一０．７６ ｍ。这样 整个多传感器成像系统对０．３０ ｍ一１．１０ Ｉｘｍ的光谱 第３期 吴川：基于多传感器的光电监视系统设计 ・１５３・ 同彩色图像相比具有成像细节更丰富、图像对比度更 强等特征，因此双面滤波后得到的图像称为细节图像； ３）把原彩色图像、边缘图像、细节图像通过一定 面滤波融合技术对原始彩色图像和近红外图像进行融 合得到高质量的彩色图像，实践表明该系统具有一定 实用价值。 参考文献： ［１］高稚允，金伟其，徐丽芳，等．一种可实时化的多光谱图像 融合系统［Ｊ］．光学技术，１９９５（４）：１３—１６． ［２］靳贵平，庞其昌．紫外成像检测技术［Ｊ］．光子学报，２００３， ３２（３）：２９４—２９７． 参数进行加权，得到的图像即为融合图像，融合图像公 式如式（４）、（５）所示，其中 和 为设计参数，分别为 ０．３和０．７。 通过双面滤波融合算法得到的融合彩色图像及相 应的原始图像如图４所示。 ［３］Ｌｕｅｅｙ Ｐ Ｇ，Ｗｉｌｃｏｘ Ｂ Ｂ．Ｍｉｎｉ－ＳＭＩＦＴＳ：Ａｎ ｕｎｃｏｏｌｅｄ ＬＷＩＲ ｈｙｐｅｒｓｐｅｅｔｒａｌ ｓｅｎｓｏｒ［Ｃ］／／Ｐｒｏｃ ｏｆ ｉｍａｇｉｎｇ ｓｐｅｃｔｒｏｍｅｔｒｙ ＩＸ． ［ｓ．１．］：［ｓ．ｎ．］，２００４． ［４］焦斌亮，王朝晖，林可祥，等．星载多光谱ＣＣＤ相机研究 ［Ｊ］．仪器仪表学报，２００４，２５（２）：１４６—１４８． ［５］ 李树楷，薛永祺．机载扫描式激光测距一多光谱成像制图系 （ａ）原始彩色图像 （ｂ）融合后的彩色图像 统［Ｊ］．武汉测绘科技大学学报，１９９８，２３（４）：３４０—３４４． 图４原始图像及融合图像 ［６］ 曹芳，吴迪，郑金土，等．基于可见一近红外光谱和多光 Ｄ（ｐ，ｓ）＝ — ｇ（ｘ， ）＝ ｅ （２） （３） 谱成像技术的梨损伤检测研究［Ｊ］．光谱学与光谱分析， ２０１ｌ，３１（４）：９２０—９２３． ［７］ 李勇．紫外成像检测技术在电力系统的应用［Ｊ］．宁夏电 ，＝，原彩色图像＋ ，边缘图像＋卢，细节图像 ＝ （４） 力，２００９（３）：５—６． ［８］Ｔｏｍａｓｉ Ｃ，Ｍａｎｄｕｃｈｉ Ｒ．Ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒｉｎｇ ｆｏｒ ｇｒａｙ ａｎｄ ｃｏｌｏｒ ｉｍａｇｅ［Ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ＩＥＥＥ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ．Ｂｏｍｂａｙ，Ｉｎｄｉａ￣［Ｓ．ｎ．］，１９９８：８３６—８４６． ［９］Ｐｅｔｓｃｈｎｉｇｇ Ｇ，Ａｇｒａｗａｌａ Ｍ．Ｄｉｇｉｔａｌ ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ｆｌａｓｈ ａｎｄ ： ㈥ ３ 结束语 文章介绍了一种多传感器成像系统，为了能够得 到同一场景的多个光谱图像，设计了多传感器共用光 路，较好地解决了三个摄像机成像一致的问题；为了得 到同一时刻的三个摄像机的输出图像，设计外触发脉 ｎｏ－ｆｌａｓｈ ｐａｉｒｓ［Ｊ］．ＡＣＭ ｔｒａｎｓ ｏｎ ｇｒａｐｈ，２００４，２３（３）：６６１— ６６９． ［１０］Ｅｒｉｅ Ｐ，Ｊｏｈｎ Ｌ，ｋ０ｎａｒｄ Ｍ．Ｍｕｌｔｉｓｐｅｃｔｒａｌ ｂｉｌａｔｅｒａｌ ｖｉｄｅｏ ｆｕｓｉｏｎ ［Ｊ］．ＩＥＥＥ ｔｒａｎｓ ｏｎ ｉｍａｇｅ ｐｒｏｃ，２００７，１６（５）：１１８５—１１９４． ［１１］Ｄｕｒａｎｄ Ｆ，Ｄｏｒｓｅｙ Ｊ．Ｆａｓｔ ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒｉｎｇ ｆｏｒ ｔｈｅ ｄｉｓｐｌａｙ ｏｆ ｈｉｇｈ－ｄｙｎａｍｉｃ ｒａｎｇｅ ｉｍａｇｅｓ［Ｊ］．ＡＣＭ ｔｒａｎｓ ｏｎ ｇｒａｐｈ，２００２， ２１（３）：２５７－２６６． 冲触发相机的方式得到同一时刻图像；通过信号转换 的方式把ＣａｍｅｒＬｉｎｋ制式的数字视频信号编码成网络 数据包通过网络进行传输，在不影响传输质量的前提 下，不仅减少了传输过程中的信号线数量，并且延长了 传输距离；此外为了得到高质量的彩色图像，采用了双 ［１２］Ｓｏｃｏｌｉｎｓｋｙ Ｄ Ａ，Ｌａｗｒｅｎｃｅ Ｂ．Ｍｕｈｉｓｐｅｃｔｒａｌ ｉｍａｇｅ ｖｉｓｕａｌｉｚａｔｉｏｎ ｔｈｒｏｕｇｈ ｉｆｒｓｔ—ｏｒｄｅｒ ｆｕｓｉｏｎ［Ｊ］．ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ，２００２，１１（８）：９２３－９３１． （上接第１４９页） ［６］ 王国胤．Ｒｏｕｇｈ集理论与知识获取［Ｍ］．西安：西安交通大 学出版社，２００３． ｔｉｏｎａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ，１９９５，ｌ１（２）：３３９－３４７． ［１Ｏ］苗夺谦，胡桂荣．知识约简的一种启发式算法［Ｊ］．计算机 研究与发展，１９９９，３６（６）：６８１—６８４． ［７］ 张文修，吴伟志，梁吉业，等．粗糙集理论与方法［Ｍ］．北 京：科学出版社，２００１． ［８］Ｈｕ Ｘ Ｈ，Ｃｅｒｃｏｎｅ Ｎ．Ｌｅａｒｎｉｎｇ ｉｎ ｒｅｌａｔｉｏｎａｌ ｄａｔａｂａｓｅｓ：Ａ ｒｏｕｇｈ ｓｅｔ ａｐｐｒｏａｃｈ［Ｊ］．Ｃｏｍｐｕｔａｔｉｏｎａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ，１９９５，１ １（２）： ３２３—３３７． ［１１］韩素青，赵２０１Ｏ． 岷．Ｒｅｄｕｃｔ理论［Ｍ］．北京：清华大学出版社， 渝．一种基于Ｒｏｕｇｈ ｓｅｔ理论的属性 ［１２］常犁云，王国胤，吴约简及规则提取方法［Ｊ］．软件学报，１９９９，１０（１１）：１２０６— １２１１． ［９］Ｊｅｌｏｎｅｋ Ｊ，Ｋｒａｗｉｅｅ Ｋ，Ｓｌｏｗｉｎｓｋｉ Ｒ．Ｒｏｕｇｈ ｓｅｔ ｒｅｄｕｃｔｉｏｎ ｏｆ ａｔ— ｔｉｒｂｕｔｅｓ ａｎｄ ｔｈｅｉｒ ｄｏｍａｉｎｓ ｆｏｒ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ『Ｊ］．Ｃｏｍｐｕｔａ． ［１３］朱国龙，李龙澍．不相容决策系统中的规则提取方法研究 ［Ｊ］．计算机工程，２０１３，３９（２）：４６—４９．