系统解决方案 基于投影技术的互动触摸控制方法 张凯 。方玲燕 ，缪天缘。，汤高字。。刘稼唯。，高世伟。 ３．苏州大学机电工程学院，江苏苏州２１５００６） （１．安徽中科光电色选机械有限公司，合肥２３００８８；２．安徽警官职业学院公共管理系，合肥２３０００９； 摘要：针对传统人机交互方式的缺陷，提出一种基于Ｋｉｎｅｃｔ传感器的投影技术，并针对图像传输过程中噪声干 扰的问题．设计基于Ｋｉｎｅｃｔ的互动触摸控制系统，达到了良好的互动效果。 关键词：触摸互动控制系统；Ｋｉｎｅｃｔ；图像去噪；投影系统 ０引言 传统的人机互动方式都是采用鼠标、键盘、手柄 等设备，而现在交互方式可以以更加新奇的方式出 现：手的动作，人的声音等。以上所述的方式都可以用 来传递信息，实现人机之间的互动，但是国内外人机 交互技术对硬件设备的要求比较高，系统很庞大，灵 敏度低，并且都是直接触摸的交互系统“ 。采用红外 传感器、多媒体设备构建一种直观化、立体式、多人实 时互动的交互系统．它可以给人全新互动的新感觉和 互动触摸互动系统硬件主要包括：操作笔，用来模 拟电脑上的光标，受到墙壁挤压后会发射出红外线。经 墙壁反射给传感器接收信号：体感传感器，接受操作笔 发出的红外信号，捕捉信号并且处理后传输给电脑，主 要捕捉操作笔的深度信号；汁算机，接收体感传感器传 递过来的信号，经软件处理后，输出到屏幕上；投影设 备，输 视频信号，精确可靠地显示操作的结果。 硬件模块要实现的功能：运用自主研发的人机互 动软件平台．设计一套基于墙面的互动触摸控制系统 。 该系统不仅可以捕捉到操作笔的位置和动作，还可以 新体验。改变了传统的媒介传播方式和娱乐方式。该 技术可以让多名客户同时与宣传内容进行实时互动， 捕捉到人的动作，并通过体感传感器接收后反馈给计 算机，经计算机处理后通过投影仪展现到墙面上，实现 人机互动。这使得人和操作笔的动作可以代替鼠标在 墙面上完成鼠标的功能，包括单击、双击、拖动等。 体感传感器采用Ｍｉｃｒｏｓｏｆｔ公司的Ｋｉｎｅｃｔ３Ｄ体感 摄像机ｆ开发代号“Ｐｒｏｊｅｃｔ Ｎａｔａｌ”）。在Ｋｉｎｅｃｔ中导入了 即时动态捕捉、麦克风输入、影像辨识、社群互动、语 提高宣传效果，加深产品印象，符合人们交流的普遍 方式，具有非常大的应用空间。 基于Ｋｉｎｅｃｔ的互动触摸控制系统融合了计算机 技术、投影技术、红外采集技术，将传统的多媒体技术 与现代发展的技术结合起来，产生了巨大的社会影响 和经济效益 ｗ。它改变的不仅仅是技术成面的东西， 更改变的是一种理念，让人有一种身临其境的感觉． 拉近了教学者与学习者的距离。 该互动触摸控制系统可以在展览及规划馆展示、博 音识别等功能，能够精确地识别并捕捉人体动态，如 图１所示 物馆科普展示、地铁跟踪式广告互动、旅客聚集场所展 示、旅游景点增值服务、热点区域便民服务等诸多场合运 用，包括商场领域广告投放、会议室高端演讲、产品展示 发布会、餐饮场所服务、电视台主持人互动系统、地产现 场推广平台、酒店服务、４Ｓ店销售互动平台等。 ｌ互动触摸控制系统的硬件构架及实现方式 Ｉ．１硬件构架 基金项目：苏州大学校级大学生创新创业训练计划项目 ；： ｉ｛｝ ｛ ｚＩ１ｏ，９ 图１ 体感互动技术示意图 １．２互动触摸控制系统的实现过程 首先通过Ｋｉｎｅｃｔ创建一个桌面式的互动平台．然 后确保Ｋｉｎｅｃｔ的深度摄像头覆盖整个桌面范围。 Ｋｉｎｅｃｔ到桌面的最小距离被在０．７５ ｍ，而最大距 离决定了触摸点计算的精确性，推荐的距离值为ｌ ｍ。 自动化应用２０１７ ８期 ２２ （基金号：２０１６ｘｊ０４１） 作者简介：张凯（１９８４一），工程师，研究方向为图像处理 与模式识别．检测技术等。 收稿日期：２０１７－０２—１８ 系统解决方案 同时，需要确保Ｋｉｎｅｃｔ安装后不会被移动和干扰。即使 是微小的振动都会对深度值造成干扰．降低互动的准 ＝Ｕ Ｕ ０ 确性。若将一面墙作为互动表面，以上的规则依旧适 ｂ・（１－Ｋ）・｝０・（１一 ）ｂ・（１一 ）・｝】 ｌ ０ ０ ０ 。 （９） （１０） 用，但需要小心确认Ｋｉｎｅｃｔ的安装位置．Ｋｉｎｅｃｔ面对互 动平面的视野不能完全被站立着的使用者所遮挡。 Ｃ＝【０ ｌ ０】 经过上述步骤的计算， ，Ｊ－以把每个像素恢复到无 ２互动触摸系统的图像去噪方法 Ｋｉｎｅｃｔ通过摄像头接收到图像，然后传递给计算 机．在这期间，汁算机得到的图像信息难免会掺入噪 声的十扰，需要滤波来消除或者减小噪声。卡尔曼滤 噪像素，实现对整个图像的去噪功能 ３实验仿真与模拟 实验刚开始时，南于术使用滤波，操作笔 墙 波器是利用卡尔曼算法的数字信号滤波器，它通过ｋ— ｌ时刻的估计值和当前的观测值得到现在的估计值， 是一个实时性比较高的递推算法 一 ．．输入是系统的 观测值。输出是系统当前时刻的估计值。利用卡尔曼 滤波对 像进行去噪、恢复原图像的步骤： 上移动时，投影的图像不能正确地反馈信息，仃・定 的误差，如图２所示 另外，操作笔与墙壁挤压后发ｍ 红外线，而太阳光巾也柯红外线．所以Ｋｉｎｅｃｔ接收到 的红外线会受到太阳光的ｆ扰．这时即使操作笔没有 动作，屏幕上也会有产生抖动．影响止常的操作 系 （１）估计所有像素点（０—２５５）巾任意一个像素点 Ｘ（ｉｊ），假设： －统中加ｒ图像去噪算法之后．系统可以有效地去除外 界噪声信号的十扰，用操作笔在墙壁上滑动时．『ｌＪ‘以 （１） 画ｍ连续平滑的图像，如【皋Ｊ ３所永 、 （ ：，）＝ （ ） （２）估计水平方向像素点 （ ），它的值为左边像 素点加上第一步的像素点： ２（ ）＝Ⅱ・Ｘ（ｉｊ）＋ｂ ｘ（ｉｊ－１） （２） 式中 ｂ为权重系数，ａ＋ｂ＝１，ｒ为水平方向图像的 相关系数 ＿ 图２未加滤波产生的 图３加滤波后的连续 （３）估计 （ ），它的值为右边像素点和第二步的 像素点的和： 抖点图像 平滑图像 ）： ． （ ）＋『Ｊ 二 （３） 图像在交互的过程巾不可避免会掺入噪 的ｆ 扰，噪声可能是往图像信号的输入、传输、输 ｆ ｆｌｌ』一 个环节。也有＿ｌ１ｆ能是在硬件没备方面 ｌ可以肉眼观测 到引入噪声污染的图像 观了十扰，广 生断点、 像 抖动、触点不灵敏等情况． ．（４）估计 （ ），它的值为卡尔曼滤波和第三步估 计的和： 砌 ） ．（１一 ）． （ ｂ．（１ （４） 互动触摸系统经过校准后．就可以川操作笔 墙 壁上操作了，使 白饭功能可以 墙壁上写字，教学 效果非常好，写完之后， 片还可以保存下来，达到了 很好的互动效果 式巾，Ｋ为卡尔曼增益。 （５）估计 ，（ ），它的值为第四步垂直方向和水平 方向的平均值： ）＝ 第四步垂直办‘向什汁值。 上式可知： ＝（５） ４结语 互动触摸系统可通过操作笔代替传统的输入没 中， （ ）为第四步水平方向估计值， （ ）为 备，如键盘、鼠标等，用户可以更加直观地对系统进行 （６） （７） Ａ・Ｘ＋Ｋ（Ｙ—ｙ 控制，将被动的信息传播变成了使用者的主动求知与 接受．达到了良好的互动体验效果 参考文献 ｌ， ＝ ・Ｘ 式中，．Ｙ状态向量，，４为状态矩阵，日为输 矩阵， 表示预测值，其中： ： ［１］李凯．多点触摸交互系统的研究与实现［Ｄ］．南京：东南 （８） （下转第２６页） （ｉｊ—１） （ ）Ｘ（ｉｄ＇＋Ｉ）］ ２３ ＷＷＷ．ａｕｔｏ—ａｐｐｌｙ．ｃｏｒｎ 自动化应用 系统解决方案 收卷臂有两种结构，一种是带有驱动电动机的主 驱动臂。一种是不带驱动电机的辅助臂，使用时根据 分切薄膜的品种、宽度、厚度、收卷长度来选择收卷 臂。只要单收卷臂的驱动电机不超载，就可以使用一 个主驱动臂，一个辅助臂；当收卷薄膜重量过大时，就 需要选用两个主驱动臂同时驱动卷芯。 ６收卷压力控制系统 收卷压力控制系统如图５所示。接触辊是包有橡 胶的从动辊，其作用是排除分切制品中薄膜与薄膜之 间的空气．使用前首先要选择辊的长度，通常接触辊 的长度应大于制品的宽度。接触辊的两端有两个支撑 ：…………一：一一＿＿…：：…一二…＿＿…一＿＿．：………一 图５ 收卷压力控制系统 臂，支撑臂安装在旋轴上，支撑臂在转轴上可以任意 横移，用以适应分切宽度的变化。分切宽度调好后需 要将支撑臂紧同在转臂上．并利用软管将转轴旁分组 压缩空气的接口与跟踪臂上的低摩擦汽缸连接起来。 工作时根据分切速度、产品的卷径、薄膜的宽度及材 质等凶索，在控制台上设定或调节气压及压力变化规 律，利用计算机自动控制跟踪辊对分切薄膜的压紧 力，通常随着直径的增大压紧力也不断增加。 ７ ＢＥＡＭ的控制 图６ ＢＥＡＭ控制原理 收卷张力对跟踪压力的影响小。但随着收卷直 径的增大，薄膜将推动跟踪辊向后转移，当跟踪辊遮 参考文献 住分切机侧板上光电发生器发出的光束时，固定收卷 臂的转轴，就会在液压连杆的推动下，产生微小的转 ［１】刘苏鹏双向拉伸塑料薄膜［Ｍ】．北京：化学工业出版社． ［２】陈康宁机械工程基础［Ｍ］．西安：西安交通大学出版社． ［３】郭伯农自动控制原理 咽上海：上海科学技术文献出版社． ［４］关景泰液压控制技术［Ｍ］．上海：同济大学出版社． 动，并使收卷辊、跟踪辊恢复原位。ＢＥＡＭ控制原理 如图６所示 （上接第２３页） 大学．２０１３． ［２］陈一新．基于Ｋｉｎｅｃｔ的手势识别技术在人机交互中的 ［７】．基于各向异性高斯滤波的图像边缘检测方法 ［Ｄ］．西安：西安电子科技大学，２０１０． ［８】陈一虹，颜东，张洪钺．自适应卡尔曼滤波实时性研究 及其应用［Ｊ］．北京航天航空大学学报，１９９６，２２（２）： １４７．１４９． 应用研究［Ｄ］．成都：西南交通大学，２０１５． ［３］刘同仲．基于Ｋｉｎｅｃｔ设备手势识别技术的研究及应用 ［Ｄ］．北京：北京工业大学，２０ｌ５． ［４］彭丁聪．卡尔曼滤波的基本原理及应用［Ｊ】．软件导刊， ２００９，８（１１）：３３—３４． ［９】赛地瓦尔地买买提．低复杂度非局部均值与卡尔曼滤 波的图像去噪方法研究［Ｄ】．成都：西南－Ｙ．ｉ￣大学，２０１４． ［１０］石振刚，王晓燕．基于模糊逻辑的足迹图像滤波算法 ［Ｊ】．沈阳理工大学学报，２０１０，２９（１）：１６．１７． ［１１】陈理．Ｋｉｎｅｃｔ深度图像增强算法研究［Ｄ】．长沙：湖南 大学．２０１３． ［５］陈凯．人机交互系统中的目标跟踪算法研究［Ｄ】．西安： 长安大学，２０１５． ［６］宁磊．基于非线性非高斯滤波的目标跟踪研究［Ｄ】．济 南：山东大学。２０１ １． 自动化应用２０１７ ８期 ２６
