美食, 餐厅餐饮, 团购,生活,优惠券-大众点评网
大众点评微信公众号
大众点评QQ公众号
华北东北：
华东地区：
中部西部：
华南地区：
国外热门：
抱歉！页面无法访问......
错误信息：
currentDate: 07:10:24
userIp:180.112.31.227, 10.76.44.7
userAgent:Mozilla/5.0 (compatible, MSIE 11, Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko
(C) dianping.com, All Rights Reserved. 本站发布的所有内容，未经许可，不得转载，详见 。美食, 餐厅餐饮, 团购,生活,优惠券-大众点评网
大众点评微信公众号
大众点评QQ公众号
华北东北：
华东地区：
中部西部：
华南地区：
国外热门：
抱歉！页面无法访问......
错误信息：
currentDate: 07:10:24
userIp:180.112.31.227, 10.72.40.4
userAgent:Mozilla/5.0 (compatible, MSIE 11, Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko
(C) dianping.com, All Rights Reserved. 本站发布的所有内容，未经许可，不得转载，详见 。美食, 餐厅餐饮, 团购,生活,优惠券-大众点评网
大众点评微信公众号
大众点评QQ公众号
华北东北：
华东地区：
中部西部：
华南地区：
国外热门：
抱歉！页面无法访问......
错误信息：
currentDate: 07:10:24
userIp:180.112.31.227, 10.72.40.13
userAgent:Mozilla/5.0 (compatible, MSIE 11, Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko
(C) dianping.com, All Rights Reserved. 本站发布的所有内容，未经许可，不得转载，详见 。<span class="rate-inner" style="width:px">
人均&&#165;
本店未被认领
如果您是店主：当前位置： >>
足球比赛视频中的目标检测与跟踪
南京理工大学 硕士学位论文 足球比赛视频中的目标检测与跟踪 姓名：彭亮 申请学位级别：硕士 专业：计算机应用 指导教师：娄震
硕士论文足球比赛视频中的目标检测与跟踪摘要体育节目因为其特有的魅力，在现今的社会中广受大众的欢迎。因此，对体育 比赛视频数据的分析研究，具有很高的实际意义和商业价值。本文以足球比赛视频 为例，研究了比赛视频中感兴趣的目标――球员、足球和球场标志线的分割提取和预测跟踪。实际应用ｒ明，这三类目标所包含的比赛的信息量最大。目标分割提取时，’本文针对目标的颜色、形状特点，分别采用不同的方法对球 场线、球员和足球进行分割检测。对在球场线的分割检测方面，本文对比分析了顶 帽变换和边缘检测算子在球场线分割上的效果。由于Ｈｏｕｇｈ变换具有对直线残缺和 噪声的不敏感性，本文采用该变换方法获取球场线的坐标，并针对Ｈｏｕｇｈ交换不能 得到直线端点的问题，讨论了一种直线端点的获取方法。同时本文将球场线的坐标 在灰度图上进行拟合，以获得更为精确的球场线坐标参数。在球员和足球目标的分 害ｊ提取方面，本文实现了一系列基于球员和足球的图像分割，候选区域提取以及识别分类的算法。针对图像分割时出现的球员区域中间断裂问题和球员球场线相互粘连问题，本文分析并提出了相应的解决方案。经过大量的实验证明，本文中的目标 分害０提取算法对噪声具有一定的鲁棒性，在不问的场地情况下，均能获得较为满意的效果。在目标的预测跟踪时，对于球员和足球的跟踪，本文首先采用Ｋａｌｍａｎ滤波对 目标的运动轨迹进行预测估计，结合设置自适应波门来检测目标，实现对球员和足 球的跟踪。针对在跟踪中出现的球员匹配和球员间相互遮挡的问题，本文研究并提 出了可行的解决方案。对于球场线的预测跟踪，本文提出通过球场线的坐标参数来对球场线的运动趋势进行估计，在球场线的预测区域内进行直线提取操作。同时根据预测的坐标参数，限定Ｈｏｕｇｈ变换中两个参数的取值范围，以减小计算量。实验 证明，利用本文的跟踪方法可以有效的对足球比赛视频中的目标进行跟踪，使得目 标检测的计算量大大减少，其精度也有显著的提高。 本文提出的以足球比赛视频为例的体育视频分析处理技术。已经在实际工程中 的虚拟广告生成和虚拟摄像机特效两个方面得到了应用。关键词：体育视频，足球，目标检测，目标跟踪，Ｈｏｕｇｈ变换， Ｋａｌｍａｎ滤波硕士论文足球比赛视顾中的目标检铡与跟踪ＡｂｓｔｒａｃｔＮｏｗａｄａｙｓ，ｔｈｅ ｐｒｏｇｒａｍｓ ｏｆｓｐｏｒｔｓ ｖｉｄｅｏ ａｌｅ ｂｅｃｏｍｉｎｇ ｍｏｌｅ ａｎｄ ｍｏｒｅ ｐｏｐｕｌａｒ． Ｔｈｅｒｅｆｏｒｅ，ｉｔ ｐｏｓｓｅｓｓｅｓ ｈｉｇｈ ａｃｔｕａｌ ｍｅａｎｉｎｇ ａｎｄ ＣＯｌ／ｌｍＣ＇ａ＂ｃｅ ｗｏｒｔｈｉｎｅｓｓ ｓｐｏｒｔｓ ｖｉｄｅｏ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ｓｏｃｃｅｒ ｖｉｄｅｏ ｉｓ ａｎａｌｙｚｅｄ ｔｒａｃｋｉｎｇ ｉｎｃｌｕｄｅａＳ ａｎｔｏａｎａｌｙｓｅｏｎｔｈｅｅｘａｍｐｌｅ．Ｄｅｔｅｃｔｉｏｎ ａｎｄｏｆｏｂｊｅｃｔｓＳＯＣＣ．层ｒｉｎ ｔｈｅｓｏｃｃｅｒｖｉｄｅｏａｒｅｓｍｄｉｅ＆Ｈｅｒｅ ｔｈｅｏｂｊｅｃｔｓｗｅ ｐａｙ ａｔｔｅｎｔｉｏｎ ｔｏｐｌａｙｅｒｓ，ｂａｌｌ ａｎｄ ｃｏｕｒｔ ｌｉｎｅｓ．Ｉｔ ｉｓ ｐｒｏｖｅｄ ａｃｔｕａｌｌｙ ｔｈａｔ ｔｈｅｓｅ ｔｈｒｅｅ ｋｉｎｄｓ ｏｆａｏｂｊｅｃｔｓ ｃｏｎｔａｉｎｌｏｔ ｏｆｉｎｆｏｒｍａｔｉｏｎ ｏｆｔｈｅ ｇａｍｅ． ｔｈｅ ｄｉｆｆｅｒｅｎｃｅ ｉｎ ｃｏｌｏｒ ａｎｄ ｓｌｕｒｐ，ｔｗｏ ｄｉｆｆｅｒｅｎｔ ｍｅａＳｕｒｅｓＯｎ ａｒｅＡｃｃｏｒｄｉｎｇ ｔｏａｄｏｐｔｅｄｔｏ ｄｅｔｅｃｔ ｔｈｅ ｏｂｊｅｃｔｓ ｗｅ ｆｏｃｕｓｉｎ ｔｈｉｓ ｐａｐｅｒ．Ａｂｏｕｔ ｔｈｅ ｄｅｔｅ宅ｔｉｎｎ ｆｏｒ ｃｏｕｒｔ ｌｉｎｅｓ，ｔｈｉｓｐａｐｅｒ ｄｉｓｃｕｓｓｅｓ ａｎｄ ｃｏｍｐａｒｅｓ ｔｈｅ ｓｅｇｍｅｎｔ ｅｆｆｅｃｔｓ ｐｒｏｄｕｃｅｄ ｂｙ ｔｈｅ Ｔｏｐ―Ｈａｔ ｔｒａｎｓｆｏｒｍａｎｄ ｔｈｅ ｅｄｇｅ ｄｅｔｅｃｔｏｒｓ．Ｉｎｓｅｎｓｉｔｉｖｅｎｅｓｓ ｔｏ ｔｈｅ ｎｏｉｓｅ，Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ ｉｓ ｕｓｅｄｔｏｏｂｔａｉｎｃｏｏｒｄｉｎａｔｅｐａｒａｍｅｔｅｒｓ ｏｆｌｉｎｅｓ．ＡｍｅｔｈｏｄｉｓｄｉｓｃｕｓｓｅｄｔＯ ｇｅｔ ｓｔａｒｔａｎｄｅｎｄｐｏｉｎｔｓｏｆｌｉｎｅｓ．Ａｂｏｕｔ ｔｈｅ ｄｅｔｅｃｔｉｏｎ ｆｏｒ ｐｌａｙｅｒｓ ａｎｄ ｂａｌｌ，ｔｈｉｓ ｐａｐｅｒ ａｄｖａｎｃｅｓａｓｅｒｉｅｓ ｏｆａｌｇｏｒｉｔｈｍｓ ｔＯ ｐｒｏｂｌｅｍｓ ｉｎ ｓｅｇｍｅｎｔｅｄｓｅｇｍｅｎｔ，ｄｉｓｔｉｌｌ ａｎｄ ｒｅｃｏｇｎｉｚｅ ｔｈｅｐｌａｙｅｒｓ ａｎｄ ｌｉｎｅｓａｒｅａｒｅａｓｏｆｐｌａｙｅｒｓ ａｎｄｂａｌｌ．Ｔｈｅｉｍａｇｅｓ ｔｈａｔ ａ ｃｌｅａｒａｎｃｅ ｏｆｔｅｎ ｅｘｉｓｔｓ ｉｎａｐｌａｙｅｒ ａｒｅａ ａｎｄ ｔｈｅ ｃｏｎｇｌｕｔｉｎａｔｉｏｎ ｂｅｔｗｅｅｎｔｏｄｉｓｃｕｓｓｅｄ ａｎｄ ａｎ ａｐｐｒｏｐｒｉａｔｅ ｍｅｔｈｏｄ ｉｓ ａｄｖａｎｃｅｄｒｅｓｏｌｖｅ ｉｔ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ａｄｖａｎｃｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ ｉｓ ｒｏｂｕｓｔ ｔｏ ｔｈｅ ｎｏｉｓｅ．Ｔｈｅ ｒｅｓｕｌｔｓ ｏｆ ｏｂｊｅｃｔｓ ｄｅｔｅｃｔｉｏｎａｒｅｇｒａｔｉｆｙｉｎｇ ｆｏｒ ｖａｒｉｏｕｓＳＯＣＣｅｒｖｉｄｅｏ．ｏｎＴｈｉｓ ｐａｐｅｒ ｐｒｅｓｅｎｔ ａｎ ａｌｇｏｒｉｔｈｍ ｏｆｔｒａｃｋｉｎｇ ｔｈｅ ｏｂｊｅｃｔｓ ｉｎ ｔｈｅ ｓｏｃｃｅｒ ｖｉｄｅｏ ｂａＳｅｄＫａｌｍａｎ ｆｉｌｔｅｒ．Ｔｈｅ ｔｒａｃｋｉｎｇ ｈｉｓｔｏｒｙ ｉｓ ｅｎｃｏｄｅｄ ｉｎｔｏｅｓｔｉｍａｔｅｄｓｔａｔｅｓｔａｔｅ ｐａｒａｍｅｔｅｒ ｏｆｔｈｅ ｆｉｌｔｅｒ．Ｔｈｅｐａｒａｍｅｔｅｒ ｗｉｌｌ ｂｅ ｕｓｅｄｔｏｒｅｄｕｃｅ ｓｅａｒｃｈ ａｒｅａ ｆｏｒ ｍｏｄｅｌｍａｔｃｈｉｎｇ．Ｔｈｅｐｒｏｂｌｅｍｓ ａｐｐｅａｒｉｎｇ ｉｎ ｔｈｅ ｔｒａｃｋｉｎｇ ｐｒｏｃｅｓｓ ａｂｏｕｔ ｐｌａｙｅｒｓ ｍａｔｃｈｉｎｇ ａｎｄ ｐｌａｙｅｒｓ ｓｈｅｌｔｅｒｉｎｇ ａｒｅ ｓｔｕｄｉｅｄ ａｎｄ ｍｅｔｈｏｄｓｔｈｅｔｏ ｒｅｓｏｌｖｅｔｈｅｍａｒｃｐｒｅｓｅｍ．Ｔｈｉｓ ｐａｐｅｒ ａｄｖａｎｃｅｓ ｔｈａｔ ｔｒａｃｋｉｎｇｃｏＵｒｔ ｌｉｎｅｓ ｂｙ ｅｓｔｉｍａｔｉｎｇ ｃｏｏｒｄｉｎａｔｅ ｐａｒａｍｅｔｅｒｓ ｏｆｌｉｎｅｓ．Ａｎｄ ｔｈｅ ｐａｒａｍｅｔｅｒｓ ｉｎｔｒａｎｓｆｏｒｍａｒｅＨｏｕｇｈｒｅｓｔｒｉｃｔｅｄ ｂａＳｅｄ ｏｎ ｔｈｅ ｅｓｔｉｍａｔｅｄ ｃｏｏｒｄｉｎａｔｅ ｐａｒａｍｅｔｅｒｓ ｔＯｒｅｄｕｃｅｔｈｅ ｃｏｍｐｕｔａｔｉｏｎ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｔｒａｃｋｉｎｇ ｓｔｒａｔｅｇｙ ｐｒｅｓｅｎｔｅｄ ｉｎ ｔｈｉｓｐａｐｅｒ ｉｓ ｅｆｆｅｃｔｉｖｅｔＯｕａｃｋ ｏｂｊｅｃｔｓ ｉｎｓｏｃ髓＝ｒ ｖｉｄｅｏ． ｓｐｏｒｔｓｖｉｄｅｏ ｉｎ ｔｈｉｓ ｐａｐｅｒ ａｒｅ ａｌｒｅａｄｙ ａｐｐｌｉｅｄ ｉｎＴｈｅ ｐｒｏｃｅｓｓ ｔｅｃｈｎｏｌｏ百ｅｓａｃｔｕａｌｆｏｒ ｔｈｅｐｒｏｊｅｃｔｓ．Ｋｅｙｗｏｒｄ：ｓｐｏｒｔｓＨｏｕｇｈｖｉｄｅｏ，ｓｏｃｃｅｒ，ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ，ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ，ｔｒａｎｓｆｏｒｍ，Ｋａｌｍａｎ ｆｉｌｔｅｒⅡ声明本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文 中作了明确的说明。研究生签名：ｊ阻。６年自月９日学位论文使用授权声明南京理工大学有权保存本学位论文的电子和纸质文档，可以借阗或 上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密 论文，按保密的有关规定和程序处理。研究生签名：聋盘．０６年６月纾日碗十论文足球比赛视频中的目标捡测与跟踪Ｉ绪论＇．１课题研究的背景与意义 近年来，由于计算机相关技术的迅猛发展以及网络的迅速普及，人们越来越多 的以多媒体数据的形式来接受各种信息，这就要求对各种多媒体数据进行存储和分析处理。由于人类感知和理解世界的最主要的途径是视觉，因而视觉信息是多媒体 数据中最重要的信息，含有最大的信息量。在多媒体数据中，视觉信息表现为图像数据和视频数据。对图像和视频数据的分析处理，已经是多媒体数据处理中的热点问题。视频处理技术随着集成电路的急速发展和硬件成本的大大降低，在工业、国防 以及商业民用等方面的应用要求日益广泛而急迫。在工业上，现在逐步出现了产品 生产的可视化智能监控系统，利用摄像机实现对产品的质量检测；在国防上，精确制导武器的关键技术之一就是红外复杂背景下的运动目标的识别；在商业民用上，人们对在银行、道路交通、宾馆等场所出现的视频监控系统要求不再局限于一般的数字监视和管理功能，而是希望它能提供更加智能化的服务。现代生活中，体育视频是一类深受广大观众喜爱的重要视频。在现有电视节目 以及互联网中占有很大的比重。随着人们生活质量的不断上升和科技的飞速进步， 各方面对体育比赛视频的要求也在上升。比如，在观看体育比赛方面，现在这种被 动，平面的观看方式将渐渐不能满足电视观众的要求，转播方需要加入各种视觉特 效来满足观众对视觉上的要求；在比赛研究分析方面，?球队教练需要提取出比赛视频中供的相关数据来协助教练进行战术研究；在商业应用方面。转播方也需要更加充分地发掘出足球比赛转播中蕴含的商业价值。这些都需要对比赛的视频数据进行 分析，针对不同的要求对比赛图像进行处理，以便满足各方面对比赛视频的要求。 在众多的体育比赛中，足球比赛拥有的观众人数最多，受关注程度最高。因此， 对足球比赛视频中的运动目标进行检测、提取、定位和跟踪，有着很高的实用价值和现实意义。视频中目标的提取与跟踪是当前图像和视频处理的热点，所应用到的技术涵盖 了图像处理分析和计算机视觉的很多领域。一般来说，一个视频场景是由背景和目 标组成，其中目标是视频序列的重要组成部分，包含着重要的信息。因此，快速有 效地分割出视频中的对象，并实现对感兴趣目标的跟踪，是后续的视频图像分析的基础。硕士论文足球比赛视频中的目标检铡与跟踪１．２体育视频分析的研究现状 在过去的二十多年中，人们对视频处理技术做了大量的研究，提出了许多行之 有效的方法。体育视频由于具有较强的结构性和规律性，作为一种重要的视频类型，． 受到了大量的学者的关注。近年来，国内外有许多著名大学和研究机构对体育视频 分析技术进行了深入的研究。目前体育视频分析研究中，常用的有三类方法：基于 视频基本特征的方法、基于视频基本特征和辅助信息相结合的方法和基于视频运动 特征的方法【２１：１．基于视频基本特征的方法视频的基本特征包括颜色、纹理和一些底层的、简单的形状特征，这些特征具 有计算简单，性能稳定的特点，在体育视频分析中运用的最为广泛。 在文献【３】中，Ｄｅｎｍａｎ讨论了一种斯诺克比赛中进球事件的检测方法。进球的 发生相对应于在球桌上某一个特殊区域内出现球消失的现象。该文献首先运用阙值 分割的方法分割出可能俯身在球桌上的击球手，将击球手区域颜色替换成台球桌面 的颜色，然后利用颜色信息分割出球和球袋，对进入到球袋附近区域的球进行跟踪， 当出现球在靠近球袋时消失的情况，则就认为该球已经入袋，即发生了迸球事件。 文献［４１ｑｂ，作者讨论了在足球和篮球比赛视频图像中球场检测的方法及应用。 首先通过分析已知的数帧画面中各个颜色分量的直方图，得到主要颜色即球场颜色 的分布；然后在后续未知画面中，根据判断球场出现的与否以及球场出现的比例， 进一步把比赛画面分成远景镜头、场地内的近景镜头、球员特写镜头和观众看台镜 头几类。利用对比赛画面镜头的分类，作者提出了足球比赛中进球事件的检测方法以及将篮球比赛分割成暂停和比赛两个片断的方法。文献【５１中，作者展示了一个名为ＳＯＣＣＥＲＭＡＮ的系统，该系统通过颜色信息对 足球比赛中的球员和场地进行检测，以此为基础，重构出足球比赛的３Ｄ场景。 ２．基于视频基本特征和辅助信息相结合的方法 在体育比赛视频中，赛场的语音和视频图像的标题文本也包含着重要的信息， 对其进行分析也是体育视频分析的方法之一。在文献【６】中，作者提出综合利用视觉特征和音频特征来检测足球比赛中的进球事件的发生。视觉特征方面，作者提出使用像素级的比较、直方图的比较、分割后 的图的比较和目标跟踪来检测两个镜头间的边界。音频这里是指比赛中解说员和现 场观众声音，考虑的特征为声音的音量、能量（在特定的时间窗口内声音波形的平 均振幅）和频率。由于进球事件发生时，镜头的内容及切换、音频的变化均具有一 定的规律性，作者正是通过对该规律性进行验证，实现进球事件的检测。类似的，文献［７】提出，在棒球比赛分析中，利用检测和提取观众喝彩和球棒击球声音来实现２硕士论文足球比赛视频中的目标检霸与跟踪镜头的分割，检测出击球得分事件的发生。 在文献【８】，作者提出通过检测视频图像中的记分显示来判定捧球比赛的得分情 况。由于比赛的比分在视频图像中的显示位置相对固定，通过分割比分数字并对其 简单的识别，就可以实现比赛得分情况的判定。３．基于视频运动特征的方法体育比赛视频中的全局运动特征或者摄像机运动参数也是体育视频分析的常 用特征。 文献【３３】分析了视频对象的运动轨迹和相互运动关系来分割足球比赛视频；文 献［３４１６０，高尔夫球比赛的运动特征是利用“ＭＰＥＧ．７运动行为描述子”来描述；文 献【３５】利用了摄像机的运动参数来检测足球比赛的进程。 与其他视频分析技术比较而言，体育视频分析仍处于初步研究的阶段。由于体 育视频的内容具有多样性和复杂性，目前的体育视频分析还不能达到非常理想的结 果，很难针对某类比赛得到通用的处理方法。所以通常的体育视频处理技术只能对 于某类型的体育比赛的特定一段视频进行处理分析。通用性是体育视频处理的难点之一。４．３本文研究内容及章节安排 本文主要研究足球比赛视频中的目标检测和跟踪，这里的目标包括球员、足球 和球场标志线。该研究成果已经在南京易麦佳科技有限公司研发的体育视频处理系统中得到了应用。具体的研究内容包括：１）在单帧图像中，讨论了足球比赛图像中球场线的分割算法以及基于ｈｏｕｇｈ变 换的球场线坐标提取方法。针对Ｈｏｕｇｈ变换不能得到直线的端点问题，讨论了一种 直线端点的获取方法。同时根据Ｈｏｕｇｈ变换中得到的球场线坐标，在灰度图上拟合出更为精确的球场线。２）在单幅图像中，讨论了一系列基于颜色和形状信息的检测提取球员和足球的 算法，包括基于球员和足球的图像分割、候选区域提取以及识别分类。针对图像分 割时出现的球员区域中间断裂问题和球员球场线相互粘连问题，本文讨论并提出了相应的解决方案。２）在视频序列中，使用Ｋａｌｍａｎ滤波对球员和足球的运动轨迹进行预测估计， 结合设置波门，对波门内的目标进行检测，实现对球员和足球的跟踪。针对跟踪时 出现的目标匹配、球员遮挡等问题，讨论并提出了可行的解决方案。 ３）在视频序列中通过球场线坐标参数的预测估计，减小球场线分割操作的范围 和Ｈｏｕｇｈ变换参数的选择范围，实现对球场标志线的跟踪。３珂ｌ十论文足球比赛视频由的目标检测与跟踪该课题所面临的难点主要有：１．在通用性方面，由于所需处理的足球比赛视频的不同，球场的场地颜色图 案和球员球衣颜色也随之具有多样性，加上天气和场内光照的影响，几乎不可能找 到一个对所有的足球比赛视频都适用的通用方法。在实际的实现中ｉ只能改善算法 使之尽可能多地满足各种可能出现的情况，如分割在ＨＩＳ空间对色调进行，以避免 光照的影响；球场及球员分割阈值动态确定。 ２．在实时性方面，该课题是实现足球比赛视频处理系统的基础和核心部分，足球比赛视频处理系统可以用来在转播时加入视觉特效，也可以是用来实现虚拟场景，也可以检索统计足球比赛视频中发生的事件。因为大多数视频处理系统都是用 在实时转播中，这就对处理时间提出了苛刻的要求。在实际的实现过程中，需要利 用帧与帧之间图像内容的相关性实现对目标的预测跟踪，以加快目标提取的速度。 同时，算法也要在不失准确性的基础上，尽可能地加以简化，以提高处理速度。 ３．在准确性方面，由于在视频采集和传送中加入的噪声干扰以及硬件设备上 的限制，在足球比赛视频片断中，准确地分割出所有感兴趣的目标并对其实现跟踪 并不是一件容易的事。这是一个与实时性相矛盾的要求，在研究中需要找到一个折 衷的方法，在处理时间可以接受的前提下，尽可能准确地实现目标的检测和跟踪。 基于上述的研究内容，本课题实现了一个足球比赛视频处理系统，对于输入的 足球比赛ＡＶＩ视频流，逐帧（或者隔帧）对图像画面进行处理分析，得到目标的形 状参数和位置参数。处理流程的示意图如下所示：起动誊敷更前图１．３．１足球比赛视频处理系统示意图本文的章节具体安排如下：第１章为“绪论”。本章介绍本课题的研究背景和意义、国内外的研究现状以及４硕士论文足球比赛视频中的目标硷铡弓跟踪本文的研究内容。 第２章为“运动目标检测跟踪相关技术介绍”。本章首先介绍几种运动目标的分 割算法，再针对一般的运动目标跟踪的两个步骤：且标的运动轨迹预测与目标的匹 配，对这两方面的相关知识做一个简要的介绍。 第３章为“足球比赛图像中的目标分割”。本章主要针对球场上感兴趣的目标――球员、足球和球场标志线，分别讨论它们在单帧图像中的检测方法。第４章为“足球比赛视频序列中的目标跟踪”。本章主要讨论了球场上目标的跟 踪方法，内容包括比赛视频序列中对球员足球的运动估计、分割方法和匹配策略， 以及球场线的坐标参数预测和参数提取策略。 第５章为“体育视频处理技术的应用”。本章介绍了本文中的足球比赛视频处理 技术在几项实际项目中的应用。 第６章为“总结与展望”。５硕士论文足球比赛ｊ！Ｉ频中的目标检测与跟踪２运动目标检测跟踪相关技术介绍运动目标跟踪技术在交通监视、自动导航、军事侦察和武器制导等多个方面有 着重要的实用意义。运动目标的跟踪就是通过对传感器采集到的视频序列进行分 析，计算目标的运动参数，估计出目标在后续图像中的位置。 可靠性和时效性是衡量目标跟踪的两个重要标准，而视频序列处理的时效性限 制了计算量，进一步影响到了可靠性。在可靠性和时效性之间寻找一个合适的平衡 点，是目标跟踪成功的重要工作之一。在实际工作中，研究者需要根据不同的应用 场合设计不同的算法，在算法的可靠性和时效性方面进行折衷考虑。 目标跟踪的处理对象是图像序列，又称为视频序列，动态图像。图像序列是指用图像传感器（如摄像机）采集的一组随时间变化的图像，它们具有给定的或假设 的相对顺序，并给出相邻的两帧图像获取的时间间隔关系。图像序列一般可以表示 成： （２．１） ｛厂（而舅ｔｏ），ｆ（ｘ，Ｙ，ｔＯ…．，ｆ（ｘ，Ｙ。ｔ＿＾ｃ－ｔ）｝ 其ｅｐ ｋ为帧序，Ｎ为图像序列的总的帧数，ｔｏ，‘…．，ｆ。是指获取该帧图像的 时刻，相邻两帧图像问的间隔ａｔ，＝ｔ，－ｔ，．，ｆ－１，２，…，Ⅳ一ｌ。一般情况下图像序列中每两帧之ｆＢＪ的时间间隔缸相等。在目标检测方面，视频图像序列能提供比静止 图像更多的有用信息，使得我们可以利用视频图像序列更可靠更高速的检测出感兴趣的目标。本章主要介绍视频序列中目标检测和跟踪的基础知识。首先介绍本文中目标检 测运用到的数学形态学和Ｈｏｕｇｈ变换，再针对一般的运动目标跟踪的两个步骤：目 标的运动轨迹预测与目标的匹配，对这两方面的相关知识做一个简要的介绍。２．１数学形态学。数学形态学作为图像理解的一个分支兴起于２０世纪６０年代。形态学的基础足 作用于物体形状的非线性算子的代数，它在很多方面都要优于基于卷积的线性代数 系统。在很多的邻域中，如图缘预处理、基于物体形状分割、物体量化等等，与其 他标准算法相比，形态学方法都有更好的结果和更快的速度。 数学形态学作为一种图像处理和分析的方法，它的研究对象可以是二值图像、 灰度图像或者是深度图像。这里主要介绍应用于二值图像上的四个二值形态学算 子：膨胀、腐蚀、开运算和闭运算。（１）膨胀６硕十论文足球比赛视频中的目标检测与跟踪膨胀采用向量加法对两个集合进行合并。Ｘ用Ｂ膨胀记为ＸｏＢ，是所有可能 向量加之和的集合，其定义为： ＪｏＢ＝｛ｐ∈占２：Ｐ＝ｘ＋以善∈Ｘ且ｂ∈Ｂ｝ 小的空洞和狭窄的缝隙。（２）腐蚀 （２．２）膨胀运算的效果是把图像周围的背景点合并到物体中。它可以用来填补物体中腐蚀对集合元素采用向量减法，将两个集合合并，腐蚀是膨胀的对偶运算。ｘ用Ｂ膨胀记为Ｚ０口，定义为：，Ｘ９Ｂ＝｛Ｐ∈占２：，＋６∈Ｚ对于每一个６∈Ｂ）（２．３）腐蚀是一种消除物体所有边界点的一种方法，它的结果在于使物体沿其边界比 原来的物体小若干个象素。腐蚀对于从图像中去除小的物体十分有用，可以简化物体的结构。（３）开运算 开运算定义为先做腐蚀然后再膨胀。图像Ｘ关于结构元素Ｂ的开运算记为Ｘ。Ｂ，定义为：Ｘ ｏＢ＝（ＸＯＢ）０Ｂ（２．４）开运算用于消除图像中小于结构元素的细节部分，物体的局部形状保持不变。 反复的进行开运算，其所得的结果保持不变。 （４）闭运算 闭运算定义为先做膨胀然后再腐蚀。图像ｘ关于结构元素Ｂ的闭运算记为Ｘ?Ｂ，定义为： Ｘ?Ｂ＝（ＸＯＢ）＠Ｂ （２．５）闭运算用来连接Ｉ临近的物体，填补小空洞，填平窄缝隙使得物体的边缘更平滑。与开运算一样，反复的进行闭运算，其所得的结果也是保持不变的。 ２．２Ｈｏｕｇｈ变换 Ｈｏｕｇｈ变换是一种非常重要的从图像中检测出参数曲线的方法。最初的Ｈｏｕｇｈ 变换是设计用来检测直线的，扩展后可以用来检测各种已知的形状。这种方法的突 出优点是分割结果的鲁棒性，即分割对数据的不完全或噪声不是非常的敏感，它可 以用于重叠的甚至部分遮挡的物体的分割。下面讲述一下标准的用于直线检测的 Ｈｏｕｇｈ变换。 首先，直线的代数表达式可以写为：Ｐ＝ｘ＋ｃｏｓ０＋Ｙ＋ｓｉｎ口（２．６）７硕士论文足球比赛视频中的目标枪铡与跟踪式中，Ｐ是表示从坐标原点向直线引的垂线长度的参数，口是表示垂线与ｘ轴 之间的夹角的参数。若用这个代数方程式，则ｘ―ｙ图像空间中的直线ｐｏ＝ｘ＊ｃＯｓｏｏ＋ｙ＊ｓｉｎｔ％，对应着ｐ一疗参数空阆中的一点，如图２．２．１（ａ）。另外，在ｘ―ｙ空间中通过图像中的特征点（ｘ０，ｙｏ）的任意直线可以表示为： Ｐ＝Ｘ０＊ｃｏｓｇ＋ｙｏ＊ｓｉｎ０。满足该式的直线群在Ｐ一日参数空间中对应着～系列点的轨 迹，如图２．２．１（ｂ）所示。从另一个角度来看，就是ｘ―ｙ空间中的点（ｘｏ，ｙｏ）被映射成用Ｐ＝ＸＯ＊ｃＩＤＳ０＋ｙｏ＋ｓｉｎ０表示的ｐ一口参数空间中的一段轨迹。Ｐ，０６＆Ｅ，２２（ａ）Ｐ孝弋．．ｍ您＼２７（ｂ） 图２．２．１ Ｈｏｕｇｈ变换中图像空间和参数空间对应示意图?基于这种图像空间与参数空间的关系，在Ｈｏｕｇｈ变换中可按如下步骤进行直线检测：１）准备一个表示Ｐ一０参数空间的二维数组，并把所有元素都初始化为０。 ２）把图像中各特征点的坐标值代入Ｐ＝ｘ?ｃｏｓＢ＋ｙ＊ｓｉｎ０，把此时的式子看成是 关于Ｐ和曰方程式。按一定间隔Ａ０增加口，计算此时得到的ｐ值。将以Ｐ和口为下标的二维数组元素的值加ｌ。，３）所有的特征点进行计算后，二维数组元素的值即为直线上点的个数，该数组元素的下标，和曰‘确定了该直线的方程：ｐ。＝ｘ＊ｃｏｓＯ＂＋ｙ＇ｓｉｎ０＇。通过选择数值８硕士论文足球比赛视频中的目标检测与跟踪大小满足条件的二维数组元素，即表示检测出了该数组元素下标确定的直线。即使图像中的特征点不是连续的，Ｈｏｕｇｈ变换也能有效的检测出直线，与边缘 跟踪等方法相比，抗噪声能力更强。因为Ｈｏｕｇｈ变换具有这些良好的特性，从１９６２ 年最初提出这一方法以来，已被改良、扩充了很多次，可以用作任何已知形状的曲。线的检测。２．３运动目标的预测估计跟踪的首要任务，就是估计目标的运动轨迹，计算得出目标在下一时刻的预测 位置。下面介绍几种常用的目标位置预测方法，即线性预测方法【１４１、统计预测方法［ｕｑ和Ｋａｌｍａｎ滤波器。●２．３．１线性预测估计方法 可以用下式表示一种最简单的估计目标在下一时刻的位置的方法： （ｉ＋ｌ，竞＋１）＝（ｘｔ＋△ｔ＋ｌ，咒＋Ａｙ，＋１）（２．７）其中，（△‘＋ｌ，△以＋。）表示目标从ｉ时刻运动到ｉ＋１时刻的运动矢量，（ｔ，只）表示目标在ｉ时刻的真实位置，（暑＋＂或＋。）表示目标在ｉ＋１时刻的预测估计的位置。这种预测方法的前提是假定目标在短时间内运动速度不变，所以只适合匀速运动目标的 跟踪。可以采用较为复杂的预测方法来弥补上述公式的缺点，例如考虑前ｋ＋１个时 刻运动矢量，来得出ｉ时刻运动到ｉ＋ｌ时刻的运动矢量：△ｔ“＝ａｋ幸Ａｘ，．Ｉ＋ａｓ，－ｌ‘Ａｘｊ―Ｉ＋ｌ＋…＋ａｏ＋ａｘ，（２．８） （２．９）ａｙ，“＝瓯?ａｙ，４＋以ｑ??蚬４＋ｌ＋…＋ｂｏ?Ａ巧其中，常数哝，ａｋ．．，…，ａｏ，也，以。，．．．，ｂｏ为线性预测系数。线性预测估计的关键 就是求取该线性预测系数，当目标的运动矢量序列足够长时，可以使用最小二乘方 等方法计算线性预测系数。在实际应用中使用线性预测方法估计目标位置需要考虑 以下几个问题：．１）如果目标在场景中出现时间较短时，会引起目标运动位置观测序列不足够长， 这就会给线性预测系数的计算和修正带来数据量不足的问题。 ２）线性预测系数计算需要保存以前的运动矢量数据。 ３）虽然估计了目标下一时刻的位置，但仍需要确定目标搜索区域的大小。线性 预测技术只预测目标的位置，没有预测目标位置的误差，所以需要确定一个固定的 较大的搜索范围去寻找目标的真实位置。这是线性预测的主要缺点，即不能根锯预 测目标位置的误差而自适应的调整目标的搜索范围。９硕士论文足球比赛视频中的目标硷测与跟踪２．３．２统计预测方法 可以使用统计方法预测目标的下一时刻位置。该方法首先将图像分为多个互相 连接的凸多边形区域，不失一般性，设有一个区域墨，与其相邻的区域有足，，墨：，¨．，如，假设当前有一个运动目标处于区域中，那么可以统计其运动到各区域的概率自只。且有∑只，＝１?若认为下一时刻运动目标的位置与前一时刻所处的状态无关，那么下一曲刻目标最有可能出现的位置是区域Ｒ：，Ｒ；懈只√区域应为使得后验概率最大的区域Ｒ：（２．１０）如果考虑目标出现在某一区域Ｒ的概率只，那么下一时刻目标最有可能出现的Ｒ＝ｍａｘｅ（弓ｌＲ）Ｊ‘▲，．一（２．１１）２．３．３基于Ｋａｌｍａｎ滤波器的预测方法Ｋａｌｍａｎ滤波器破广泛的使用在运动视觉应用中，它是一种对动态系统的状态序列进行线性最小方差误差估计的算法，通过动态的状态方程和观测方程来描述系 统。它可以以任意一点作为起点开始观测，采用递归滤波的方法计算，具有计算量 小，可以实时计算的特点ｆ１６１。?Ｋａｌｍａｎ滤波器是～个线性递归滤波器，基于系统以前的状态序列对下一个状 态做最优估计。Ｋａｌｍａｌｌ滤波器算法主要包含状态方程和观测方程两个方程，分别如下：状态方程：气＝纯¨％。＋睨－１（２．１２）（２．１３）观测方程：Ｋ＝皿黾＋Ｋ其中，以是系统状态的ｎｘｌ维状态向量：Ｋ是观测到的系统状态的ｍｘｌ维向量；唬¨是状态转移矩阵，ｎｘｎ维，从‘。时刻到‘时刻；巩是‘时刻观测矩阵，ｍｘｎ维；％．，是ｔｔ．。时刻状态的随机干扰（自噪声）的随机向量，ｎｘｌ维； 刻的观测噪声向量，ｍｘｌ维。 此处设动态噪声戤和观测噪声吒为两两互不相关的零均值的正态白噪声序 列。可以令Ｑ和Ｒ为动态噪声％和观测噪声砟的协方差矩阵： Ｋ是＾时ｇ＝Ｅ｛呒％１｝（２．１４）．Ｒ＝Ｅ｛Ｖ，Ｖｔｌ）（２．１５）若根据Ｅ，五，五…．，耳去估计黾称为ｋＩｌｍａｎ滤波，若根据写，Ｅ，Ｋ…．，Ｋ去估计五＋，则称为Ｋａｌｍａｎ预测。我们通过Ｋａｌｍａｎ滤波来更新系统当前状态矗，１０硕士论文足球比赛视频中的目标检铡与跟踪通过Ｋａｌｍａｎ预测来估计系统未来状态％＋ｌ。由于系统已经确定，则办ｊ。和ｑ已知，而磁．。和Ｋ满足一定假设，也已知。 设只是毫的协方差阵，皇是黾和毫的误差协方差阵。Ｋ．ａｌｍａｎ滤波器算法的计算公式如下：在ｆ。时刻，用ｘ均值向量初始化南并求Ｂ。在‘时刻，系统状态预测的方程为：毫＝纯ｊ．１毫－ｌ在‘时刻，系统状态更新的方程为：（２．１６）毫＝噍，ｋ－Ｉ毫．，＋墨（墨一峨噍。．。五．）其中，（２．１７）最＝苁．ｋ－１最－Ｉ＋群ｊ―ｌ＋Ｑ―Ｉ‘（２．１８） （２．１９） （２．２０）Ｋｔ＝蕞Ｈ；ｔＨ ｋ＆Ｈ：＋Ｒｋ？ｒ丑＝（Ｊ一丘皿）丑上式中足。为增益系数矩阵。 ２．４目标匹配算法在目标运动估计得到的目标预测范围内进行目标的搜索，如果在预测范围内检 测到目标，并且只有一个，则不需要进行目标匹配，该目标即可被认为是被跟踪的 目标；如果在预测范围内检测到的目标不只一个，这时就需要进行目标的匹配，以 寻求出被跟踪的目标。这里简要的介绍三种常用的目标匹配算法［１ ７ｌ： ２．４．１互相关匹配算法 互相关匹配算法能在低信噪比条件下提供较好的跟踪性能，但缺点是计算量较 大。从本质上来说，此算法就是将预先存储的目标模板和由图像传感器获得的图像 数据相匹配。图像匹配的工作由下面几个步骤组成：首先使参考图像与实时图像在 所有可能的位置上叠加，然后计算某种图像相似量度的相应值，其最大相似性的位置就可以认为是目标的位置。相关匹配最大程度的利用了数字图像所提供的目标和背景特征，目标跟踪性能 较为可靠，但在相关匹配过程中要处理大量的冗余信息，这就造成相关匹配跟踪算 法的实时性较差。并且当实时图像与参考图像之间的比例大小差异较大，或者出现 几何畸变、图像旋转时，该算法会失效。硕士论文足球比赛视频中的目标榆测与跟踪２．４．２特征匹配算法 特征匹配法是指在序列图像中找到一组具有不变性质的结构特征，将不同帧图 像的同种特征进行匹配，从而匹配目标。这类具有不变性质的结构特征包括图中局 部景物的边缘，角点和灰度局部极大值点等。特征点选择成功的话，可以使在亮度 改变和景物发生某些变形时，并不影响计算的精度，而数据的计算量则大大地减小。 特征匹配算法首先通过对参考图像和目标图像进行一些必要的预处理，从中选 取一些对主要误差源不太敏感的目标特征，形成目标的特征化描述，其次是对实时 图像和参考图像的目标特征进行匹配算法。通常的方法是求取两类图像对应特征的欧氏距离，以此作为匹配程度的测量，然后建立特征量距离测度矩阵。将参考图像相对于实时图像移动以求取匹配测度矩阵值。最后按照最佳匹配值进行目标定位。 ２．４．３直方图匹配算法 直方图是对图像信息统计后得出的数据，它反应了图像中像素的分布特性，因 此能够描述出图像的一些统计特性（均值、方差、互相关值等）。根据直方图中反 应出来的统计特征来判断两幅图像的匹配程度的匹配算法，即是直方图匹配算法。 在具有复杂背景的图像中，对一个非刚性物体进行跟踪，目标形状会随时发生 变化，因此简单的以模扳匹配的方法进行目标跟踪一般是不可行的。由于目标图像 的直方图记录的是颜色的出现溉率，不受目标的形状变化的影响，所以利用直方图 作为目标的模式，依据颜色分布进行匹配，具有很好的稳定性。同时直方图匹配算法的计算量小，满足实时性计算代价低的要求。 ２．５小结本章主要介绍视频中运动目标的检测和跟踪技术。首先介绍了本课题中视频序 列目标检测中运用到的数学形态学和Ｈｏｕｇｈ变换，然后介绍了三种常用的目标位置 预测方法：线性预测方法、统计预测方法和Ｋａｌｍａｎ滤波器，最后介绍了三种目标 匹配算法：互相关匹配算法、特征匹配算法和直方图匹配算法。１２硕士论文足球比赛视频中的目标枪测与跟踪３足球比赛图像中的目标分割视频序列，就是用图像传感器（如摄像机）采集的一组随时间交化的图像。所 以，从视频序列中抽取一帧图像进行分析，是视频序列处理的第一步。这一章主要 讨论在单帧足球比赛视频图像中的目标分割提取，暂时先不考虑视频序列的时序相 关性。分割提取的整个过程可以用下面的图３．１表示：图３．１单帧足球比赛视频图像处理流程图３．１镜头判断 足球比赛视频中的镜头，可以分为近景镜头和远景镜头两种。近景镜头的内容一般为球员的特写、教练席、观众表情以及小范围特殊事件（拼抢、受伤、犯规等），而远景镜头的内容一般为球场比赛画面。本文研究的是在球场比赛画面中的目标提取，所以首先要区别出当前的图像是不是远景镜头中的球场比赛画面，进而决定是否对画面进行处理分析。这样就很大程度的加快了视频序列的处理速度。硕十论文足球比赛视频中台々目标检测与跟踪（８）番台上的震众＜ｂ）球场丑：赛蕾覆（ｏ）球曼特写（莲）捞捻图３．１．Ｉ典型的几类足球比赛镜头由于足球比赛都怒在草坪上进行的，比赛画面中绿色的革烨占了犬部分曛域， 可以通过直接统计画谖中的颜色信息，来判断该画蟊是不是所需的球场比赛祗面。 由于所需处璎的足球比赛视频的不同，球场的场地颜色也陡乏具有多样往，糯上季 节天气和场内光照等各种影响，球场孳坪的绿色范围缀难在ＲＧＢ空间内准确的划 分。这里本文选用在ＨＳＩ空阔内，对每个象索色调的计算，来判断该象素的颜色是否为绿色：鼢一ｇｒｅｅｎ（ｘ，ｙ）＝｛：Ｉ髻阢办锄绿色的闽值，在实验阔像中选取疗＝７０，ｔｈ＝９０。‘（３．Ｉ）其中，ｉｓ―ｇｒｅｅｎ（ｘ，ｙ）表示该象素点（ｘ，ｙ）是否为绿色，以此可以得到一个＝值图像Ｉｂ一例（ｘ，Ｙ）一括一ｇｒｅｅｎ（ｘ，力４２５５，ｈ（ｘ，Ｙ）为该象素点的色调，ｆｔ、办为判断怒否为躅３．１，２悬图３。１．１经过色调分割磁得到的二值图像：（ａ）着台上的观众（ｂ）球场比赛厕面（ｃ）球员特写（ｄ）拼揄蚕３．１．２色淫努鬟鑫褥剿豹二缓辫露潮绿色的象素点谯画面中所占比例达到菜一个阈值时， 就可以认为该画面是球场笼赛萄面：缸一弦嫩麟∽。｛，警善妇一舻钟痒瓴ｙ形以力’矗∽ｐｓ１０ｅｌｓｅ∞，其中，括一ｆｉｅｌｄｓｃｅｎｅ（ｆ）表示当前赖，是否菇球场琵赛遁瑟，训：玲、蠹￡厂）努稍为匿１４蝣ｉ十论文足球比赛视新中的日标柃｛嚏《々跟踪谯有些情况下，～些近景墅像中也会出现丈面积豹草坪熙域，这螳画面就会坡 误判为球场眈赛画面，如图３．１．３所承。在后续的处璁分析中，这些躐面将会被排除掉。（ａ）球员特写（ｂ）分割后的图像（ｃ）伤停（ｄ）分割后的图像腻３．１．３踅辨会装浚粼戆委嚣３。２球场边雾攫取 为了翱快捡溺的速寝，需要在图像中找惑球场与鸳景之闽的分赛线，所商约分 割提取操作均在球场内进行。同时，也可以避免看台对球场瞄标提取的干扰，提高捡测黪准确憔。壹接鲍边缘撼取在这骥并不遗爆，因为边缘提取会将场上球受的边赛一起找出，这会影响对分辨线的刿断。本文采用的方法垦先对二德鼙像 五一／ｄ。ｆ（Ｘ，ｙ）ｌ乍腐蚀膨胀操作，填补球员裁判等在球场上造成的空洞麝，提取最大的 白色连通区域，该连通区域的外边界就是球场的边界。如图３．２．１，藏色曲线袭示球场的边界。嚣３．２．１球蕊迭赛连通星城提取的具体方泼有很多种，本义采用８～邻域区域标识的方法。由于 在球贯是球提取中逐将露到这个方法，所教猩后续襁关小节中再予以奔绥。 用ｉｓ―ｆｉｅｌｄ（ｘ，ｙ）表示图像上的点是否为球场草坪，可以将ｉｓ―ｆｉｅｌｄ（ｘ，Ｙ）作为掩码，螽续懿备释分裁处理蘸在球场醒城内避符：／ｓ＿ｆｉｅ搿（训）２｛ｏ３．３球场标志线的提取…、１１ｔｈｅｐｉｘｅｌ ｉｓ／ｎｔｈｅｆｉｅｌｄ。ｅ№（３．３）球场标志线是足球场的重要组成部分，蕴含了重要的球场坐标信息。标志线的 提取结果，可以直接用于摄像机定标、球场重建和计算球员在真实场景中的坐标等方面。｜墨ｌ ３．３．１球场标志线示意图如图３．３．１，球场上的标志线分为边线、底线、大小禁区线、中线、中圈和禁区弧。本文所要提取的球场线为边线、底线、大小禁区线和中线。由于球场场地纹理、球员裁判和光照天气的影响，加上标志线的磨损和键色，从足球场地中准确的识别 并提取出白色的球场线并不是一件容易的事１１８１。本文先在反度图上做预处理，增强图像中的直线信息，再利用Ｈｏｕｇｈ变换初步提取出球场标志线的坐标参数，最后用、灰度拟合求出精确的直线坐标。 ３．３．１球场标志线的分割这晕。本文分别用边缘检测和形态学分割两种方法分割出球场线。这两种分割方法都是在狄度图上进行处理，所以需要先把待处理图像进行灰度化。图３．５（ａ）是 灰度后的图像。值得注意的是，由于这里的实验图像两侧有黑色的无效区域，在分 氰时应跳过这两侧的区域。 ３．３．１．１基于形态学的直线分割 在对一幅目标和背景有显著亮度差距的图像进行分割时，形态学分割中的顶帽１６研十论文足球比赛视频中的甘标拎测与原踪变换有不错的效果ｆｌ ９１。顶帽变换是一种简单的对灰度图像进行目标分割的工具，它 可以从较暗（或者较亮）且变化平缓的背景中提取出较亮（暗）的物体。假定一幅灰度匿像Ｘ和一个结构元素Ｋ，顶帽变换就是原始图像Ｘ减去Ｘ关于结构元素Ｋ的灰度级开运算结果：Ｘ一（ＸｏＫ）。在灰度化后的足球远景图像中，背景草坪的亮度较暗，而场地标志线亮度较高。顶帽变换时，比结构元素小的部分（球场线）通 过开运算被去掉，而球场上草坪不均匀造成的灰度变化因为比结构元素大，没有受 开运算太大影响。再用原始的图像减去开运算后的图像，因开运算而被去掉的部分 （球场线）就清楚的显现出来了。这时可以再通过阈值化得到有明显球场线的二值图像，如图３．３．１．１．１１∞。（ｃ）两图相减后（ｄ）阅值分割后 图３．３．１．Ｉ．１顶帽变换过程示意图这里为了较清楚的显示，图３．３．１－１．１（ｃ）作了亮度增强。本文开运算的结构元素大小选用的是３×３，二值化的闽值为１２。１７静々论文足球比赛砚颁审的目标蝓捌与跟踪３．３。１。２基于边缘捡测算子的慰线分割 猩球场的获度图像中，球场标志线明显比附近区域的亮度级要高，因而有显著 的边缘特性，所以也Ｗ骏通过边缘检测算子，将球场线分割蹴来。这鬟采用的边缘 检测算子有Ｒｏｂｅｒｔｓ辣子、Ｓｏｂｅｌ算予、Ｐｒｅｗｉｔｔ算子和Ｌａｐｌａｃｅ算子。下图为躅３．３．１．１．１（ａ）应糟边缘稔溯算予嚣的结果：（ｃ）Ｐｒｅｗｉｔｔ葬予 图３．３．１．２．１边缘检测效果（ｄ）Ｌａｐｌａｃｅ算子由于球场上草坪的不均匀、光照以及噪声的影响，这黾分割出的边缘除了球场 线终，还骞篡恁一些子扰，碍鼠通过刿壤边缘在灰度图像孛的亮度毯来撵豫这些子 扰。和利用数学形态学分割～样，我们还需要再对边缘检测爝的图像进行阈值化， 以季譬援适合磁续处理豹二焦黧像。图３，３．１。２．２是使爝Ｒｏｂｅｒｔｓ舞子边缘检测麓弄阕值化的图像，这里阈值选为３０。硕士论文足球比赛视频中的目标检测与跟踪图３．３．１．２．２使用Ｒｏｂｅｒｔｓ算子边缘检执后再阚值化的图像３．３．２提取直线坐标参数 在得到分割出直线的二值图像后，就可以使用Ｈｏｕｇｈ变换提取出直线的坐杯参数。本文处理的二值图像是经过项帽变换处理的图３．３．１．１．１（ｄ）。 Ｈｏｕｇｈ变换用丁．直线检测的公式可以表示成：ｐ＝ｘ‘ｃｏｓ０＋Ｙ＋ｓｉｎｐ 这里口定义为从０到１７９的整数，表示垂线与ｘ轴的夹角（度数）。ｐ为矢量，取值范围为．ｄ到ｄ，ｄ为图像对角线的长度，负值代表垂线在Ｘ轴的下方。本文将 参数空间定义为以占和ｐ为下标的整数数组ｃｏｕｎｔ，当应用Ｈｏｕｇｈ变换统计计算后， ｃｏｕｎｔ值大于阈值Ｗ时，就可认为存在该ｃｏｕｎｔ下标口和ｐ对应的直线。由于Ｐ可能为负值，在作为下杯时需要加上ｄ：户＝ｐ＋ｄ。为了加快计算速度，我们要在Ｈｏｕｇｈ变换之前构造ｓｉｎ和ｃｏｓ查找表（用数组ｓｉｎＴａｂｌｅ［］和ｃｏｓＴａｂｌｅ［］表示），将０度到１７９度的整数度数的正弦值和余弦值预先 计算好，分别存入数组ｓｉｎＴａｂｌｅ［］和ｃｏｓＴａｂｌｅ［］ 。我们在二值图像上计算，二值图像上的白点表示物体，黑点为背景。具体的步骤如下：１）初始化ｓｉｎ和ｃｏｓ查找表。 ２）对二值图像上的每个非背景点（黑点），通过公式ｐ；ｚ＋ｃｏｓＯ＋ｙ＊ｓｉｎＯ，计算对应每个目值的ｐ，再ｐ＝ｐ＋ｄ，将矽和Ｐ为下标的ｃｏｕｎｔ加１。３）遍历数组ｃｏｕｎｔ，取出值大于ｗ的所有ｃｏｕｎｔ的下标口和ｐ，再ｐ＝ｐ―ｄ。４）在取出的秒和ｐ中，对相似的ｐ和ｐ只保留其中一组。 对于第４步，因为在待检测的二值图像中，球场标志线没有经过细化，有一定 的宽度，在进行Ｈｏｕｇｈ变换时，会导致一条直线会得到几组相似的护和ｐ。我们这里只任意保留一组。对于球场线来说，两个端点也包含重要的信息，这里的Ｈｏｕｇｈ变换并不能得到１９砸ｔ论文足球比赛视须审的日标检测≮跟踪球场标志线的端点坐标。在初步得到球场标志线的坐标参数ｐ和ｐ后，本文所采用 的是文献［１９］所述的得到端点坐标的方法：将参数护和ｐ确定的直线上的像素点投 影到水平或垂直方向。倾角大于４５度的直线投影到Ｙ轴，小于４５度的投影到ｘ轴。若像素点为黑色（非背景像素），则投影值为ｌ，反之则为０。以投影到ｘ轴上的直线为例，从左向右扫描ｘ轴，我出第一个满足下面两个条件的Ｘ轴坐标：１．投影值 为１；２．后面连续ｌＯ个位置中至少有８个投影值为１。此时得到的ｘ坐标代入直线方程得到Ｙ轴坐标。即可得到直线左端点的坐标。直线右端点的坐标可以用相似的 方法得到。３．３．３灰度拟合如需要精确的得到球场线的坐标，可以再进行一次灰度拟合，利用Ｈｏｕｇｈ变换 得到的球场线坐标，在其附近拟合出“最优”的球场线。因为球场线在灰度图中颜色 趋向于白色，所以“最优”的评价条件是线段中的像素点的灰度平均值最大。拟合直线的具体方法如下： 设经过Ｈｏｕｇｈ变换后得到的球场线的方程为：Ｐ＝ｘ‘ｃｏｓ口＋ｙ＊ｓｉｎＯ，两个端点的坐标分别为（％，％）和（五，只）。在次度图像上，对于每一组ｉ，ｊ，分别计算点（而＋ｓｉｎ吠ｍ－ｄ４ｎ％一ｃｏｓ９（ｍ－ｄ４功和点 （五＋ｓｉｎＳ（ｍ－ｄ＋＿，），咒一ｃｏｓｐ（埘一ｄ＋‘，））之间线段所经过的像素点的灰度值均值巨．Ｊ，其中ｍ表示拟合的范围，ｄ表示步长，ｆ，Ｊ＝Ｏ，１＇…．．，２ｍ／ｄ。记录使巨．，最大的一组值ｒ，ｊ’，其对应的两点（％＋ｓｉｌｌＯ（ｍ－ｄ４ｆＩ儿一ｃｏｓ占（所一ｄ＋ｊ∞和 （五＋ｓｉｎＯ（ｍ－ｄ＋Ｊ０，咒一ｃｏｓ口（ｍ―ｄ＋．，，）所确定的线段即可认为是“最优”的球场线。灰度拟合的示意图如下所示：圈３．３．３．Ｉ灰度拟合的示意图鞭士论文足球比赛视频中的目标检测与跟踪在系统炭瑗豹稷漤孛，使用结掬髂ＣｏｕｒｔＬｉｎｅ柬器健已识嬲出的球场标惑线， 其绦构定义鲡下：，“ｓｔｒｕｔ ＣｏｕｒｔＬｉｎｅ‘一……’删‰”妒“”口婶一目州日蝌”批４％卿榔、“州斜《燃≈阿帮∞４＊＃》舯ｗ口郴恍０键’’”蝴辫’”％：、；｝ｊ。｛ｕｎｓｉｇｎｅｄ ｉｎｔｎｏ；： ∥缡母；。ｉｍ ｒａｄｉｕｓ； ｕｎｓｉｇｎｅｄ ｈａｔ ａｎｇｌｅ； ＣＰｏｉｍ ｌｅｆｔｐｏｉｎｔ； ＣＰｏｉｎｔ ｒｉｇｈｔｐｏｉｎｔ；疗器点鸯球场线兹露凑 Ⅳ原点蓟球场线的垂线与Ｘ轴ｌ司的爽角 露球场线簿裹鬻点∥球场线的右端点８｝￡｝馥张．撵炀露；在ｒａｄｉｕｓ方勰上薛蘧度，裙始晷，，球场线在ａｎｇｌｅ方向上的速度，初始０１ｉｌｔＶａ：：≥。、。｛。。≯。｛～……；一。，“…厶。＋…。…。；其中ｗ靼Ｖａ用来记录球场标志线在视频图像胯列中的逯动状态，以便对球场 禄惑线进嚣鞭溺鼹黥。 圭３４球瑟爨遥亵实验结果及分耩 零文选撵了嚣个苓同熬避璩毖囊褪壤，从孛熬取拦爨避稽蛊线提取魏实验。这 些褫颓图像宵着不问的草坪颜色和光照条件，采用本文的方法提取球场标意线均取 缛了较好熬效果。下嚣嚣示的是提取结果：《ａ）原始豳像渤球场线提墩结果２ｌ硪｝论文足球比赛视霸中肋目标崆删々跟踪（曲原始图像（ｈ）球场绒提取结果 鬟３．３．４．１球场线曩驳站累示意凋幽于在实验中没有对提取出来的岚线进行是否悬球场标患线的剡断，只是简单 的据篷像孛满是长凌要求静豢线豁｛譬为球场酥志线记录下来，蠢菠鬟毅出兹袁线可能会包含不怒球场线的直线。如下圈所示，球门柱在髑像上也包含在了球场场地内，交予荚兵鸯季瓣壤场线稽觳懿羧色灌意秘形状黎患，褒提取球场线霹巍会褥球门茬错误的当成球场线提取出来。硕十论文足球比赛褪颓中的目标挖｛５｜９与跟踪（ａ）原始图像（ｂ）球场线提取结果 圈３．３．４．２门柱当成球场线检测出同时，由于球场上球员的遮挡，以及转播时在画面上添加的字幕和图案的影响， 会造成部分球场线的漏捡，以及球场线端点的觌断错误，如下图所示：（ａ）原始图像（ｂ）球场线提取结果图３．３．４．３球场线滟检以及瑞点判断错误３．４球员和足球的提取由于球场上的球员和足球在图像上都表现为草坪上非绿色的块状区域，可以用 相似的方法将它们提取出来。本文采用的方法是先将球场上属于草坪的象素点都过滤搏．在剩下的象素点中提取出连通区域，这些连通区域必然包括所要提取的目标，然后再根据形状信息，对这些区域进行分类，判断是否是球员或者足球。其中，在提取连通区域之前需要对图像做形态学处理，以使后续的提取能获得满意的效果。 提取操作的流程如下图所示：图３．４．１球场目标区域提取流程顾卜论文足球比赛视缔中的目标枪铡吁鼹踪３．４．１分割区域 根据平时看球的经验，足球的颜色一般为白色，而为了方便观众观看球赛，球员 的衣服一般不为绿色。可以用阂值分截的方法，在球场草坪上分割出不是绿色草坪的 区域，这些区域中必然包含球员和足球。由于此时的颜色分割涉及到目标提取的完整 性和准确性，不能简单的使用先前介绍的直接用色调判断象素是否为绿色草坪的方法。闽值分割法实际上就是按照某个准则求最优阈值ｔ的过程，本文在ＲＧＢ＝个分量 以及色调上分别选择闽值法，再将所得结果相与，以获得最佳的分割效果。，闽值的 选择从下面两个方面进行考虑：（１）直方图分析 直方图是多种空『日ｊ域处理技术的基础。它能够有效的用于图像的增强，荻度拉伸等处理中。同时其固有的信息也提供了非常有用的图像统计资料。直方图并不仅 仅可以表示一幅图像灰度值的分靠情况，他们也可以用来统计其它信息，如图像的Ｒ，Ｇ，Ｂ分量，饱和度，色调等。 下面给出了一幅球场比赛图像和它球场上的ＲＧＢ各个分量直方图以及色调直 方图（非球场区域已经被屏蔽掉）：（ａ）原始匿像（ｂ）屏蔽雅球场区域后 图３．４．１．１待提取球员和足球的图像２４动｛论文足球比赛砚颁中的目标枪测与跟踪（ａ）红色分量（ｂ）绿色分量（ｃ）监色分最（ｄ）色调图３．４．１．２ ＲＧＢ各个分阜直方图以及色调直方图可以看出，图像中球场上的ＲＧＢ各个分量直方图以及色调直方图均有明显的波 峰，这是因为球场上绝大多数是草坪区域．这些草坪区域具有相近的颜色信息。对 此类图像采取“去峰”的方法分割效果往往更好。在ＲＧＢ颜色分量的直方图中，存 在两个波峰，这是因为这幅图像中有光照的影响，在球场上有大面积的阴影区域。 造成部分草坪区域的亮度级较低。而在色调直方图上的单峰效果就相当的明显，比ＲＧＢ直方图更适合做阈值分析。这里我们在ＲＧＢ和色调直方图上均做分析处理。对于每个直方图，设其横坐标值为ｉ，波峰顶点的横坐标值为ｆ脚，这里需要得到‘。、ｋ，在区间【ｆｍｍ、ｋ】内为草坪嚣域（如图３．４．１．３）。ｏ和。值一般存在于直方图波峰的底部两侧，文献【２０】提出了一种得到‘。和。的方法，从波峰顶点处向 两侧搜索，找出最先满足下式的横坐标点‘。和ｋ：Ⅳ【ｆｍ。】≥Ｋ＋Ⅳ【ｋ】ａｎｄ日【‘ｎ。。一ｌ】＜Ｋ＋日［ｏ】 日【毛。】≥Ｋ＋Ⅳ【ｏ】ａｎｄ片【乇。＋ｌ】＜Ｋ＋日［ｋ】 ‘Ⅲ。≤‰ａｎｄ ｋ≥ｋ（３．４）其中，Ｈ代表直方图的频数函数。这种方法需要事先确定Ｋ值，因此适应性不理硕｝论交足球比赛视领中薛目标蛤删弓跟踪想。并且对于没有平滑的直方图，局部极大值或局部极小值都可能会造成‰和。的提取错误。ｆ ｌ―√ｌｍｍ／／ ／／臻 色区域Ｉｐｅａｋｌ枷通过分析可以发现，直方图波峰的底部两仇较波峰顶点附近突变的情况铰少，所以可以从直方图的两侧向中『日ｊ搜索ｋ和ｋ值，找出最先满足下式的。和。值：三盟攀产掘删盟趔掣＞Ⅳｕ（３．６）．（】。ｆ【日］－ｉ－＋，ｉＨｄ玎口ｌ万≥蟹生＿＆ⅡＩ！；三！±卫ｌ生丛 【 ＝ ― ＿［ ． ｏ ｄ］ Ｈ［ ｍ ｄ ＞ ｍ ３ ５）图３．４．】．３直方图中的阈值确定其中，￡为直方图横坐标的最大值，ＲＧＢ直方图中Ｎ２５５，色调直方霞中为３５９。ｏ和‰满足条件ｄ≤‰≤ｏ和ｋ≤ｏ＜三一ｄ，在实验中ｄ取３，ＲＧＢ直方图中Ｊ１取３００，占：取４５０，色调直方图中函和＆取７００。 为了避免直方图中的局部极大值和局部最小值的影响，可以先对直方图Ｈ做一次 平滑：研水赤，善即“】的直方图，可以看出部分局部极大值和极小值得到了平滑：（３．７）其中Ｋ是～个常量，表示平滑使用的领域的大小，在实验中取２。下图为平滑后硕＿卜论文足球比赛视硕中的目标榆溺弓跟踪（ａ）红色分量（ｂ）绿色分鼍（ｃ）蓝色分厦 图３．４．１，４直方图平滑后（ｄ）色调（２）颜色分析 为了确保准确性，还可以在ＲＧＢ空问上对象素点进行分析。经过研究发现，草坪的颜色由于呈现绿色，其象素点在ＲＧＢ空间上满足以下特点：１６（ｘｏ Ｊ，）＞８０』Ｂ（ｘ，ｙ）＜１２０ＩＧ（ｘ，Ｙ）一Ｒ（ｘ，ｙ）＞１０ ＩＧ（ｘ，Ｙ）一Ｂ（ｘ，Ｊ，）＞４０（３．８）其中，Ｒ（‘Ｊ，）、Ｇ（ｘ，ｙ）、占∽ｙ）为彩色图像象素点的ＲＧＢ值。 综合（ａ），（ｂ）两步分析，本文可以得出一个分割出候选球员区域的算法：ｏＢ（ｘ，Ｙ）＜１２０ ａｎｄ Ｇ（ｘ，Ｙ）＞８０ ａｎｄ Ｇ（ｘ，ｙ）一Ｂ（ｘ，Ｙ）＞４０ａｎｄＧ（ｘ，ｙ）一Ｒ（ｘ，力＞１０ｆ３．９１厶一ｐｌ一，ｃｒ（Ｘ，Ｊ，）＝０‘。，≤Ｒ｛ｘ，），）ｓ‘。，ａｎｄ‘。ｇ墨Ｇ（Ｊ，ｙ）≤ｆｍｇａｎｄ ０ ｌ０６≤Ｂ（ｘ，ｙ）≤‘。６０。＾≤Ｈ（ｘ，ｙ）≤‘。＾ｏｔｈｅｒｓ此时得到的二值图像＾一砌。（ｘ，ｙ）就已经适合提取球员的后续处理。如下图：碗十论文足球比赛砚颂中的目标柃铡与跟踪图３．４．１．５阙值分割后（用于检测球员）因为足球的颜色一般为白色，不像球员球衣的颜色具有未知性，所以分割足球 候选区域时，在分割出草坪的基础上，还需判断象素点的亮度级：０Ｂ（ｘ，ｙ）＜１２０ ａｎｄ Ｇ（ｘ，Ｙ）＞８０ ａｎｄ Ｇ（ｘ，ｙ）一Ｂ（ｘ，ｙ）＞４０ａｎｄ ６（ｘ，ｙ）－Ｒ（五ｙ）＞１００‘。，兰Ｒ（ｘ，ｙ）≤‘．姒，ａｎｄ ｆｍ。ｇ≤Ｇ（矗ｙ）ｓｆ纛ｇ厶、ｂＣｔｌｌ（Ｘ，Ｙ）＝ｄ，ｄｆｍ。６≤占（ｘ。ｙ）ｓ ｆｍ。＾（３?１０）０‘¨ｍ≤Ｈ（ｘ。Ｙ）≤‘。。０ ｌＢｒｉｇｈｍｅｓｓ（ｘ，Ｙ）＜２００ｏｔｈｅｒｓ其中Ｓｒｉｇｈｔｎｅｓｓ（ｘ，ｙ）表示象素点的亮度值： Ｂｒｉｇｈｍｅｓｓ（ｘ，ｙ）＝Ｏ．２９９＋Ｒ（ｘ，ｙ卜Ｏ．５８７‘Ｇ（ｘ，ｙ）＋ｏ．１１４’Ｂ（ｘ，ｙ） （３．１１）这时得到的二值图像ｌｂ。删（ｒ，Ｙ）就适合提取足球的后续操作了，如下图：图３．４．１．６阈值分割后（用于检测足球）硕ｆ‘论史足球比赛砚努中的目标枪测与跟踪３．４．２数学形态学应用分割时会出现一些断裂的球场线，球员区域和这些球场线粘连的话会直接导致 球员的漏检，如图３．４．２．１（ａ）。由于球场线在分割后的图像上都表现为细小狭长的线段，可以通过腐蚀膨胀的开运算来擦除，如图３．４．２．１（ｂ）。（ａ）原图（ｂ）开运算后图３．４．２．１使用开运算擦除粘连的球场线由于人类的肤色在光照的影响下，有时会和草坪的颜色比较相近，加上球员球衣上可能会有绿色的图案条纹，这些都会造成属于球员的区域在分割后并不连通，有中徊：断裂的情况，这在球员大腿的部位尤其明显，如图３．４．２．２（ａ）。这时在匿像上作一次闭运算，就可以改善这种中间断裂的情况，如图３．４．２．２（ｂ）：（ａ）原图（ｂ）闭运算后图３．４．２．２使用［手ｊ运算改善球员中间断裂现象需要注意的是，此时开运算和闭运算的结构元索大小的选择十分重要。开运算时，太小会擦除不了球场线，太大有时又会将球员的四肢擦除：在闭运算时，太小 会对断裂情况没有效果，太大又会将不相干的两个本不连通的区域粘连起来。对于开运算本文选择的结构元素大小为５×５，闭运算时选择的大小为５ｘ３。下图为形态 学运算应用到ｌｂ一砌”（ｘ，Ｙ）后的结果：硕｛。论丈足球比赛视频中的目标埝测弓跟踪图３．４．２．３数学形态学处理后的二值图像（用于检捌球员）３．４．３球场标志线擦除在此时分割得到的二值图像中，绿色的草坪已经被去除（像素值为０），剩下 的白色像素点足球员，足球，球场标志线以及一些噪声干扰。球场标志线粘连球员 的情况会干扰球员的准确提取，所以在提取球员和足球区域之前，利用已经得到的 球场标志线的坐标参数，可以在图像中将球场标志线擦除。可以计算得到球场标志线的坐杯位置，将球场标志线上的像素点值置为２５５就完成了撩除。用坐标参数计算得到的球场线是一条宽度为一个像素的线段，而图像 中的球场线有一定的宽度，所以需要在计算得到的球场线位置的一定宽度内撩除白色像素点。同时如果有球员站在球场线上，还要避免擦除球员区域的像素点。本文 采用的擦除球场线的方法如下：１）对于一条球场标志线Ｐｏ＝工＋ｃｏｓ臼ｏ＋Ｙ’ｓｉｎＯｏ，左右端点分别为（而，Ｈ），（ｘ。，Ｙ。），考虑球场线斜率绝对值卜ｃｏｓ００／ｓｉｎＯｏ『小于ｌ的情况，大于ｌ的情况同理。 ２）对玉到‘之『白Ｊ的每一个值‘，通过直线方程岛＝工＋ｃＯＳａｏ＋ｙ＋ｓｉｎａｏ计算得到 ｙ，。在草坪去除后的二值图像上，考虑像素点（‘，只±ａｙ／２）之问的每一个目标点 （‘，只，），若同时满足下面两个条件，则将该点擦除（像素值置为２５５）： ａ）点（五，），，，）在灰度图像上灰度值大于ｄ： ｂ）在二值图像上，点（‘，咒±ｍ）之间２ｍ＋１个点中的白点数小于ｎ。 这晕缈代表线宽，实验中取２；ｄ值取２００，确保被擦除的点在灰度图上为白 色；第二个条件中ｍ值取５，ｌｌ值取８，条件二确保在球员和球场线发生粘连时， 不会将球场线经过的白色球员区域也擦除掉。硕士论文足球比赛视频中的目标榆铡与跟踪（ａ）原图（ｂ）二值化后 图３．４．３．１球场线擦除示意图（ｃ）球场线擦除后３．４．４连通域提取 经过图像分割后，球场上绿色草坪已经基本上被去除，只剩下若干大小不等、 形状各异的区域。这些区域可能足球员，可能是足球，也可能是其他的一些干扰。 这时以连通为条件将这些区域提取出来，以便后续进行的分类操作。 本文采用区域标识的方法来提取每个连通区域，区域标识方法的描述是：给每 个区域杯志一个唯一的数字（从１开始的整数），这种标识称为连通分量标注，而 最大的整数标号通常也就给出了图像中区域的数目。下面具体介绍一下这种杯注算法在项目中的应用。 这里标注算法的输入是经过分割的二值图像（图３．４。２．３和图３．４．１．５），背景用非零值象素（２５５）表示，待提取的物体（球员、足球等）用零值象素表示。杯注的顺序方法是：１）第一遍扫描：一行一行的搜索整个图像，对每个非背景象素Ｘ，赋一个非零 的值ｖ，ｖ值根据领域象素的标号柬选择：ａ．如果Ｘ的所有的领域部是背景象素，则Ｘ被赋予一个新的没有使用过的 非零值。ｂ．如果Ｘ的领域中仅仅只有一个非背景像素，那么就把这个非背景像素的标号赋予象素ｘ。ｃ．如果Ｘ的领域中非背景像素不止一个，则把这些象素中的任意一个的标 号赋予要标注的象素ｘ。如果领域中非背景像素的标号有不相同的（标号冲突）， 则将这些不同的标号作为等价的保存起来。等价对被保存在单独的数据结构中（等价表）。２）第二遍扫描：所有的区域象素在第一遍扫描时已经被标注了，但是由于标 号冲突的问题存在，会出现在同一个连通区域中有不同标号的象素存在的情况。在 第二遍扫描图像时，使用等价表的信息重新标注象素。帧ｔ＋论文足球比赛视颇南的日标埝铡‘ｉ跟踪标号冲突的情况经常发生，这是因为图像中包含有像ｕ或Ｅ等形状的区域。在 第二遍扫描时，本文这里使用的是等价表中最小的值，来标注这个等价表中的所有区域。标注算法完成后，所有的同一标号的象素点表示在同一个连通区域内。此时再 考虑每一个连通区域的几何形状特征，这些特征是后续的区域识别分类的基础。在 背景点像素值为０，目标点像素值为２５５的二值图像Ｉｂ（ｘ，ｙ）中，需要计算得到的目标区域足的几何形状参数有： （１）面积 面积是区域的一个基本特性，它通过区域中的象素个数来描述区域的大小。目 标区域Ｒ，的面积爿（足）计算公式如下：Ａ（Ｒ，）＝∑（厶（五ｙ）／２５５）ＪＪ’∈彤（３．１２）得到的面积就是二值图像垦目标区域中像素点的个数。 （２）周长周长是目标区域边界的长度，是一个简单的边界全局特征。区域可以考虑成由 内部点加边界点构成。对区域Ｒ柬说，它的每一个边界点Ｐ都应满足两个条件：Ｐ本身属于区域Ｒ和Ｐ的邻域中有象素不属于区域Ｒ。需注意的是，这里Ｐ的邻域 可以和Ｐ点是８一邻接的，也可以是４一邻接的，所对应的边界分别是４一方向连通 和８一方向连通的。 ４一方向连通边界Ｂ４和８一方向连通边界Ｂ８的定义分别如下： Ｂ４＝｛（ｘ，Ｙ）∈Ｒ Ｎｓ（ｘ，ｙ）一Ｒ≠矿） （３．１３） （３．１４）Ｂｓ＝｛（ｘ，Ｙ）∈Ｒ ｌ Ｎ４（ｘ，ｙ）一Ｒ≠矿｝其中Ｍ（五Ｙ）、Ｎｓ（ｘ，Ｙ）分别表示４一连通邻域和８一连通邻域。本文主要考虑目标区域置的４一方向连通边界风，目标Ｒ的周长Ｇ（Ｒ）可按如下公式计算得到：Ｇ（Ｅ）＝∑（Ｉｂ（ｘ，ｙ）／２５５）Ｊ．ｙｅＢ￥（３．１５）（３）外接矩形＂设Ｘｎｎ。，‰，‰，‰四个值分别是目标区域墨在中的象素点在ｘ轴和Ｙ轴上的最小值和最大值：‰。＝ｍｉｎ（｛ｘｌ（ｘ，Ｙ）∈脚） ‰。＝ｍｉｎ（１ｙｌ（工，Ｙ）∈尼｝）Ｘｍａｘ＝ｍａｘ（｛ｘ ｌ（工，Ｙ）∈Ｒ，｝） 只。＝ｍａｘ（｛ｙｆＯ，ｙ）￡Ｒ一｝）（３．１６） （３．１７） （３．１８） （３．１９）则以（‰，‰），（‰，‰）， （‰，．ｙ隧），（‰，‰）四个点为顶点构成的矩形即为该区域的最小外接矩形。该区域的高ｔｉＰ为最小外接矩形的高：Ｈ（置）＝‰一‰。，宽即为最小外接矩形的宽：∥（Ｅ）＝‰一‰（４）质心 在后续的计算中，本文以目标区域置质心坐标代表Ｒ的坐标位置。质心坐标 （ｉ，只）可以通过下式计算得出：ｉ＝｛∑ｚ７‘“，，ＪＥ焉（３．２０）只＝ｉ１。，萎。Ｊ，式中ｎ为目标区域Ｒ中像素点的个数，即目标区域Ｒ的面积。一个目标区域的几何（３．２１）图３．４．４．１球员区域的几何形状参数不息｜圣｜在系统的实现程序中，定义一个结构体Ｒｅｇｉｏｎ，用来存储待识别区域，其数据结构如下：ｓｔｒｕｃｔ Ｒｅｇｉｏｎ｛ｕｎｓｉｇｎｅｄｉｎｔｎｏ； ＣＲｅｃｔｒｅｃｔ；／，编号‘／／最小外接矩形 ／／周长 ／／面积ｕｎｓｉｇｎｅｄ ｉｍ ｇｉｒｔｈ；ｕｎｓｉｇｎｅｄ ｕｎｓｉｇｎｅｄ 缸ｖ）（：ｉｎｔｖｙ；ｈａｔ ａｒｅａ； ｉｎｔ谚ｐｅ；／／区域的类型：球员１，足球２，初始为０／／区域质心ＣＰｏｉｎｔ ｃｅｎｔｅｒ；，／ｘ轴方向的速度，初始０。／／ｙ轴方向的速度，初始０硕｝论文足球比赛视频中的目标柠铡‘Ｊ蹋踪其中ＶＸ和ｖｙ用来记录区域在视频图像序列中的运动状态，以便对其进行根据 预测 ３．４．５区域的分类现在提取出来的连通区域只满足非草坪一个条件。在球场上存在的非草坪物体 有很多，除了要提取的球员，足球外，还会有断裂的球场标志线以及分割中出现的 噪声的影响。文献【２１】中提出了一种根据颜色信息以及球衣的上衣和短裤的位置关 系来判断球员候选区域是否为球员的方法。这种方法需要针对特定的一场比赛，事 先获得该比赛中球员球衣的模板，因此缺乏通用性。经研究后发现，在远景镜头中 球场上的球员和足球都有一定的形状特征，所以本文直接依据形状特征对提取出的区域进行分类。。 球员在球场上是运动的非刚体物体，没有固定的外轮廓。因为球员的大小在远 景图像中有一定的限制，所以球员区域中的象素点总数必须在一个范围之内。同时 球员通常部是以站立的姿态出现，这对球员区域外接矩形的长宽比就有了一定的跟制。另外，为了避免有时出现的球场线的影响，也需要考虑在外接矩形中区域听占 的面积比例。综上，判断候选区域Ｒ足否为球员区域的方法可以用下式概括（值１代表球员区域，值０代表非球员区域）： ｆ１２５０＜Ａ（Ｒ、＜４５００ ａｎｄ １＜ｒａｔｉ０１＜５功圮（Ｒ）＝｛．一７ａｎｄｒａｔｉ０２＞０．３５．（３．２２）Ｌｕｅｌｓｅ其中，４（Ｒ）是Ｒ的面积，ｒａｔｉ０１是Ｒ的外接矩形的高宽比：ｒａｔｉｏｌ＝Ｈ（Ｒ，），矽（置） 何（Ｒ）和矿（Ｒ）分别是Ｒ的高和宽。 ｒａｔｉ０２是冠在其外接矩形中所占的面积比： ｒａｔｉ０２＝爿（Ｒ）“日（Ｒ）’∥（足））。 （３．２４） （３．２３）足球是一个匮形的刚性物体，但在比赛画面上的足球区域，会因为运动、光照、噪声等因素的影响，通常只会呈现出圆形的类似形状，在远景图像上通常只表现为 一块很小的区域。本文先用和判断球员相似的方法，通过计算区域的面积和外接矩 形的大小来提取出候选足球区域，这些候选区域中只有一个是待求的足球区域。再 通过对候选区域的圆形程度进行计算比较，对这些候选区域驭一个最优，这个最优就是所要提取出的足球区域。对于一个区域Ｒ，本文定义判断它是否是足球候选区域的判别函数ＢａｌＩＣａｎｄｉｄａｔｅ（Ｒ，）为：硕士论文足球比赛视频中的目标枪测与跟踪ｆｌ０．５＜ｒａｔｉ０１＜２ ａｎｄＢａｌｌＣａｎｄｉ加（Ｒ）＝｛船３０（＜助Ａ（Ｒ）／１，）＜。２＜０日０（ａ足ｎｄ）＜船（和）／３【０ｅｌｓｅ（３．２５）其中，ｒａｔｉ０１是区域Ｅ的外接矩形的高宽比。ＨＰ（Ｒ，，一）是与区域置最相邻的ｎ 个球员区域的平均高度。在提取足球时球员区域已经提取完毕，根据球员的高度可 以进一步的限定足球区域的大小范围。 此时，需要对足球候选区域进行筛选，提取一个最近似圆形的区域作为足球区域。本文主要从下面几个方面进行考虑圈：（１）形状因素区域震的形状因素Ｆ（Ｒ）的定义为：Ｆ（尺）＝Ｐ（Ｒ）２／（４７ｒＡ（Ｒ）） （３．２６）这里Ｐ（尺）代表候选区域尺的周长，彳（Ｒ）代表候选区域的面积。一般地，候选区 域的形状越接近圆形，Ｆ值就越接近Ｉ。（２）离心率本文考虑候选区域最长的直径和最短的直径的比值，定义为：Ｅ（Ｒ）＝ＤＬ（Ｒ），Ｄｓ（Ｒ） （３．２７）上）Ｌ（Ｒ）和Ｄｓ（Ｒ）分别代表候选区域Ｒ的最长的直径和最短的直径，本文使用其外 接矩形的长宽代替。Ｅ值可以简单的描述候选区域的紧凑程度，该值越小（最小为１），则该候选区域就越接近圆形。 （３）圆形性匾形性（Ｃｉｒｃｕｌａｒｉｔｙ）是一个用来描述区域的圆形相似度的重要形状特征，对于 区域的平移、旋转和缩放部具有不变性。用ｃ（Ｒ）表示区域Ｒ的圆形性：Ｃ（Ｒ）＝盥％（３．２８）胁：ｉ１乙Ｋ－！１１（ｔ，只）一（；，歹）｜ｌ（３．２９）％＝ｉ１缶Ｋ－Ｉｌ’Ｉｌ（‘，一）一（ｊ，ｙ）ＩＩ－∥。］２大，则表示区域Ｒ越接近圆形。 综合上面三个方面，可以总结出一个相似度函数：Ｓｉｍ（Ｒ）＝ｃＤｌＩＦ（Ｒ）－１Ｉ＋∞２（Ｅ（Ｒ）一１）＋ｅ０３／Ｃ（Ｒ）（３．３。）其中，Ｋ是候选区域边缘轮廓上的象素点个数，（ｘ，ｙ）是候选区域质心。Ｃ值越（３．３１）一篓圭丝兰墨垡些奎堡塑生塑望堑楚翌兰堡壁英孛觏，魏禳秘是投萋，鬏摇实验嚣镶设萋合遘熬蕊。姿肇联移交小鞋，醒 域冀是最优的足球区域。圈３．４．５．１是两幅图像足球识别的结果。客》骧整掰≥是嫁谖襄结暴篱３．４．ｓｌｌ足球识剐结果示意匿（聪辩加上的圆环用予标识足球）３．４．６球员和足球摄取实验结栗及分析稽提黎球场线窝验一样，本文雀遥个不潲静是球院赛裰籁串抽敬瑟像避行球员和起球的捻测实验，其实验效果如下所示。硕士论文足球比赛视频中的目标检铡与跟踪图３．４．６．１球员和足球识期结果从实验结果可以看到，在不同的场地条件和光照条件下，本文提出的检测方法 均能有效的检测出场上的球员和足球。但是同时本文的检测方法主要还存在以下几个问题：．１）ｆｌｊ于在远景图像中，球员的肤色和球场草坪颜色十分接近，造成检测出来的 球员不完整，容易发生断裂的情况。虽然本文提出了垂直方向上的闭运算可以改善 这种情况，但效果并不非常理想，会导致球员外形的改变。如果主要着重于球员的 坐标信息的获得，球员外形改变的情况可以忽略不予考虑。 ２）在球员在图像上发生遮挡时，此时会将若干个球员作为一个球员检测出来。 这种情况可以将若干个球员当成一个整体考虑，不影响后续的对每个球员的跟踪。 但有时相互遮挡的多个球员，其所在区域的形状不满足本文提出的球员区域判别 式，这就导致了球员的漏检。 ３）守门员由于其背后有自色球网的影响，会出现漏检的现象。守门员的活动范 围一般限定在球门区附近，可以根据其位置信息，单独对守门员进行提取。３．５小结本章主要研究在单帧的足球比赛图像上感兴趣的目标的提取。在提取目标之 前，首先需要判断图像是否为球场的远景图像，只对是球场远景的图像进行后续的 处理。然后再分割出球场边界，排除非球场区域的干扰。 这里研究的感兴趣的目标为球员、足球和球场标志线根据它们的形状、颜色等 特点，本章提出了不同的提取方法。 提取球员和足球区域时，首先利用球员和足球的颜色信息分别分割图像，再使 用区域标识的方法提取出连通区域，对这些连通区域的形状颜色进行判断，满足要 求的作为检测出的球员或足球，记录下相关的参数。 提取球场标志线时，首先利用颜色信息分割图像，再使用Ｈｏｕｇｈ变换提取出球场线，记录下相关的坐标参数。经实验证明，本章提出的方法，能有效的在单帧图像中提取出感兴趣的目标， 具有较好的鲁棒性。硕卜蹬丈足球｝匕春视特中的目标砖删’跟踪４足球比赛视频序列中的目标跟踪从上一章的讨论可以看出，要从单幅足球比赛图像中分割提取出感兴趣的目 标，计算量较大，不能满足视频图像处理对速度上的要求。由于本文主要讨论足球 比赛视频序列中的目标分割提取，视频亭列中的图像内容在时间上具有一定的相关性。因此可以根据这种帧间相关性，充分利用当前帧中已经检测到的目标的参数，采用帧间跟踪的方式，分割出后续帧中的目标。 本文实现了一个对足球比赛视频穿列中的目标进行分割和跟踪的系统，该系统 首先在全图像范围内检测感兴趣目标，记录下目标的相关参数，在下一幅图像中转入跟踪状态，对所有的目标进行预测跟踪。当视频序列由于镜头的切换等原因，没有满足条件的目标出现时，系统再转入全图检测状态。具体的流程如下图所示，系统状态Ｏ，１分别代表全匿检测和预测跟踪两个状态：图４．１足球比赛视频序列中目标跟踪系统流程图４。１足球和球员的跟踪 足球和球员在图像上一般表现为草坪绿色区域中运动的非绿色的区域，在单幅黟十论丈足球比赛视频中的目标十々硼ｔｊ跟踪图像上可以通过对整幅图像作一系列的处理提取出这些区域。在连续的视频图像序 列中，可以估计目标区域在下一帧中可能出现的位置，然后以这个估计的位置为中心，在～定大小的区域内进行目标搜索。这时由于搜索的范围有了大幅度的缩小， 目标区域检测的可靠性和提取速度也有了很大的提高。如果在预测区域内检测到的目标区域不止一个，则需要用上一帧的目标与这些目标区域做匹配，选择最优的对 应目标。其步骤如下图所示：图４．１．１球员和足球跟踪的步骤４．１．１基于ｋａｌｍａｎ滤波的运动估计本文使月Ｋａｌｍａｎ滤波算法进行目标区域的预测估计”６１。Ｋａｌｍａｎ滤波算法具有 很好的数学特性，可以通过一个简单的运动学模型有效地对感兴趣目标进行跟踪，并且能自适应的调整。下面具体讲述Ｋａｌｍａｎ滤波在本项目中的应用。４．１．１．１ｋａｌｍａｎ滤波器的参数定义及应用 在足球比赛视频序列中，球员和足球的移动以及摄像机视角的变化，导致球员 区域和足球区域在图像中具有发生运动。由于本文处理的相邻两帧图像之间的时间 间隔很短，球员和足球在该时间间隔内的运动可以看作是匀速的，所以速度就足以 反映目标的运动趋势。因此本文把足球和球员的运动参数定为某时刻目标所在的位置和速宣。这里定义Ｋａｔｍａｎ滤波器的系统状态以足一个四维向量（砜，溉，矾，ｍ）７’，砘，地，巩，ｙｖｔ分别代表目标在ｘ轴和Ｙ轴方向上的位置和速度。由于在图像上只能观测到目标的位置，我们定义观测状态向量为Ｙｋ，即（肼ｔ，ｙ％）７。由于本文假设目标是在单位时间间隔内是做匀速运动，定义状态转移矩阵晚。为：ｌ ０ Ｏ１缸Ｏ０△ｆ吮ｊ．１＝００Ｏｌ ００ １（４．１）Ｏ其中Ａｔ表示时刻‘与‘一．的时间间隔。磺｝论文足球比赛视频中的目标检测与跟踪由系统状态和观测状态关系可知，观测矩阵为：也＝（：）：：：］差矩阵分别为ｊ１．０ Ｏ．Ｏ０．Ｏ Ｏ．０＠２，可以假设呒和Ｋ都是各方向零均值且独立的噪声向量，因此设呒和Ｋ的协方Ｏ．Ｏ Ｏ．Ｏ ０．０ １．Ｏ１．Ｏ Ｏ．ＯＯ．ＯＯ．Ｏ １．Ｏ Ｏ．ＯＯｋ＝０．ＯＯ．０（４．３）和毛＝（裟取。２．Ｏ ０．Ｏ ｅｏ＝ ０．０ Ｏ．Ｏ ０．Ｏ ２．０ Ｏ．Ｏ Ｏ．Ｏ ０．Ｏ Ｏ．Ｏ ２．Ｏ Ｏ．Ｏ Ｏ．Ｏ Ｏ．０ Ｏ．０ ２．０．（４．４）由于式２．１８中的只一。会随着循环逐渐收敛，初始时刻的Ｒ的取值不唯一，本文（４．５）应用Ｋａｌｍａｎ滤波器进行运动估计这里可以分为三步： １）首先，在首次使用时初始化滤波器，即用目标检测过程中得到的目标的位置 和速度对％赋初值。速度未知时可以设为零。，２）在对后续每帧图像进行处理前，计算与上一帧图像的时间间隔，设为△，，代入式２．１６和式４．１中，预测出当前运动状态毫，在以毫中（碱，地）为中心的一定大小区域内检测，寻找出目标模式的最佳匹配，得到（删ｔ，Ｙａｋ）。３）将几＝（删ｋ，Ｙｗｋ）７代入式２．１７，更新Ｋａｌｍａｎ滤波器的状态。 ４．１．１．２运动估计实验数据这里先对起点为（１０，１５），速受为（１０，５）的匀速运动目标做模拟预测实验，目标的 初始速度估计为（－７，１２），下面是预测的结果：时刻ｌ ２目标坐标２０．２０ ３０．２５预测坐标３．００００，２７．００００１ ５．８３３３．３０．８３３３误差１８．３８４８ １５．３２０６４１硕十论文足球比赛视频审的目标埒铡与跟踪３ ４ ５４０，３０ ５０，３５６０，４０ ７０，４５３２。７１４３，３３．００００ ４７．０９７６，３６．１９５１ ５９．０６７７’，４０．３８３９ ６９．８０５９，４５．０７９９ ８０．０１ ８９．４９．９９２２ ９０．０４８９，５４．９７９９ １００．０３４．，５９．９８６２１ １０．０１７０．６４．９９３１７．８７９１９３．１３８８６１．００８２５ ０．２０９９０４６７８０．５０ ９０，５５ １００．６０ １１０，６５１２０．７００．０２０４３５３ ０．０５２８３２１０．０３６３０４３ Ｏ．Ｏｌ ８０３６４８９ １０ １１ １２１２０．００７０，６９．９９７３ １３０．００２０，７４．９９９２１ ４０．００００，７９ ９９９９ １ ５０．００００，１ ８０．０００００．００７１６９０６ ０．００２２０７０７ ０．０００３９１ ５０８ ＯＯ ０１３０．７５ １４０。８０ １５０．８５ １６０．９０ １７０．９５１３ １４１５ １６１６０．００００．９０．００００１ ７０．００００，９５．００００表４．１起点为（１０，１５）．速度为（１０，５）的匀速运动模拟实验在视频序列中，球员或足球的运动并非匀速运动，其速度大小和方向部具有未 知性。下面是Ｋａｌｍａｎ滤波器在足球比赛视频中对某一个球员运动估计的结果，球 员的初始位霄是（７９，２４５），初始的速度设Ｙｇ（１０，１０）。时刻ｌ ２实际坐标８８，２６３ １０ｌ。２７６ １１３．２９０１２３，３０３ １３６．预测坐标８９，２５５误差８．０６２２６９７．８３３３，２７４．３３３１１１．５７１，２８９．１４３３．５７８４９ １．６６５９９ １．６３５９６１．７５４２３４ ５１２４．４９８，３０３．６５９ １３４．３６７．３１６．６４ １４７．５０４，３２９．３６８ １６６．１３５，３３５．９４４ １７５．１０５，３３８．２９４１ ８７．３４３，３２４．８３９３１６６７１５３，３２４ １６２．３２９ １７５． ３２１７．６８２４８８．０８２０５８ ９ １０１ｌ １２ １３１７．２９４６ ２３．２４７９１５．１８８９１８３，３０２ １９４．２８２２０３，２６４１９４．２６５，２９７．１８７ ２０４．４２７，２６９．４１ ３ ２１３．０３１，２４７．３８７ ２２１．５２６，２３１．８１６５．５９８１５ １．９１４２６ ３．５６８９６２１２．２４９ ２２５．２３１顿十论文足球比赛视频中的日标椅铡与跟踪１４ １５２３１，２１９ ２４３，２０８ ２５５，１９６ ２６７．１８８ ２８３，１７４２９９，１６２２３５．１８９，２１３．９０４ ２４０．７８６，２０３．００２ ２５２．５８，１９４．１２９ ２６５．５６５，１８３．４７６ ２７８．３４６，１ ７６．９１ ３ ２９５．７３７，１６３．００８６．５９６６２ ５．４６６２４ ３．０５８９３ ４．７４６４６５．４９０３７ ３．４１５３１１６ １７１８ １９表４．２球员运动估计模拟实验４．１．２波门的设置对于第ｋ帧中的某一个目标区域≈，设它的质心坐标为（《，觅），运用上一节 的运动估计，可以得到毯在第ｋ＋ｌ帧中的预测质心坐标，设为（袁＋Ｉ＇竞＋，）。以（袁。Ｙ‘ｋ＋，）为中心，可以设置一个波门，所有的分割出球员的操作均在这个波门内进行，从而可以大幅度的减小计算量，并且避免了不相关的干扰，提高检测的精确 度。如图４．１．２．１所示：‘图４，１．２．１波门示意图这里波门的大小设置十分重要，直接关系到计算量的大小和检测的成功率。计 算量和检测的成功率两者之间是相互制约的关系，计算量的减少会导致检测成功率 的下降，反之，检测成功率的提商，就要求计算量的加大。波门大小的设置，必须 要使得这两者都达到满意的效果。 跟踪波门根据其大小的变化与否可以分为固定式和自适应式两种。为了使跟踪 能够适应跟踪目标的运动变化，这里采用自适应式波门，其大小随着目标运动速度 而自适应调整。波门大小的计算公式如下：％＝％＋２ａ＋２１％Ｉ月０＝月★＋２６＋２１％ｌ’（４．６） （４．７）式中％和如为波门的宽和高。％和％为上一帧中目标区域外接矩形的宽和高，每次检测出目标区域后自动更新。ａ和ｂ为常数，它们限定了波门的基本大小，面｝论文足球比赛视频由的目标检测～跟踪％和ｖｈ表示第ｋ帧目标分别在ｘ轴和Ｙ轴上的运动速度，其计算方式如下： ％＝（瓦一瓦－１＋Ｕ－ｌ，ｘ）／２ ’ｋ＝（兄一只一ｌ＋ｖ，－３，ｙ）／２小目标剧烈运动带来的误差。 （４．８） （４．９）这里在求当前帧中目标的速度时，考虑到了前一帧目标速度的影响，为的是减图４．１．２．２波｜．Ｊ人小的设置４．１．３球员的提取与匹配在上述的运动估计过程中，需要在以（袁。宽＋。）为中心的一定大小区域Ｗ内检测，寻找出目标模式的最佳匹配。由于球员在场上属于运动的非刚性物体，很难通 过简单的对球员设定一个模扳来进行模板匹配。本文采用和单幅图像提取足球和球 员相同的方法，在预测区域ｗ内进行分割处理，提取出满足条件的目标区域。在分割和提取时可以参照在全图像上分割处理的结果，使用已知的分割草坪的参数， 加快处理速嚏。 由于场上的出现的球员不只一个，所以对每个球员进行运动估计，得到的球员下一帧可能出现的预测区域彬总共也不只一个。这些预测区域可能有相交，这就 导致可能在一个预测区域中检测出多于一个的球员来。在这种情况下，为了计算球 员的速度，需要做球员匹配，在检测的结果中找出与上一帧球员对应的球员来。 由于球员在相邻两帧之间的运动近似于匀速，不会发生突变，所以球员的质心位置应该和使用Ｋａｌｍａｎ滤波器得到的预测位置相差不大，并且由于球员的形变不会太大，所以球员的外接矩形面积也不会有大的变化。对于在第ｋ帧的已知球员区 域足，在ｋ＋ｌ帧中它的预测区域中检测到的球员区域Ｒ厶，本文定义了一个代价函数：八‘＿，）＝鳓＋ｄｋ”，ｋ＋ｌ＋纰＋△影＋ｌ其中（４．１０）硕士论文足球比赛视频中的日坏栓铡’跟踪ｑ蔓＋ｌ＝√阮．一砭。）２＋咧＋ｌ一豫，）２ △４兰＋，爿Ｗ‘噬一辟Ｚ。＋戤，ｌ（４．１ １） （４．１２）上式中，（袁。或＋。）为琏在第ｋ＋ｌ帧中的预测质心位置，（戳。珐。）为８ｆ＋ｌ的质心位置，叼、碰、畋，和聪１分别为足和砧．的外接矩形面积的宽高，国，和吐，ｚ为两个比例系数，它们反映了两个判定条件：质心距离和目标形变在代价函数中的比重，它们满足：０≤０）１≤ｌ，０≤眈≤１且国ｌ ｑ－幼＝ｌ。 磁：＋。反映了第ｋ帧图像中第ｆ个运动目标的预测质心位置与第斛１帧中第，个 运动目标质心之间的距离远近，其值越小说明两者距离越接近。而△鬈：。反映了第ｋ帧图像中第ｆ个运动目标与第蚪１帧中第，个运动目标外接矩形的形变程度，其值 越小说明两者之间的形变越小。这里只要找出在预测区域中使代价函数ｆ（ｈｊ）最小的％，该殴。即可认为是与《对应的下一帧球员区域。若在第鼢ｌ帧中检测出的球员区域戤。在第ｋ帧中没有已知的球员与之对应，则可以认为戤为新出现的球员，对其进行编号记录。当上一帧相互遮挡的球员在这一帧中分离时，会发生这种情况。若在第席帧中的已知球员区域匙在第抖ｌ帧的预测区域中没有检测到相应的球 员，这时有以下三种可能情况：１）该球员已经移出了镜头范围；２）跟踪失效；３）球 员之间出现了遮挡。对于情况１，停止对该球员的跟踪；情况２则在下一帧中扩大 检测的区域范围：情况３的处理方法将在下一小节详细讨论。 ４．１．４遮挡问题的处理 在足球比赛中，球员为了抢球经常会发生碰撞，同时由于图像是三维空间在二维平面上的投影，原本在球场上没有发生碰撞的球员也有可能在图像上发生遮挡现象。遮挡现象一直以来是跟踪问题的主要难点，会造成跟踪目标的丢失。在进行球 员跟踪时，需要首先判断出遮挡现象的发生，再在此基础上作出相应的处理。 在检测球员时发生遮挡现象，由于有多个球员区域合并成一个区域，此时的这 个区域将不一定满足球员区域的判断式３．２２，因此可能在预测的区域内检测不出相 应的球员，所以此时将不能再按式３．２２进行球员分类。 本文所采用的判断遮挡以及处理遮挡问题的方法流程如下： １）在预测区域ｗ内作图像分割，若在Ｗ内提取出与上一帧球员对应的球员 区域，则结束，否则继续。 ２）若预测区域ｗ与其他球员的预测区域ｗ‘}