第23卷第8期 电脑开发与应用 文苹编号;1003-5850(2010)08—0021—04 游戏中图像内容情感语义的分析与研究 Analysis and Study of Image Content’S Emotion Semantics in the Game 胡凌子余雪丽 (太原理工大学计算机与软件学院 太原030024) 【摘 要】针对目前游戏中忽略情感因素的问题,在游戏场景中引入情感语义的概念,提出基于情感语义的游戏 场景图像检索系统和情感计算研究情感信息的数字化处理方法,采用支持向量机算法建立场景图像内容和其所 表达的情感语义之间的联系。来建立一个能感知识别人的情感,能对人的情感做出智能反应的游戏系统,从而 使人机交互更加和谐化。 【关键词】情感语义,因子分析,游戏场景,支持向量机 ’ 中图分类号:TNgl1.73 文献标识码:A ABSTRACT Emotion Semantic,Factor Analysis,Game Scene,Support Vector MaehineAimed at the problems of neglecting emotional factors in the game,a model for the game scene image retrieval based on emotional semantics and a digital method for studying affective information was proposed by using Affective Computing technology.Then support vector machine for regression is used tO build the mapping function from the game scene’s image content to its emotion semantic.After that,based on these a game system with better abilities tO perceive,recognfze human emotions,by what to make intelligent reactions was hoped to established. KEYWORDS emotion semantic,factor analysis,game scene,support vector machine 1 图像情感语义检索 2情感计算模型 1996年,Eakins[1 将图像的语义内容分为三个级 建立图像检索技术中的情感计算模型的两个关键 别:第一级是视觉特征语义,它描述了图像的颜色、纹 问题是情感空间和样例图的数学描述问题。 理和形状等低层视觉特征及其组合,通过图像的视觉 对于情感计算模型,一些理论家强调基本的离散 相似性来进行检索;第二级是对象语义和空间关系语 情感,这些情感是由特定的原因引起的独特的经验状 义,通过一定的逻辑推理,识别出图像中包含的对象类 态。1962年,Tomkins提出8种基本情感:恐惧、愤怒、 别;第三级是场景语义、行为语义和情感语义,涉及到 沮丧、高兴、厌恶、惊奇、关心和羞愧[6]。1980年 图像的抽象属性,主要对所描述的对象、场景的含义和 Plutchik在其心理进化理论中也提出8种不同的基本 目标进行高层推理。 情感:恐惧、愤怒、悲伤、高兴、厌恶、惊奇、容忍和期 图像高层次语义包括空间关系语义、对象语义、场 待L7]。1992年,Paul Ekman提出6种基本情感:生气、 景语义、行为语义和情感语义。其中情感语义是最高层 害怕、悲伤、高兴、厌恶、惊奇[8]。这6种基本情感得到 的语义,通常用形容词来描述,其涉及到人的认知模 广泛接受。每一种基本情感都有一定的可变强度,不同 型、文化背景和美学标准等。由于图像中信息的丰富性 强度的基本情感混合,得到各种复杂情感。而人在特定 和人的主观因素(经历、心态、目标等)的多样性,因而 情境下构成其精神状态的一整套情感,就形成情绪。 情感图像检索的研究具有相当难度。同时,情感图像检 相反,另外一些学者倾向于探讨连续的情感维,他 索的研究与人类的视觉情感信息处理密切相关,是实 们坚持认为,情感在多数方面基本相似,所有情感都可 现真正的“以人为主导”的信息技术的一个核心环节, 以定位到以价(或称诱力)(Valence)和激励(或身体激 具有重要的理论意义[2-s]。 活度)(Arousa1)为坐标的二维情感空间(P.J.Lang, 1995 L9 ;Larsen&Diener,1992ElO]),价维指的是情感 体验的享乐质量或愉悦度,范围从不愉快到愉快。激励 * 2010—03—10收到,2010-06—21改回 ** 基金项目:国家自然科学基金资助项目(60873139);山西省自然科学基金项目(2008011040);山西省太原市科技攻关项目。 ***胡凌子,女,1984年生,硕士,主要研究:人工智能,图像处理。 游戏中图像内容情感语义的分析与研究 维指与情感体验相关的激活度水平,代表了情感的强 度,范围从极度兴奋或活跃到平静、困乏。Mehrabian 经过多年的研究建立并细化了他的Pleasure—Arousal— Dominance(PAD)情感维度模型[113,该模型由差不多 独立的描述和度量情感状态的3个维组成,即:愉悦度 (高兴/不高兴),激励(激动/平静),优势(自信/不。自 1”,实验选取了中国科学院心理研究所心理健康重点 实验室编制的中国情感图片系统中的852幅图片作为 图片库,从中选取200幅作为样本图片,选择2O位不 同专业的在校生参与调查,每个人对所有图像中的图 像风格做出评价,除去风格模糊不清的图像,然后将这 些数据收集起来,最终选取了120幅,形成用户的情感 数据库。然后再随机地选择每类的6O 图像用作训练 集,训练情感语义分类器。把余下的4O 图像作为测 信)。愉悦度用于区分情感状态是正面还是负面,激励 是物理活跃度和精神警惕性的组合,优势从有控制还 是缺乏控制方面定义,特定的情感描述术语可以可视 化为三维PAD情感空间中的一个点。换句话说,当我 们把PAD度量值标准化后,每一种情感都可以用3个 坐标轴上的值来简洁地表示。PAD的每个维可在一 100%~100 之间取值,一个PAD情感价是这些值 组成的三元组,例如[一.5l,.59,.25]可代表愤怒。 情感的维度模型意味着可以采用适当的方法建立 一个情感空间,每一种情感都可以看成该空间的一个 向量。 2.1情感空间 建立情感空间主要包括三步,一是针对不同的图 像数据库收集表达心理的形容词;二是做认知心理实 验,由被调查的对象评价图像,收集数据,建立用户情 感数据库;三是采用因子分析的方法对数据库中的数 据进行分析,建立情感空间。 首先根据游戏场景图像库,仔细挑选16组形容词 对,如表l所示。 衰l形容词组(针对场景图片) 1.坦然的一恐惧的 9.生机勃勃的一荒凉的 2.协调的+不协调的 1O.高兴的一悲伤的 3.舒适的一不舒适的 11.喜欢的一厌恶的 4.明亮的一阴暗的 l2.活泼的一严肃的 5.柔和的一生硬的 l3.清晰的一模糊的 6.整齐的.杂乱的 l4.宽广的一狭窄的 7.惊奇的一平淡的 15.整齐的一杂乱的 8.轻松愉快的一压抑的 l6.平静的一愤怒的 非常 有些 中性 有些不非常不 喜欢的 不喜欢的 图l五级等级评价 其次,由用户对图像样本进行评价,评价分5个等 级如图1所示,例如形容词对“坦然的一恐惧的”,用户 的评价可以是非常喜欢、有些喜欢、中性、有些不喜欢 以及非常不喜欢,分别对应“0,0.25,0.5,0.75和 试集,用训练得来的情感语义分类器对图像进行分类。 最后,采用因子分析方法进行数据分析,建立情感空 间。 2.2定义样例图向量 通过因子分析,得到 维情感空间,每一幅样本图 像可以看成该空间的一个基向量,它表达了一种典型 的情感语义。对一幅图像的情感语义标注就是提取图 像的视觉特征并将它与基向量进行相似度比较,相似 程度高的基向量组合即为该图像的情感语义特征表 示。 ①建立图像特征空间到情感空间的映射,本模型 采用结合SVM的交互式遗传算法来实现,可以加速 收敛,从而减轻用户疲劳,提高准确率; ②通过学习记忆用户的情感特性; ③自动对未曾评价过的图像进行感性注释。 通过注释,图像库中的每一幅图像都对应了情感 空间的一个向量;而每一个形容词通过因子分析也对 应着情感空间的一个向量,这些向量将用于图像的情 感语义检索。 3基于情感计算模型的图像检索 一般来说,图像检索是图像特征空间的一个搜索 过程,而本系统采取结合情感语义特征和视觉特征的 图像检索方法,将同时在视觉特征空间和情感空间实 现图像检索。根据用户的不同要求以及系统语义提取 程度的不同,系统可灵活地进行不同精度的相似度计 算。 ①在无情感需求的应用中,用户可以选择只依赖 视觉特征检索,则系统仅根据图像的视觉特征来计算 相似度。 ②如果某种应用强调情感语义分析,根据用户提 出检索要求及所输入的情感形容词,系统在情感空间 计算每幅图像与该形容词的相似度,找出相似度最大 的15幅图像,作为结果显示给用户。 ⑧有时需要统一情感语义和视觉处理,用户将情 感语义信息看成与视觉特征并列的图像特征,对它赋 第23卷第8期 电脑开发与应用 一个权值,系统加权计算情感语义和视觉特征的相似 说明用户与游戏的交互存在基本的问题,可能是因为 用户的游戏技能很差,或者游戏难度太大,或者其他原 因,如用户在游戏中纠缠太久而无法继续,无法进入下 一度,获得统一相似度。系统还可以根据用户反馈不断调 整情感语义权值和视觉权值,以适应用户的检索需求。 4游戏中的情感调整途径 首先,游戏的特定阶段或特定的游戏事件会产生 短暂的基本的情感反应,如高兴、满足、悲伤、不满、生 气、好斗、害怕、焦急。这种情况下,情感调整系统自然 集中在操纵事件结构上,如人物、人物的角色、发生的 事件,以及其他的叙事性游戏特征。 其次,有些情感是可以管理和控制的,尤其是激 关。当游戏引擎检测到用户的这些情感时,应该为用 户提供更多的游戏难度级别的选择,或者提供一些在 游戏中继续往前走的线索 游戏也可以根据玩家的技 能水平自动调整难度级别。表2中对基于二维情感(诱 力一激励)模型的各种情感状态的正面和负面作用进行 了分析和比较,可为游戏情感调整提供参考。 基于以上三个方面考虑,我们认为情感调整的可 能性主要与以下因素相关:①在情感体验的维度模型 中控制情感强度;②如果可能,把某些情感从游戏中 消除。 从情感理论的角度看,可以把正面情感作为对实 现目标有用的行为的情感奖赏,激起正面情感反应的 游戏事件对于维持游戏博弈应该是特别有效的。然而, 我们知道有的人喜欢看带来恐惧感的恐怖电影,因此, 有些情况下,负面情感也是玩家想要的情感,对许多类 型的游戏来说,显然一个好游戏应该引起正反两面的 情感反应,至少在一定程度上是这样。 针对表2中每一种情感状态,推出有相应情感语 义的场景图像,达到心理调整的目的。 励、警觉和兴奋,有时我们可能想管理负面情感,如悲 伤、不满、失望、生气、好斗、害怕、焦虑。管理这些情感 从两方面人手,一方面,这些情感可能在游戏体验中被 完全消除掉,如果可能,可以在游戏中消除突发情感; 一方面,在以负面情感为主的游戏中,可以通过操纵游 戏事件和游戏元素来限制情感强度,把悲伤和害怕控 制在最低水平,或者让游戏事件根本不要产生悲伤的 情感。 其三,有些特定情感的出现是游戏体验贫乏的标 志,而避免让这些情感出现是可能的。不活跃、空闲、被 动、疲倦、厌烦、迟钝、无助,以及各种中立的体验可能 表2基于维度模型的情感作用分析比较 低激励 正 中激励 高激励 情感状态:放松,平静 情感状态:高兴,满足 情感状态・积极、活泼、热情 诱 力 正面作用:可创建和平的游戏环境,用于让 正面作用:在游戏中达到目标后,这是初 正面作用;与游戏中的成功或技能有关,是 人放松和集中注意力 负面作用:不宜于暴力游戏 步的情感,可激励玩家继续玩游戏 负面作用:可能不实用 情感状态:完全中立的体验 继续玩游戏的激励因素 负面作用:可能不实用 情感状态:激励、警觉、兴奋 中 情感状态:不活跃、被动 诱 力 正面作用:可用于抑制人的积极性 负面作用:可能不实用,在大多数游戏中要 正面作用s可能不实用 避免使用 情感状态:疲倦、无助 负面作用:可能不实用 情感状态t不满、失望 正面作用。在驾驶游戏、冒险游戏、暴力游戏 中可让激励最大化 负面作用:需要对激励进行管理 情感状态t好斗、害怕、焦急 负 诱 力 正面作用 可能不实用 正面作用r许多游戏的基本体验,例如在 正面作用t把暴力充分最大化 负面作用t在希望少的暴力游戏体验中,要 整体上避免和控制游戏中的暴力 负面作用;应该在大多数游戏中避免使用, 达不到目标时 游戏体验中没有基本的吸引人的因素 负面作用:可能说明游戏技巧性差 5结束语 本文针对游戏中场景图像的情感语义,提出了一 种新的图像检索方式,借鉴游戏心理的专业知识抽取 葸义。 参考文献 [1] Eakins J P.Automatic Image Content Retrieval—Are 图像特征,通过认知心理实验和因子分析,收集用户情 感数据,建立情感空间,采用支持向量机方法建立了图 像的底层特征空间到用户的高层情感空间的联系,记 忆用户的情感。这一方式大大提高了人机交互的和谐 性,对推动多学科发展和融合,具有重要的理论与现实 We Getting any Where・In:Proc of 3rd Int’1 Confon Electronic Library and Visual Information Research [c]//De Montfort u“i e 。i y,Mih on Keynes: nb’ ’ (下转第 页) ・26・ (总618) 基于纹理特征的图像检索方法的研究与实现 2010拄 [3] 郭晓娟.基于内容的图像检索技术的研究[D].西安: 西北大学,2007. [4] Kokare M,Biswas P K,Chatterji B N.Texture Image Retrieval Using New Rotated Complex Wavelet Filters[J].IEEE Transactions on Systems,Man,and Cybemetics,2005,35(6):1 168—1 179. 图1 barrel类的检索结果 图2 BSwallowtail类的检 —[5] Mudigonda N R,Rangayyan R M,Desautels J E L. 索结果 图3 dalmatian类的检索结 图4 sunflower类的检索结 果 果 像相关的图像数。本实验中,随着所选取的测试图例的 不同、参数不同而得到不同的检索结果数目;查准率和 查全率是一组相互影响的评价标准,两者共同决定了 检索效果。 在同样条件下,在综合考虑到查准率和查全率后, 由表1可以看出,对sunflower的检索效果较差,这是 因为花具有较少的纹理特征;由于barrel及dalmatian 的背景相对简单,并且它们具有较明显的纹理特性,它 们的检索效果比较好;而对于背景较为复杂的对象也 具有一定的纹理特性的图像如B Swallowtail检索效 果也较好。当然表中数据也与实验所采用的测试图像 库有很大的关系,但从总体来看,四类测试图例的平均 查准率与查全率分别为61.25 和51.45 ,所以利用 共生矩阵对图像纹理进行分析还是具有较好的检索性 能,可以得到较好的检索效果。 4结束语 本文在研究与分析了纹理特征提取算法共生矩阵 以及相似性度时算法的基础上,利用UIUC和 Caltechl01图像数据库,验证了采用共生矩阵的纹理 特征提取算法的有效性,最后对不同图像数据库采用 同一种特征提取方法的检索结果进行比较,可以看出, 如果图像本身具有比较明显的纹理特征,可以得到较 好地检索效果。 参考文献 [13 王和勇,李磊,姚正安.基于纹理的图像检索口].计 算机应用研究,2002(10):82—83. [2] 王琨,齐会来,杨波等.基于纹理的图像检索算法 [J].空军工程大学学报(自然科学版),2008(19):54- 57. Gradient and Texture Analysis for the Classification of Mammo Graphic Masses[J].IEEE Transactions on Medical Imaging,2000(10):1 032-1 043. [63 苏林英.基于共生矩阵的自适应图像检索[J].内蒙古 大学学报,1996,27(1):123—128. [7] Sameer A,Rangachar K,Ramesh J.A Survey on the Use of Pattern Recognition Methods for Abstraction, Indexing and Retrieval of Images and Video[J]. Pattern Recognition,2002(35):945—965. [8] 李瑜,李磊.基于内容的图像检索的方法研究[J]. 计算机科学,1999(26):6-11. (上接第23页) [2] Asano T.Progress on ‘Kansei’Measurement Technology and Its Application to Visual Inspection 口].INT J JPN SPREC ENG,1998,32(2):35—39。 [3] Nagamachi M.Kansei Engineering[M].Tokyo, Japan:Kaibundo Publishing,1997. [4]Picard R W.Synthetic Emotion[J].IEEE Computer Graphics and Applications,2000,20(1):52-53. [5] 王上飞.感性信息处理在图像检索中的应用研究 [D].合肥:中国科学技术大学博士学位论文,2002. [6]Tomkins,Silvan S.Affect Theory.In Klaus R. Scherer and Paul Ekman(eds.),Approaches to emotion[M].Hillsdale,1984. [7]Plutchik,R.(1980)Emotion,A Phych0evolutionary Synthesis[M].New York:1980. [8] Ekman P.Basic Emotions.In Dalgleish&M.Power (eds)Handbook of Cognition and Emotion[M].New York:John Wiley,1999. [9]Lang P J.The Emotion Probe;Studies of Motivation and Attention[J].American Psychologist,1999(5O): 372—385. [1O]Larsen R J,Diener E.Problems and Promises with the Circumplex Model of Emotion[J].Review of Personality and Social Psychology,1992(13);25-59. [11]Mehrabian A.Pleasure—Arousal—Dominance; A General Framework for Describing and Measuring Individual Differences in Temperament[J].Current Psychology:Developmental,Learning,Personality, Social,1996,14(4):261—292.