时间:2023-05-30 10:28:33
开篇:写作不仅是一种记录,更是一种创造,它让我们能够捕捉那些稍纵即逝的灵感,将它们永久地定格在纸上。下面是小编精心整理的12篇人机交互,希望这些内容能成为您创作过程中的良师益友,陪伴您不断探索和进步。
关键词:安防领域;人机交互技术;发展
前言
自计算机产生之后,关于“人机交互”的研究随之开展,并且至今仍在继续。从二进制大型计算器开始,直至当前的虚拟显示技术,国内外的技术人员无一不为人机交互技术的发展而努力,时至今日,人机交互技术所具有的发展空间是十分广阔的,尤其在安防领域中。安防领域中应用人机交互技术后,不仅会促进安全防范产品智能化程度的提升,而且安防领域也会更为繁荣的发展。
1 人机交互技术概述
人机交互技术是指在计算机输入、输出设备的辅助下,实现人与计算机对话的技术,通过人机对话,计算机可提供人所需求的信息,如回答问题、显示相关信息等[1]。在计算机用户界面设计工作中,一项重要的内容即为人机交互技术,该项技术密切的联系着多个学科领域,例如认知学领域、人机工程学领域等,同时,经由电极,使神经信号相互联系于电子信号,促进人脑、电脑间沟通的开展。
学术界一直未停止关于人机交互技术的研究,且获得的研究成果比较多,已经问世大量的人机交互产品。现阶段,人机交互技术研究的侧重点体现在两个方面,一方面是侧重多媒体技术,计算机可触摸式的显示屏、电子书显示屏可随意折叠、3D显示器等均属于研究的重点;另一方面是侧重多通道技术,手写汉字识别系统、数字墨水技术、中文语音识别系统、手势识别技术等均属于多通道技术应用到各个领域中的产物[2]。在社会的各个领域中,已经开始显现出人机交互技术的重要作用,例如智能手机领域、游戏领域等,可以预见,在未来,该项技术的发展空间将会十分广阔。
2 安防领域人机交互技术的发展
2016年,北京举行了中国国际社会公共安全产品博览会,参与企业包含国内外千余家,将安防领域的新技术、新产品全面的展示出来,人机交互技术产品赫然在列,这也表示着人机交互技术已经应用到安防领域中,并且取得了良好的发展。
2.1 安防领域人机交互技术专利申请增多
近年来,人机交互技术在安防领域中的应用不断加深,并产生了较多的安防产品,无论国内或国外,人机交换技术产品申请呈现出上升趋势,主要体现在三个方面:第一,全球专利申请量增多,以年为单位,经统计分析人机交互技术点的全球专利申请量情况看,处于逐年上升的趋势,尤其是2001年之后,我国的申请量大幅度的增长,呈现出直线上升,至2015年时,开始出现申请量减少的现象,这说明,在人机交互技术点上,我国所掌握的技术逐渐的成熟,而且饱和状态已经开始出现,再看美国、日本、德国及中国台湾,该项技术专利申请量并未发生变化;第二,专利申请国分布增多,专利申请国是指专利人申请专利时想要申请的保护其专利的国家或地区,专利申请国的分布状况可将专利可能实施的国家或地区反映出来,据调查可知,人机交互行业申请专利时,重点申请的国家为中国、美国、世界产权组织,三者共占据总申请数量的98%左右,余下2%分布在欧洲、日本、英国、德国、加拿大等国家,由专利申请国分布情况发现,受理国家的数量不断增多;第三,专利技术主要来源国增多,以往,美国为主要的专利权人来源家,近年来统计结果显示,除美国外,中国的专利权人数量也不断的增加[3]。
2.2 用户界面的操作性及立体性不断增强
ENIAC为世界上第一台计算机,问世后即开始人机交互,人将相应的命令输入后,操作系统执行命令,当时,对于计算机与人机交互,人们更多的神秘感、专业感。这一时期,人要主动的适应计算机,才能保证计算机操作的正确性,为改变这一现状,人们开始探索更为便利的人机交互方式。探索发现,必须要研究人的行为方式,由此,计算机设计中开始逐步的运用认知心理学,人们也越来越关注人机交互的重要性。当前,用户界面的主流为图像形式,代表为美国微软,显示、传达信息的目的均利用创口实现,人与计算机用户界面交互的方式为鼠标、键盘,图像形式的用户界面使人机交互的操作性不断增强[4]。未出现自然化交互设计技术时,即已经出现多媒体技术,是一种过滤技术,而未产生多媒体用户界面之前,设计用户界面过程中,语言转变为图形已经完成。不过,在多媒体技术不断进步过程中,此种技术中逐渐的加入了动画、视频、音频等,尤其是引入音视频后,促进计算机传达信息的方式更为丰富,使人们能够进一步的控制、传达信息,人机交互效率大幅度的提升,同时也提高了用户界面的立体性。
2.3 向着多通道互动及智能互动的方向进步
现阶段,主要通过键盘与鼠标来实现人机交互,尚不具备普及多通道媒体交互的技术水平,但在安防领域中,工程师及设计师的探索步伐已经迈出,自然人机交互的实现指日可待。目前,已经利用了基于人感觉的开发效应通道,如视线跟踪系统、三维听觉定位器、分贝感应器、语音识别系统等,这些均是利用人的听觉、视觉,结合人机交互技术后研发出的产物,而这些产物应用安防领域后,可显著的提升安防效果。在感压技术的基础上,技术人员开发出了触屏手机、触屏电脑,用户在使用过程中,能够极为自然的开展人机交互,而且通道切换也不需要频繁的开展,促使人机交互效率的提升,而也显示了多通道互动技术的应用。在人机大战中,第一个胜利的炮弹由深蓝打响,之后技术人员、研究人员便广泛的研究智能计算,基本已经实现人机现场合奏即兴乐曲,促使人机交互技术更为深入的发展。人工智能技术出现后,人机互动的发展步伐明显加大,尤其在安防领域中,各种人工智能产物基于人机交互技术设计出来,很大程度上便利可安防工作的开展,例如安放机器人,通过安防机器人的应用,安防防护工作可在机器人的协助下开展,降低工作人员工作量的同时,可明显的提升安防工作效率及工作质量。
3 结束语
综上所述,人机交互技术应用于安防领域后,其与安防领域的融合程度不断的加深,开发出了各种高性能、高质量的智能型安全防护产品,促进安防领域工作效率及工作质量的提升。鉴于人机交互技术自身不断的发展与更新,安防领域也会利用该项技术不断的创新,研制出更多的智能化程度高的产品,促进安防领域更为繁荣的发展。
参考文献
[1]李英.基于计算机技术的人机交互应用探索[J].信息与电脑(理论版),2016(07):59-60.
[2]俞凯,陈露,陈博,等.任务型人机对话系统中的认知技术――概念、进展及其未来[J].计算机学报,2015(12):2333-2348.
随着技术的发展,人机交互界面在不断改进,从最初的命令行、窗口图形界面再到触摸屏,人机交互的方式变得越来越人性化。触摸屏之后,又会有哪种交互方式带来新的变革呢?无疑,语音技术最令人期待,因为它是人类最自然的交流方式。试想,如果你家的电器设备都能像你的朋友一样听懂你的要求,并按照你的要求做出正确的反应,那该是多么美妙的体验。时下,这种语音交互技术正越来越多地应用到我们身边的电子设备中。
早在2011年,IBM的超级电脑“沃森”战胜美国智力问答节目《危险边缘》的两名冠军选手,引起极大轰动。从某种程度上说,沃森已经可以和人类实现自如语音交流,这离不开其背后强大的计算性能。据介绍,IBM耗费数年才研制出沃森,沃森拥有10组Power750服务器,运行linux操作系统,具有15TB内存,2880个处理器,每秒可进行80万亿次运算,而其体积有10个冰箱大小。
虽然要实现像沃森这样的自如地人机交互还挑战重重,但这并没有阻止语音技术在特定环境特定领域的应用,尤其是像车载、移动终端这样的嵌入式设备中,语音技术已经得到了消费者的认可。
StrategyAnalytics的统计表明,2012年,中国原始设备制造商(OEM)所提供的具备语音人机接口的信息娱乐和车载信息通信系统(telematics)的出货量达到300万台,并预期在2018年达到2000万台。在北美和欧洲市场,带语音交互功能的车载设备应用已很普及。福特SYNC系统,即专为手机和数字媒体播放器配备的福特车载多媒体通信娱乐系统,是目前车载系统中采用语音交互技术的成功的案例,已经广泛应用在福特多个系列汽车中。搭载SYNC系统后,配合汽车中控台上的显示屏,可通过语音控制、兼容并操控便携式通信/娱乐设备等方式,让驾驶者在开车过程中更轻松,便捷地实现诸如语音拨号、语音播出短信内容、语音控制音乐播放等功能。
汽车之外,移动互联网终端大概是目前最热衷采用语音交互的另一类产品,自从苹果率先在其iPhone4S中推出智能语音助理应用Siri后,Google公司也在其安卓智能手机操作系统中推出了GoogleNow智能语音搜索及问答服务,微软公司也将语音技术应用于其WindowsPhone。现在,几乎每一家手机厂商都试图将语音技术融于其移动产品、应用和服务中。这其中最主要的一个原因就是这类终端设备外型小巧,触摸输入很不方便,这种情况下,语音交互就变成了一种非常必要的人机沟通的补充方式。这一点,笔者深有感触,自从使用安卓手机后,笔者一度不再发短信(太麻烦),现在,安装了一个讯飞语音输入法后,又开始和朋友们短信交流了,语音输入真是又方便又快捷。
虽然语音技术给我们带来了极大的乐趣和帮助,但要实现真正流畅自然的语音交互还需要强大的软硬件技术协作。语音技术牵涉到语音合成、语音识别、语音评测、自然语言理解等多个方面,而语言的复杂性、多样性都为语音技术的应用带来多种挑战。Nuance、科大讯飞、微软、IBM、Google都在投入力量研发语音新技术。其中,作为中文语音技术的领导者,科大讯飞已占有中文语音技术市场70%以上市场份额,其讯飞语音云合作伙伴已经超过了10000家,讯飞输入法已深入人心。Nuance的语音识别平台在行业内也得到广泛应用,前面提到的福特SYNC系统、苹果Siri都采用了Nuance技术。前不久,微软宣布研发出一种新型语音识别技术,这项名为“深度神经网络”的技术,能够像人类的大脑一样处理语言行为,据称该技术比目前的语音识别技术快2倍。
有了好的语音软件和算法,还必须要高性能的硬件来支持。相信,随着语音技术的发展和硬件性能的提高,自然语音将为下一代人机交互带来新的变革。
关键词单片机;MSP430;LCD;人机交互接口
1引言
在当今的各种实时自动控制和智能化仪器仪表中,人机交互是不可缺少的一部分。一般而言,人机交互是由系统配置的外部设备来完成,但其实现方式有两种:一种是由MCU力口驱动芯片实现,如键盘显示控制芯片SK5279A,串行数据传输数码显示驱动芯片MAX7219等等,这时显然MCU没有LCD的驱动功能。另一种就是MCU本身具有驱动功能,它通过数据总线与控制信号直接采用存储器访问形式或I/O设备访问形式控制键盘和LCD实现人机对话。这里的MCU主要有世界各大单片机生产厂商开发的各种单片机,其中TI公司的MSP430系列因其许多独特的特性引起许多研究人员的特别关注,在国内外的发展应用正逐步走向成熟。
2LCD简介
LCD(LiquidCrystalDisplay),即液晶显示器。液晶显示是通过环境光来显示信息的,它本身并不发光,因而功耗很低,只要求液晶周围有足够的光强。LCD是人与机器沟通的重要界面,早期以显像管(CRT/CathodeRayTube)显示器为主,但随着科技不断进步,各种显示技术如雨后春笋般诞生。LCD由于具有轻薄短小、低耗电量、无辐射危险、平面直角显示以
及影像稳定不闪烁等优势,逐渐占据显示的主流地位。
LCD的类型,根据其分类方式的不同而不同。如根据LCD显示内容的不同可以分为段式LCD和点阵LCD。根据LCD驱动方式的不同可以分为静态驱动和多路驱动。
3MSP430F44X简介
MSP430F44X系列是TI公司最新推出的具有超低功耗特性的Flash型16位RISC指令集单片机[2]。该系列单片机性价比相当高,在系统设计、开发调试及实际应用上都表现出较明显的优势。它主要应用在各种要求极低功率消耗的场合,特别适合用于智能测量仪器、各种医疗器械、智能化家用电器和电池供电便携设备产品之中。
3.1系统结构
MSP430F44X的系统结构,主要包括:CPU、程序存储器(ROM)、数据存储器(RAM)、FLL+时钟系统(片内DCO+晶体振荡器)、看门狗定时器/通用目的定时器(WatchDog)、ADCl2(12位A/D)、比较器A(精确的模拟比较器,常用于斜边(Slope)A/D转换)、复位电压控制/电源电压管理、基本定时器(BasicTimerl)、定时器(Timer-a和Timer-B)、LCD控制器/比较器(多达160段)、硬件乘法器、I/O口和串行口[4]。系列中各种具体的型号稍有差别。在本次设计中,具体选择MSP430F449作为人机接口电路的设计具有许多独到的优势。这一点,读者可以根据TI公司相关的数据手册进行比较。
3.2片内外模块特性
MSP430F44X具有丰富的片内模块,其明显的特点是:具有48条I/0口线的6个并行口P1-P6,其中P1、p2具有中断能力,同时具有2个可用于UART/SPI模式选择的串行口(USART0和USARTl);内含12位的A/D转换器ADCl2,快速执行8×8、8×16、16×16乘法操作并立即得到结果的硬件乘法器;多达160段的LCD控制器/比较器,可以实现多种方式的驱动显示;可以实现UART、PWM、斜坡ADC的16位Timer-A和16位Timer-B;非常灵活的时钟系统,既可用32768Hz的钟表晶振产生低频时钟,也可以用450kHz-8MHz的晶体产生高频时钟,同时还可以使用外部时钟源或者用不同控制频率的DCO;多达几十kB的Flash空间,这样数据既可以保存在片内的Flash信息存储器,也可保存在程序的Hash中的剩余空间。
4接口电路设计
4.1接口电路简图及说明
典型应用电路示意图。在该图中,LCD类型和键盘种类及数目的选择、下拉电阻的数值大小都必须认真考虑,硬件设计要满足一定的工作时序关系,复位时预留缓冲时间和悬空部分引脚,晶振的选择要在适当的数值,必须保证交流驱动的频率在30Hz-1000Hz范围内,其具体的情况请详细参考TI公司的相关资料[3]。
4.2段型液晶显示屏EDS820A简介
一般而言,LCD分为笔段型和点阵字符型及点阵图形型。笔段型主要是显示数字,常用于计数、计量和计时;点阵字符型用于显示数字和西文字符;点阵图形型用于显示图形及字符。本设计中用到的EDS820A就是由西安新敏电子科技有限公司生产的笔段型LCD。是该显示屏的各个引脚的逻辑功能表。
显而易见,该产品EDS820A是5位的液晶显示屏,它只有4个DP,用于显示小数点;COM端也只有一个,所以该LCD与MSP430F449的管脚连接应该引起足够重视.
5软件设计
硬件连接电路图为例,编写了键盘控制及显示程序,程序在IAREmbeddedWorkbench编译通过。全部主程序包括详细的发射和接收子程序,及初始化和等待键盘输入转换、显示等等,值得注意的是发射与接收的控制要适当。
该程序是用汇编编写的。程序实现的是等待按键输入,读取键值,最后进行键值处理和显示的功能。
检测是否有键按下是通过KEY是否有高电平信号。平时,KEY为低电平,当有键按下时为高电平,它发送一个脉冲给单片机MSP430F449,当单片机检测到该信号时,判断按键的功能,从而进行相应的处理。
6人机接口电路在体内电刺激器中的应用
医学上,在进行疾病控制时,通常可以通过电极以一定波形(如方波、正弦波等)、频率、幅度、占空比等电信号对神经或肌肉进行刺激,以使其支配相应的功能或肌肉产生收缩/舒张动作,从而有利于症状的减轻。由于不同部位的神经或肌肉对电刺激发生的敏感水平不同,不同强弱和不同性质的电信号所产生的刺激效果是不一样的。我们研制的体内电刺激器,可以产生手术时所需要的具有不同的频率、幅度、占空比的不同波形信号。该仪器幅度、占空比准确,频率稳定,各参数均可以精确的调节。而且,由于使用了LCD显示,它与单片机的连接简单。LCD具有质量轻、体积小、电压低、功耗小、显示内容丰富等优点,其人机界面相当友好。但人机接口电路设计的优劣直接影响到整台仪器的使用效果。
根据需要,我们设计了5个键。这里,S1表示波形的振幅,S2表示波形的频率,S3表示波形的占空比,S4为+1键,S5为-1键。通过54,S5可以调节波形的各个参数值。其中,振幅可以是在一个参考值的基础上的0-99.9%;频率可以是1Hz-999Hz;占空比调节范围可以为1.0%-99.9%[1]。
关键词:计算机应用;中文信息处理;自动分词;未登录词识别;陌生文本;人机交互
中图分类号:TP391 文献标识码:A
1 引言
自动分词是中文信息处理的基础课题之一。随着中文电子文本数量的日益增加,文本的领域呈多样性发展,语料库的加工要求也有所不同。文献[1]指出,一个分词系统应当能够处理不同领域的文本和适应不同的分词标准。对于以汉语研究为目的的语料库建设而言,如何对现有的大量古代汉语的电子文献进行分词,如何对珍贵的方言语料进行处理等等,都是亟需解决的问题。在此背景下,本文提出了面对中文陌生文本的人机交互式分词方法。所谓“陌生文本”,即对于分词系统来说,没有关于该文本的任何词汇、句法、语义等先验的语言知识和资源。所谓“人机交互”,就是由系统自动地从文本中获取候选字串,由用户根据其上下文进行筛选,得到适应于不同领域的词语特点和分词标准的词表。面向陌生文本的分词,就是让系统在没有词表和其他资源的条件下,通过人机交互的方式完成对汉语各种文本的分词处理。
2 相关工作
目前,作为主流的基于统计的分词方法所关注的是如何从训练语料中尽可能多地学习语言知识,再对同质文本(“非陌生”文本)进行分词。因此,无法适用于陌生文本的自动分词。而不需要词表和训练语料等资源的陌生文本分词技术研究较少,还处在实验阶段。文献[2]使用统计方法从待切分语料中抽词,又将所抽取的词条用于自动分词。文献[3]利用Y。统计量进行自动分词。文献[4]使用了串频统计方法,然后通过长短串的频次的比值进行过滤获得词表,再进行分词。文献[5]则建立了一个文本熵的模型,其原则是文本分词的结果越好,则文本的整体熵越低。这些方法是纯粹利用统计方法进行陌生文本分词的一个尝试,分词的精度既不高也不够稳定。因此,一些学者考虑使用人机交互的方式来增加系统的语言知识。文献[6]利用邻接汉字的统计信息,让机器自动地给出针对该语料的候选词表,然后由用户进行筛选。通过阈值控制,以半自动循环的工作方式,最终得到一个词表。该文没有进一步进行全文分词,但其人机交互式的方法,可以保证获取词表的精确率,缺点是召回率难以保证。
较为实用的陌生文本分词方法则是文献[1]提出的基于句子的人机交互的增量式学习方法。首先,利用串频统计获取文本中的未登录词,然后,基于这个词表进行自动分词,把分词结果提交人工判定,利用学习到的词语和优化参数进行下一轮分词和未登录词的提取。在规模为9万词的语料上,可以达到近90%的分词正确率。然而,其未登录词的发现性能不高,在人工判定的条件下,正确率和召回率分别为26%和31%,大量的工作实际上还是通过人工判定来完成。文献[7]提出了基于Multigram语言模型的主动学习方法,首先使用了50M同质生语料利用EM算法来参数估计,再依靠对较为重要的句子提交用户切分,解决高频字串的切分问题。在开放测试中,分词F值为77.7%。
总的来看,在处理陌生文本时,人机交互的方式比纯统计方法的效果好。让用户来确定词,不仅较为准确,还可让系统适应于不同的分词标准。然而,这些方法存在的最大问题是未登录词发现的精确率和召回率不高,在人机交互和机器自动学习的机制上存在一些问题,导致分词效果不好或代价过高。
3 算法
上文介绍了人机交互的两种方式,基于句子的和基于候选词的,这两种方式各有其优缺点。前者可以得到切分好的句子集合,但对于用户而言,切分整个句子比较困难一些。相当数量的词会反复出现在不同的句子中,造成人工的浪费,也容易出现对同一个词切分不一致。同时,要定义生成候选句子的判别函数也是比较困难的。而基于候选词的交互方式则可以直接得到该语料的词表,通过观察上下文,能够让用户比较容易判定是否是词,也可以避免对同一个词的切分不一致。因此,我们采用了基于候选词的交互方式。
3.1 系统流程
图1给出了系统流程。首先,由机器从陌生文本中自动抽取一个高精度的候选词表。接着,由熟悉该文本的专业人员或用户进行词条的甄选,得到一个小规模词表。然后,利用这个词表进行自动分词,在未切分的汉字串中,抽取出更多的候选串,由人工进行判定。这样反复进行人机交互,最终完成对文本的分词。
上述过程主要分为两个问题,一是如何自动地提取候选字串并进行自动筛选,保证词语的精确率和召回率;二是如何通过人机交互来确定词表,让词语符合用户的分词标准。本文提出了改进的后缀数组抽词算法,对抽取的候选词语采用互信息(MI)进行过滤,得到了性能较好的自动抽词模块。同时,提供较好的人机交互界面,便于用户增删词语。
3.2 改进的后缀数组自动抽词算法
提取候选字串时,最大的问题是会产生大量垃圾。例如在一个文本中,字串“萨达姆”、“萨达”和“达姆”的频次都为10次。很明显,“萨达”和“达姆”是需要排除的字串。针对这一问题,目前主要有两种做法:一种是计算文本中所有的N元字串的频次,然后使用频次相减法来过滤[8]。另一种是分别建立前缀数组和后缀数组。利用排序的后缀数组,直接把数组序列中前缀相同的字串提取出来,这样可以得到“萨达姆”,排除“萨达”。同样地,建立排序的前缀数组来把后缀相同的字串提取出来,得到“萨达姆”,排除“达姆”,最后把两个结果进行交集运算,得到“萨达姆”[9]。这两种方法,在时间和空间上开销较大,也无法提取频次为1的词语。
为了解决计算效率问题,我们提出了改进算法,只需建立一个排序的后缀数组,就可以完成排除子串的过程。首先,利用排序的后缀数组的最长公共前缀(LCP,Longest Common Prefix),可以排除“萨达”。同时,利用上文的后缀信息来排除候选串,如果上文有相同的汉字,则不算作候选字串。如,“达姆”所在的后缀数组,其上文都为“萨”,被排除。通过计算它们上文相同的长度,即上文最长公共后缀(LLCS,Longest Left Common Suffix)的长度,就可以跳过这些被长串完全覆盖的子串。在不增加空间 开销的前提下,把算法的时间复杂度由原来的0(N2)降到了0(N*lgN)。由此,利用后缀数组的LCP、LLCS值,可以从文本中自动获得大量的n元字串。图2是从1998年1月《人民日报》语料中提取出来的部分以“萨”和“达”开头的后缀数组,左图中可以直接提取出“萨达姆”、“萨达姆总统”等候选串,右图则显示出“达姆”的上文为“萨”或“阿”,可以直接排除掉“达姆”这个短串。而“阿达姆库斯”则可以通过“阿”开头的后缀数组提取出来。
对于频次为1的字串,本文使用左右扩展法来获取。方法是利用后缀数组中频次为1的二字串进行左右扩展。每次扩展的二字频需为1,否则后退一字。如“萨达姆”中,假设“、诉萨、萨达、达姆”的频次分别为5、1、1、1。以“萨达”为出发点向左扩展,“诉萨”频次为1,扩展为“诉萨达”;再往左扩展,由于“”的频次大于1,所以删除“”,剩下“萨达”,确定左边界。以相同的方式可以确定右边界,同时屏蔽掉后缀数组中相应的元素“达姆”。最后得到频次为1的“萨达姆”。需要说明的是,该方法也只能获取一部分频次为1的字串。即,多次词与单次词相连,且单次词内部的所有邻接二字对的频次也为1。
后缀数组、最长公共前缀数组LCP和上文最长公共后缀LLCS的构造算法如下:
设S=C1C2…Ci…CCN为一个由N个字符构成的字符串。1≤i≤N,Ci属于字符集∑。Ai=CiCi+1…CN为字符串S从字符i开始的后缀,可以得到{A1,A2,…,AN}。按照字符集∑的顺序进行排序,得到一个排序的二维数组SA,即SA1<SA2<…<SAN,“<”表示字符集中的先后顺序。数组LCP[1…N]存放SAi与SAi-1或SAi+1的公共最长前缀的长度(选择最大值),数组LLCS[1…N]存放SAi与SAi-1或SAi+1的上文公共最长后缀的长度(选择最大值)。
候选字串提取算法如下:
for(int i=1;i<=N;i++){//对于每一个后缀数组的元素
if(LLCS[i]>0)//如果上文相同的汉字个数>0,则跳过,不算候选串
break;//跳出本次循环
else if(LCP[i]>1){ //如果上文不同,且下文相同的汉字个数>1,则把该串加入Hash表
HashTable->insert(SA[i],LCP[i]);
break;//跳出本次循环
}
int m=0,n=0;//m为向左扩展的字数,n为向右扩展的字数
if(Search2gram(pp[i][0],pp[i][1])==1){//如果上文不同,且2字频次为1
while((Search2gram(pp[i][-m],pp[i][-m一1])==1)
&&(Search2gram(pp[i][m-1],pp[i][-m-2])==1))
{//依次向左扩展,条件是Cm-1-Cm二字频次为1,且Cm-2Cm-1二字频也为1
blind(pp[i][-m],pp[i][-m-1]);//屏蔽Cm-1Cm对应的SA
m++;//左扩展字数加1
}
while((Search2gram(pp[i][n],pp[i][n+1])==1)
&&(Search2gram(pp[i][n+1],pp[i][n+2]==1))
{//依次向右扩展,条件是CmnCn+1二字频次为1,且Cn+1+Cn-2二字频也为1
blind(pp[i][n],pp[i][n+1]);//屏蔽CnCn+1对应的SA
n++;//左扩展字数加1
}
if(m+n>0)//如果左右扩展过了
HashTable->insert(SA[i],m+n+1);//把该串加入Hash表
}
3.3 互信息过滤
由后缀数组得到的字串需要经过一定的过滤,以提高精确率。文献[10]对9种常用的统计量进行了测试与分析,指出各统计量之间互补性不高。通常情况下,建议直接选用单个效果最好的互信息进行二字词的自动抽取。本文对于二元至四元字串采用条件熵推导出来的点互信息公式,对于五元以上的字串,由于公式过于繁琐,计算量过大,采用另一个简化公式。具体计算公式如下,
其中,n≥1,f(C1,…,Cn)是n元字串C1,…,Cn在语料中出现的次数,N是语料规模(总字数),P(C1,…,Cn)=f(C1,…,Cn)/N,P(ac)则是字符a和c相隔一个字符时顺序共现的概率。
为了提高自动抽词的性能和效率,我们在系统中加入了识别两种特殊字串的独立模块。一种是由汉字构成的“AABB”型重叠式,如“风风火火”等词语。一种是“简单数词”,包括阿拉伯数字、汉字数字构成的数词。如,“3000'’、“20万”、“叁拾”等。这二种字串在汉语文本中经常出现,可以作为未登录词识别模块的补充,用于人工筛选。
3.4 人机交互
人机交互是让用户借助上下文信息判定一个候选字串是不是词,以得到质量较高的词表,进行后续的抽词和分词流程。我们规定,用户在筛选候选词时,只能进行三种操作,即“确定”、“删除”和“添加”。如果候选串是词,则进行“确定”操作;不是词,则“删除”;在上下文观察时发现新的词,则“添加”到词库中。
我们在VC6.0环境下实现了该系统。人机交互界面如图3,在pku_test(SIGHAN2005)上,系统第一次自动抽词得到的词语列表,按音序排列,并给出频次和互信息值。单击“巴勒斯坦”,右侧则显示 出其上下文,用户可以根据自己的要求进行增删词条。
4 实验结果及分析
我们对四种规模、体裁、分词标准各不相同的语料进行测试,其中包括普通分词系统难以处理的现代汉语和近代汉语的小说语料。
4.1 测试方法
为了说明人机交互的效果,同时避免人的主观操作的不稳定性,我们采用与答案词表(即从分词语料中提取出来的词表)进行比对的方式,模拟用户的操作过程。系统模拟用户进行“确定”和“删除”操作时,只需通过查询答案词表即可实现,而对于“添加”操作,系统只能在“候选串”的内部和外部上下文中进行未登录词的查找。
内部查找:对于一个候选字串S,在其内部查找所有的未登录词,收入“已知词表”。
外部查找:在S所在的前100条上下文中寻找五种简单模式的词语添加到“确定词表”中,其他情况的未登录词则不再收入“已知词表”。C-2、C-1,为S的上文2个字,C1、C2为下文的2个字,5条横线即为查找未登录词的5种模式。
4.2 评测标准
我们从未登录词识别效果、分词精度、用户劳动量等三个方面进行评测。对于用户劳动量,以用户在进行交互时花费的总时间为依据,采用加权的方法进行计算。在用户对语料比较熟悉和软件操作熟练的情况下,“确定”、“删除”和“添加”三种操作的平均时间的经验值约为1秒、2秒和3秒。因此,工作时间=“确定”条数*1+“删除”条数*2+“添加”条数*3。
为了突出多字词的抽取效果。表2中候选串的正确率、召回率、F值的计算都是以答案词表中的多字词条数作为分母。此外,我们还给出了用于比较分词性能的Baseline和Topline。Baseline是没有经过用户筛选,系统反复获取未登录词,而后进行正向最大匹配法(FMM)分词得到的F值。Topline则是使用答案词表进行FMM分词得到的F值。
4.3 测试结果及分析
四个语料的测试结果显示,未经人机交互时,系统分词的F值已经可以达到72%左右。在较少的人工耗费下,分词F值可以达到84%以上。其中,《红楼梦》语料,由于单字词出现的比例较大,得到的分词精度最高(94%)。相对于Baseline,在花费了一定的人力进行交互以后,系统的分词性能确有不小的提升,F值分别提高了12个百分点以上。而更为重要的是,用户通过筛选获得了一个符合自己的分词标准的相当规模的领域词表。当然,相对于Topline来说,人工交互的分词效果还有待进一步提高。
从未登录词的获取情况来看,在无人机交互条件下,系统的F值已达到40%以上;人机交互后的总召回率在50%左右,而且用户添加的词条仅占总词条的1/3以下,用户的劳动量并不是太大。不同的语料在正确率、召回率和用户添加词语的比例上有所差异,不过抽取的候选串的F值基本相近,系统得到的词(候选正确+用户添加)的总召回率是较为一致的,都保持在50%的水平上,其中的差异可能是由语料的特殊性造成的。然而,文本中依然有50%左右的多字词没有识别出来,其中绝大多数是出现3次以下的词语,说明系统在获取低频词语方面还需要改进,分词错误也主要是由未登录词引起的。
由于在模拟人机交互时严格限定了“添加”词条操作的范围,使得人机交互的最后结果不够理想。在实际使用时,系统还允许用户使用其他先验词表,或者自行添加一部分词语,从而得到更好的分词精度。
为了进一步提高系统性能,我们还设计了用于提取未切分串中重要信息的模块。使得分词精度随着用户干预的增加而不断提高。经过多次人机交互后,达到互信息的最低阈值,会导致无法继续提取候选串的情况。此时,系统可以把未切分串中的高频条目进行人工判定,从中提取出一些高频未登录词,还可以把未切分串中长度大的条目提交给用户判定,可以得到中低频的未登录词,丰富系统词表。使用这两个模块后,系统的分词性能会有所提升。由于使用该模块并不能直接得到未登录词,几乎完全依靠用户来判定和添加到词表中,因此,该模块仅作为用户选用的一项辅助措施,没有参与评测。
5 结论与未来工作
本文提出了面向中文陌生文本的分词方法,在没有分词底表、训练语料和其他语言知识的条件下,可以根据用户的标准进行分词。该方法采用人机交互的方式,不断扩大系统词表,尽可能地获取文本中的所有词语,从而达到较高的分词精度。系统以Unicode字符集为内核,可以处理不同编码(繁简体)的文本。在文本的通用性上,可以处理不同时代(现代汉语、近代汉语)、不同领域(新闻、文学等)的汉语文本,从而为特殊语料库的加工提供了一个较为高效的分词工具。在未登录词识别方面,重点解决了使用后缀数组时长短串覆盖问题和频次为1的字串的提取问题。
文本是对陌生文本进行分词的一次初步尝试,还存在一些不足和需要进一步研究的问题。如:提高低频词语的识别效果;探索更好的人机交互方式;增强系统的智能性,更好地利用用户反馈的信息,减少用户的工作量;解决文本中存在的切分歧义;进一步开发出人机交互式的词性标注系统、义项标注系统,从而使古代汉语文本和汉语的其他特殊文本的深加工能够在一个较为高效和智能的平台上展开。
收稿日期:2006-08-28 定稿日期:2007-02-14
基金项目:南京师范大学211资助项目(1240702504)
作者简介:李斌(1981-),男,博士生,主要研究方向为计算语言学。
参考文献:
[1]Zhongjian WANG,Kenji ARAKI,Koji TOCHINAI.A Word Segmentation Method with Dynamic Adapting to Text Using Inductive Learning[A].In:Proceedings of the First SIGHAN Workshop on Chinese Language Processing[C].2002.113-117.
[2]王开铸,李俊杰,吴岩.无词典自动分词的研究[A].陈力为,袁琦主编.计算语言学进展与应用[C].北京:清华大学出版社,1995.
[3]黄萱菁,吴立德,王文欣,等.基于机器学习的无需人工编制词典的切词系统[J].模式识别与人工智能.1996,9(4):297-303.
[4]傅赛香,袁鼎荣,黄伯雄,等.基于统计的无词典分词方法[J].广西科学院学报,2002,18(4):252-255.
[5]Xiaopeng Tao,Shuigeng Zhou.Chinese Word Segmen-tation Without Auxiliary Data[A].Maosong Sun,Tianshun Yao,Chunfa Yuan.In:Advances in Compu-tation of Oriental Languages[C].Beijing:Tsinghua University Press,2003.88-94.
[6]Sun Maosong,Shen Dayang.,Hang Changning.Deri-ving Chinese Lexicons from Large Corpora[A].In:NLPRS-95[C].Taejon,Korea,1995.
[7]冯冲,陈肇雄,黄河燕,等.基于Multigram语言模型的主动学习中文分词[J].中文信息学报,2006,20(1):50-58.
[8]金翔羽,孙正兴,张福炎.一种中文文档的非受限无词典抽词方法[J].中文信息学报,2001,15(6):33-39.
关键词:人机交互 体感 Kinect
中图分类号:TH789 文献标识码:A 文章编号:1007-9416(2013)09-0065-02
1 前言
计算机的发展历史,不仅是处理器速度、存储器容量飞速提高的历史,也是不断改善人机交互技术的历史。ACM图灵奖1992年获得者、微软研究院软件总工程师ButlerLampson在题为“二十一世纪的计算研究”报告中指出,“计算机有三个作用:第一是模拟;第二是计算机可以帮助人们进行通信;第三个是互动,也就是与实际世界的交流”。
人机交互(Human Computer Interaction,HCI)是研究人、计算机以及它们间相互影响的技术。人机交互技术,如鼠标器、窗口系统、超文本、多媒体等,已对计算机的发展产生了巨大的影响,而且还将继续影响全人类的生活。人机交互技术是当前信息产业竞争的一个焦点,世界各国都将人机交互技术作为重点研究的一项关键技术。
2 发展阶段
人机交互的发展历史,是从人适应计算机到计算机不断地适应人的发展史。
20世纪40年代到70年代,人机交互采用的是命令行方式,用户采用键盘输入信息,以文本编辑的形式与计算机进行交流,这是第一代人机交互。这种交互方式的信息量十分有限,效率与易用性都比较低,而且对交流技术的要求也较高,使用者需要经过相当时间的学习培训。
到20世纪80年代初,出现了图形用户界面方式,并直接引发了桌面式操作系统的蓬勃发展,引入了鼠标这一划时代的交互设备。图形用户界面简洁而直观,效率和易用性都有了很大的提高,降低了对使用者的技术要求。
进入90年代,多媒体技术的发展使得人机交互进入了一个信息量迅速增长的时代,计算机界面输出更加动态,二维图形/图像及其它多媒体信息的方式,有效增加了计算机与使用者沟通的渠道。
图形技术的飞速发展说明,对于终端应用层面,使处理的数据易于操作并直观是十分重要的问题。人类之间交互的方式都是基于三维空间的,无论是命令行方式,图形界面方式还是多媒体方式,它们在实质上都属于基于二维空间精确信息的人机交互模式,不够自然、形象、直观。以人为中心、自然、高效将是发展新一代人机交互的主要目标。
3 新一代人机交互技术
多通道交互(Multi-Modal Interaction,MMI)是近年来迅速发展的一种人机交互技术,它既适应了“以人为中心”的自然交互准则,也推动了互联网时代信息产业(包括移动计算、移动通信、网络服务器等)的快速发展。MMI是指一种使用多种通道与计算机通信的人机交互方式通道(modality)涵盖了用户表达意图、执行动作或感知反馈信息的各种通信方法,如言语、眼神、脸部表情、唇动、手动、手势、头动、肢体姿势、触觉、嗅觉或味觉等,采用这种方式的计算机用户界面称为“多通道用户界面”。
在多通道交互技术中、发展最快、应用前景最广的是人体动作感应技术,简称体感技术,包括手势识别,面部识别,肢体识别及眼动追踪等。体感技术实现的方式主要是以红外/激光/可见光等方式追踪使用者的物理特征变化,并转化为响应的数字信号。目前发展较为成熟、应用相对较多的是手势及肢体识别技术。本文以微软公司最新推出的民用级体感设备Kinect为例,重点探讨基于体感技术的人机交互环境。
4 Kinect的技术特点
Kinect是微软基于Windows平台打造的一款运动感知输入设备,作为一款体感外设,它实际上是一个采用全新空间定位技术(LightCoding)的3D体感摄像头,利用即时动态捕捉、影像辨识、麦克风输入、语音辨识等功能,允许使用者使用身体姿势和语音命令通过自然用户界面技术与计算机交互,从而完全摆脱了传统输入设备的束缚。
Kinect的主要配置有:双RGB摄像头:提供红、绿、蓝三颜色通道,主要作用在于动作追踪;深度传感器:深度传感器由红外线投影机加单色CMOS传感器组成;多点阵麦克风:主要功能是为了聊天以及语音命令识别,并可以帮助过滤环境噪声;定制处理器和微软的定制软件:所有硬件都由微软设计的软件控制。
4.1 智能模糊建模
传统计算机编程基于一系列的规则,结果也很简单:是与不是,非A即B。在为输入输出数目有限的简单系统建模时,这种方式简单而有效。然而真实世界并不仅仅有“是”与“不是(非)”,还有“似是而非”,有“也许是”,还有“也许不是”,我们无法用简单的二元方式来定义真实世界。以挥手为例,这一简单动作对计算机判定来说,具有非常多的影响因子:手挥动的幅度,背景环境差异,现场光照的明暗,衣服质地的不同,体型差异造成的动作差异等。为此,我们必须用新的编程方式来教会计算机以更接近人脑的方式来解决问题,即智能模糊建模。
对于人类来说,当你遇到一个人的时候,你的大脑立即将注意力集中在他身上,并根据经验辨识出他的身份。这一过程并不是通过数百层的决策树来实现,而是人脑通过海量的学结推断出的。Kinect以类似的方法被创造出来。它观察身边的世界,它注意观察并不停学习你的动作。即使Kinect从来没见过你挥过手,也能很快地从它学习过的TB级数据中猜测出你所做动作的含义。
4.2 传感方式
Kinect所采用的是光编码技术,顾名思义就是用光源照明给需要测量的空间编上码,其本质仍是结构光技术。它通过红外线投影机将空间划分为连续的的数百个约10cmX10cm大小的格子,每个格子都有其唯一的编码,当人体在空间中移动时,划过的相应的格子,传感器就会捕捉到对应的编码值,将这些数据导入计算机中进行插值处理,即可得到相当精确的人体移动的速度、角度、范围等三维信息。
与此同时,Kinect的双摄像头会对场景进行实时记录,对得到的图像进行像素级评估,来辨别人体的不同部位。通过优化的智能算法,Kinect将人体从背景环境中区分出来,并最大限度的减少外界环境的干扰,如光照条件、衣物、发型、身高体型差异等,从噪音中提取出有用信号。
4.3 动作数据转化
通过图像信息和三维空间数据的整合处理,使用者图像的每一个像素都被传送进一个辨别人体部位的机器学习系统中。随后该系统将给出了某个特定像素属于哪个身体部位的可能性。将所有的这些可能性输入到接下来的处理流程中并且等到最后阶段进行判断。通过所有数据的全面对比计算,Kinect可将人体分为20个主要节点,并依此描绘出骨骼模型,目前其可以主动追踪最多两名使用者的全身骨架,或者被动追踪最多四名玩家的形体和位置。
5 应用前景分析
体感技术相对于传统的交互手段,交互方式更加自由,而且发出指令的形式也更多样,只要在系统中把动作与相应的计算机操作一一对应即可。例如,在演示图片时,双手分开视为放大操作,反之,双手合拢即为缩小操作,同样,模仿翻书手势的左/右挥手即为翻页命令,等等。对于某些特定场合,如手术中的医生,其非接触式的操作方式更是非常方便。
体感技术还具有贴近人类自然行为的操作特点。目前仿真机器人的发展非常迅速,但对于拥有数个关节和驱动电机的仿真机械手臂,传统的手柄加按键的控制方式极为繁琐,对于使用者的技术要求也很高。如采用体感交互技术,使用者就不是在操作机械手臂,而是机械手臂在模仿学习人类的行为动作,方便程度不言而喻。
体感交互技术还可与三维显示技术结合,营造更加完善的虚拟现实体验环境,使沉浸感与交互性都进一步加深。无论是三维环幕立体投影或是头戴式显示器,使用者通过体感技术摆脱了传统的操作手段,从而能够用更贴近现实世界的方式去控制计算机,为虚拟现实技术的应用提供了更多的可能性。
6 结语
本文介绍了人机交互发展的过程,分析了作为新一代的人机交互方式之一的体感技术,其自身拥有的独特优势,并以微软Kinect为例,介绍了基本的技术原理,认为体感技术具有良好的应用和发展前景。目前下一步的研究重点在于如何使用体感技术实现复杂的计算机命令,以及优化动作识别的效率与精确度,从而提高体感技术的实用价值。
参考文献
[1]谭剑波.张光刘.李琳.体感设备与被动立体相结合的人机交互方法研究[J].合肥工业大学学报:自然科学版,2011,34(2):252-254.
[2]柳克俊.关于人机交互人机和谐环境的思考[J].计算机应用,2005,25(10):2226-2227.
关键词:人机交互 课程教学 课程情况
中图分类号:G642 文献标识码:A 文章编号:1674-098X(2014)10(c)-0109-01
在过去的30年中,人机交互是个快速发展、并飞速进步着的研究领域,新式的人机交互系统已彻底改变了我们使用电脑的方式。人机互动发生于使用者与电脑之间的使用平台上,这种互动包括了软件与硬件两方面,例如:个人电脑屏幕上显示的字体、物件;使用者使用硬件比如键盘、鼠标所发出的信号,还有其他大型的电脑人机交互系统,比如飞机上的仪表板、或是发电厂的控制室,等等。
电脑机械联盟把“人机交互”定义为这样一个学科:设计、评估、实现以人类使用为目标的交互电脑系统,以及其相关的各式主要现象。值得注意的一点是,人机交互的一个非常主要的方面便是保证用户的使用满意度。正因为此,人机交互研究的是一个人与一个机器的沟通,这门学科需要机器与人同时两方面的知识来支持它。在电脑方面来说,需要的技术有电脑绘图、操作系统、电脑编程语言和发展环境等相关知识;而另一方面,从使用者方面来说,需要的学科有:沟通理论、图像和产业设计理论、语言学、社会科学、认知心理学、社会心理学和其他与人类相关的理论,比如说电脑使用者满意度等等。除此以外,工程和设计手法也都是相关的。正因为人机交互的多样性与多学科性,不同背景的不同专家们都对它的成功有着关键作用,也都作出过贡献。
1 美国大学《人机交互》课程教学情况
当今,在欧美电脑发达的大学和研究室里,人机互动都是最热门的课题和课程。在此文中,我们将以美国马萨诸塞州的威斯利学院的《人机交互》课程为例,深入研究探讨美国大学“人机交互”(human-computer interaction)的情况。
在威斯利学院,《人机交互》是一门中级课程,要选该课程的学生必须上过初级的电脑科学课程,才可选上人机交互课程。《人机交互》是一门非常热门的课程,通常只有大三大四学生才能够幸运选上。
1.1 《人机交互》课程前期课程要求
由于此项课程是中级课程,学生们必须完成了以下四门课程中的一项才能注册:CS110、CS111、CS112或者CS117。CS110是最基础的电脑入门课程,介绍了电脑、网络、信息显示和一些简单的编程技术。CS111是电脑编程和问题解决,这节课向学生们介绍了Python程序设计语言,并且为学生们奠定了整个大学电脑课程的基础。CS112的名称为“科学中的电脑运算”,这门课程专为科学和数学专业的学生而开设,尤其是需要在科学研究中运用到电脑,例如MATLAB的学生。CS117则是另一个领域的基础课程,它的全名为发明移动应用程序,对于手机应用程序的编程感兴趣的学生可以考虑以这门课作为他们电脑专业的起点。完成过这四门课程中的任意一门的学生若对人机互动有兴趣,都可以选上《人机交互》课程。该校的《人机交互》课程分两个级别:首先是初级的入门级课程,在上完这节课后,有兴趣的同学还能选择更高一级别的同类课程。此处我们研究的是入门级的《人机交互》课程。
1.2 入门级的《人机交互》课程的内容
初级课程包含了基本的手法、理论,和一些适用于设计、编码和试验互动系统的工具。课程涵盖的主题包括了实用性、可负担性、以人为本的设计、人体认知和物理工程学、信息和互动基础、互动式样、互动技巧和以移动互动模式为重点的人机互动软件工具,除此之外,此课程也回顾了人机交互的最新发展状况,包括了新兴的互动方式(例如移动互动,真实感,可触摸人机互动,和普适计算等),和多样化的互动技巧(例如利用声音、手势和眼球的移动)。
1.3 《人机交互》课程的教学安排
《人机交互》上课的课程内容安排是由教授上课、上机实践、课后答疑、学术界相关人士客座讲座等形式构成。
每周有两次各70 min的课程,由教授主讲,每节课老师都会定一个主题,老师上课用PPT形式展示内容,学生也都会拿到相对应的讲义,便于学生做笔记。老师上课以讲解为主,但是也鼓励学生们如果有任何不懂都可以随时打断老师,问问题。这每周两节课是学生吸收新知识的主要来源,学生在上课前都应读好相对应的阅读,做好准备,这样老师上课时能更好得吸收新知识,而不会一头雾水。学期中也穿插了几次机房上课让学生实践,在机房课中也会有两个学生助教来帮助学生,因为学生对于相关知识大多是第一次接触,所以有比较多的疑问,或是在操作过程中碰到许多问题。课后老师每周有数小时的办公室开放时间,学生可去问问题,也可与老师邮件沟通,或另约时间会谈。
除此之外,一学期中会有两到三次的客座讲座,教授会尽力请来学术界或是业界相关人士来替学生们演讲,学生们都会抓紧这个机会去向专业人士学习,也会向专业人士展示自己的学术课题,征询专业人士的建议。这些客座讲座对学生来说是非常珍贵的机会,是学生们拓展交际圈的宝贵机会,有的学生也可由此机会拿到暑期实习机会。
1.4 《人机交互》课程的阅读和作业要求
此课程对阅读材料也有相当多的需求,不仅有必备的一本课本:《设计应用界面》,还有许多辅助的阅读材料。对于手机应用程序编程不熟悉的学生需要自行学习HTML编程语言。除此之外,在每周两次的例行课程上,教授都会布置其他的辅助阅读。
这门课程一学期设有四个独立的作业,帮助学生从概念上、技术上同时探索人机交互系统。除此以外,该课程还有一个大型的期末项目,需要学生以团队为组织,设计、完成并且分析一个完整的移动用户界面。教授将在学期初分配好学生小组。每一个小组,在完成这个移动用户界面时,都要完成以下几个重要的要求。首先,找到一个问题,并在后续编程的过程中,努力解决这个问题。接下来进行的便是创新移动用户界面的概念性设计,在此阶段中,学生们会借助画草图、情节串联图版和行为说明书等辅助的设计手法来帮助完善小组的设计。第三步,在有了明确的概念后,学生们便会使用HTML,CSS和JavaScript来建造他们的应用程序,这个过程将会是比较冗长、重复的过程,因为学生们将围绕重复设计、建造、然后评估这三个步骤很多次。最后,学生们需要建立一个简易的网站,在网站中用照片、视频、示意图和文字来展示他们的项目成果。这个网站会被收入该校的人机交互网上集锦。而在学期的最后一天,老师会组织一个开放日,欢迎全校各界人士来听本班学生汇报项目成果。除了以上提到的这些作业、项目,这门课程还会有期末考试,期末考试是开卷形式,囊括了一学期课间阅读材料以及讲座中所提到的各个话题。
关键词 单片机;MSP430;LCD;人机交互接口
1 引言
在当今的各种实时自动控制和智能化仪器仪表中,人机交互是不可缺少的一部分。一般而言,人机交互是由系统配置的外部设备来完成,但其实现方式有两种:一种是由MCU力口驱动芯片实现,如键盘显示控制芯片SK5279A,串行数据传输数码显示驱动芯片MAX7219等等,这时显然MCU没有LCD的驱动功能。另一种就是MCU本身具有驱动功能,它通过数据总线与控制信号直接采用存储器访问形式或I/O设备访问形式控制键盘和LCD实现人机对话。这里的MCU主要有世界各大单片机生产厂商开发的各种单片机,其中TI公司的MSP430系列因其许多独特的特性引起许多研究人员的特别关注,在国内外的发展应用正逐步走向成熟。
2 LCD简介
LCD(Liquid Crystal Display),即液晶显示器。液晶显示是通过环境光来显示信息的,它本身并不发光,因而功耗很低,只要求液晶周围有足够的光强。LCD是人与机器沟通的重要界面,早期以显像管(CRT/Cathode Ray Tube)显示器为主,但随着科技不断进步,各种显示技术如雨后春笋般诞生。LCD由于具有轻薄短小、低耗电量、无辐射危险、平面直角显示以
及影像稳定不闪烁等优势,逐渐占据显示的主流地位。
LCD的类型,根据其分类方式的不同而不同。如根据LCD显示内容的不同可以分为段式LCD和点阵LCD。根据LCD驱动方式的不同可以分为静态驱动和多路驱动。
3 MSP430F44X简介
MSP430F44X系列是TI公司最新推出的具有超低功耗特性的Flash型16位RISC指令集单片机[2]。该系列单片机性价比相当高,在系统设计、开发调试及实际应用上都表现出较明显的优势。它主要应用在各种要求极低功率消耗的场合,特别适合用于智能测量仪器、各种医疗器械、智能化家用电器和电池供电便携设备产品之中。
3.1 系统结构
MSP430F44X的系统结构,主要包括:CPU、程序存储器(ROM)、数据存储器(RAM)、FLL+时钟系统(片内DCO+晶体振荡器)、看门狗定时器/通用目的定时器(WatchDog)、ADCl2(12位A/D)、比较器A(精确的模拟比较器,常用于斜边(Slope)A/D转换)、复位电压控制/电源电压管理、基本定时器(Basic Timerl)、定时器(Timer-a和Timer-B)、LCD控制器/比较器(多达160段)、硬件乘法器、I/O口和串行口[4]。系列中各种具体的型号稍有差别。在本次设计中,具体选择MSP430F449作为人机接口电路的设计具有许多独到的优势。这一点,读者可以根据TI公司相关的数据手册进行比较。
3.2 片内外模块特性
MSP430F44X具有丰富的片内外围模块,其明显的特点是:具有48条I/0口线的6个并行口P1-P6,其中P1、p2具有中断能力,同时具有2个可用于UART/SPI模式选择的串 行口 (USART0和USARTl); 内含12位的A/D转换器ADCl2,快速执行8×8、8×16、16×16乘法操作并立即得到结果的硬件乘法器;多达160段的LCD控制器/比较器,可以实现多种方式的驱动显示;可以实现UART、PWM、斜坡ADC的16位Timer-A和16位Timer-B;非常灵活的时钟系统,既可用32768Hz的钟表晶振产生低频时钟,也可以用450kHz-8MHz的晶体产生高频时钟,同时还可以使用外部时钟源或者用不同控制频率的DCO;多达几十kB的Flash空间,这样数据既可以保存在片内的Flash信息存储器,也可保存在程序的Hash中的剩余空间。
4 接口电路设计
4.1 接口电路简图及说明
典型应用电路示意图。在该图中,LCD类型和键盘种类及数目的选择、下拉电阻的数值大小都必须认真考虑,硬件设计要满足一定的工作时序关系,复位时预留缓冲时间和悬空部分引脚,晶振的选择要在适当的数值,必须保证交流驱动的频率在30Hz-1000Hz范围内,其具体的情况请详细参考TI公司的相关资料[3]。
4.2 段型液晶显示屏EDS820A简介
一般而言,LCD分为笔段型和点阵字符型及点阵图形型。笔段型主要是显示数字,常用于计数、计量和计时;点阵字符型用于显示数字和西文字符;点阵图形型用于显示图形及字符。本设计中用到的EDS820A就是由西安新敏电子科技有限公司生产的笔段型LCD。是该显示屏的各个引脚的逻辑功能表。
显而易见,该产品EDS820A是5位的液晶显示屏,它只有4个DP,用于显示小数点;COM端也只有一个,所以该LCD与MSP430F449的管脚连接应该引起足够重视.
5 软件设计
硬件连接电路图为例,编写了键盘控制及显示程序,程序在IAR Embedded Workbench编译通过。全部主程序包括详细的发射和接收子程序,及初始化和等待键盘输入转换、显示等等,值得注意的是发射与接收的控制要适当。
该程序是用汇编编写的。程序实现的是等待按键输入,读取键值,最后进行键值处理和显示的功能。
检测是否有键按下是通过KEY是否有高电平信号。平时,KEY为低电平,当有键按下时为高电平,它发送一个脉冲给单片机MSP430F449,当单片机检测到该信号时,判断按键的功能,从而进行相应的处理。
6 人机接口电路在体内电刺激器中的应用
医学上,在进行疾病控制时,通常可以通过电极以一定波形(如方波、正弦波等)、频率、幅度、占空比等电信号对神经或肌肉进行刺激,以使其支配相应的功能或肌肉产生收缩/舒张动作,从而有利于症状的减轻。由于不同部位的神经或肌肉对电刺激发生的敏感水平不同,不同强弱和不同性质的电信号所产生的刺激效果是不一样的。我们研制的体内电刺激器,可以产生手术时所需要的具有不同的频率、幅度、占空比的不同波形信号。该仪器幅度、占空比准确,频率稳定,各参数均可以精确的调节。而且,由于使用了LCD显示,它与单片机的连接简单。LCD具有质量轻、体积小、电压低、功耗小、显示内容丰富等优点,其人机界面相当友好。但人机接口电路设计的优劣直接影响到整台仪器的使用效果。
根据需要,我们设计了5个键。这里,S1表示波形的振幅,S2表示波形的频率,S3表示波形的占空比,S4为+1键,S5为-1键。通过54,S5可以调节波形的各个参数值。其中,振幅可以是在一个参考值的基础上的0-99.9%;频率可以是1Hz-999Hz;占空比调节范围可以为1.0%-99.9%[1]。
关键词:GIS;;人机交互;监控;管理
中图分类号:TP393 文献标识码:A文章编号:1009-3044(2011)22-5480-04
Research of Human-machine Communicative Technology in the Information System Based on WebGIS
WANG Rong-hao1, WANG Chuan1, CHEN Dong-hao2, YANG Qi-liang1
(1.Engineering Institute of Engineering Corps, PLA University of Science and Technology, Nanjing 210007, China; 2.Engineering Institute of NorthSea, Qingdao 266012, China)
Abstract: This thesis develops the WebGIS-based human-machine communicative system that can monitor, manipulate and administrate devices or infrastructure in the information system by means of using the technology of and GIS and integrating effectively the strategies of client-side and server-side. The purpose of the system is to make it possible to not only realize the functions of resizing the map and navigation but also show the current information of the devices or infrastructure and at the same time monitor them.
Key words: GIS; ; human-machine communicative; monitor; administrate
1 研究背景
在工程信息化建设和管理中,我们需要及时掌握工程所在处的地理信息、工程内部设备位置、工程中摄像头监控等信息。如果采用C/S技术,则需要客户机上安装客户端应用程序才能够完成各种功能,这给我们带来很大的不便。B/S结构最大的优点就是可以在任何地方进行操作而不用安装任何专门的软件。B/S架构的软件只需要管理服务器就行了,所有的客户端只需安装浏览器,根本不需要做任何的维护。只要有一台能够上网的电脑或者能连接到网络的PDA设备甚至手机就能使用,客户端零维护。系统的扩展非常容易,只要能上网,再由系统管理员分配一个用户名和密码,就可以使用了。
WebGIS技术是基于Web的地理信息系统,在实现实时监控和实时道路信息方面有着良好的用户体验和可视化效果。用过Goolgle地图的人就会发现WebGIS的便捷性和有效性。使用B/S策略开发基于Web的GIS系统,使管理者和决策者随时随地掌握工程现场的各种道路信息、设备信息、监控信息等,方便其及时做出决策。
2 系统功能设计
WebGIS的开发技术很多,我们用MapInfo公司开发的基于MapXtreme技术来设计WebGIS软件以完成所需的功能。MapXretme平台提供了一个高度可视化的、直观的组件,便于将地图功能集成到任何Web应用中,可以和.NET平美结合,可以支持在一个集中管理的服务器上运行地图应用,降低了硬件和管理成本,同时极大地提高了应用性能、可靠性和安全性。
1)地图
将矢量地图通过MapXtreme技术转化成GIF或者其他栅格图像,使用户可以通过www浏览器访问地图。MapXtreme支持java,可以完成多平台的地图缩放、平移操作。由于传递到客户端(浏览器端)的只是一幅经过高度压缩的栅格图像,而真正的矢量图像仍保留在服务器端,减少了网络传输负担,并且降低了原始数据被盗用的可能。
2)信息可视化
通过地图表达声音、图像、文字等信息,直观而且信息量丰富。
3)MapXtreme的地图化功能
① 专题图:利用晕渲、等级符号、独立值、点密度、饼图、直方图进行区域值的显示;
② 对象处理:合并、缓冲、相交、删除对象(点、线、面)、返回结果数据;
④ 绘制图层:允许开发人员绘制定制的地图对象,如尺标、天线传送方向箭头;
⑤ 查找:通过州名、ZIP码、城市名、街道名或客户名进行查找;
⑥ 广泛的数据源:使用通用的数据界面,包括ODBC、DAO、ClipBoard和OLE Data界面访问数据。
通过MapXtreme,用户可以在Web上基于电子地图的应用系统。所有的最终用户只需要安装浏览器即可访问服务器端的数据,用户可以很方便的对地图进行放大、缩小、漫游、查询、统计等操作。此外,MapXtreme还提供了许多强大的地图化功能,满足用户的不同层次的需要,包括:专题图、缓冲区分析、对象(地图)编辑、绘制图层、查找、直接读取LotusNotes、图层控制、空间选择、访问各种数据源等。
3 系统实现
单纯的服务器策略和客户端策略都有明显的局限性。当服务器策略涉及频繁的数据传输时,它们的效率受到网络宽带和网络负荷的严重影响。而在客户端策略中,当处理请求和处理能力不一致时,受计算能力的影响,某些任务可能运行缓慢,甚至根本无法完成。服务器端策略和客户端策略的有效组合则可以为问题的解决提供一个很好的方案。当涉及大量的数据操作和复杂分析任务时,可以让计算能力很强的服务器来处理。当涉及用户交互较多的任务时,可以用客户机进行处理。在这种情况下,服务器和客户机可以共享它们的性能和数据处理能力,从而合理的分配数据处理程序,使系统的整体性能最优。
1)地图制作
将图片光栅化后作为地图的底图。栅格图像转化为矢量图,将栅格图像进行配准,确定地图上各点的经纬度。然后根据图像配准布局地图,在栅格背景图的基础上通过MapInfo的画图工具做出各个图层,如道路,水路,植被等。
2)事件图层的管理控制
将事件信息写入地图的表中,在主程序中通过编写代码实现事件信息的查询、触发等。
3)优化WebGIS运行速度的方法
① 对每个图层设置Zoom范围;
② 启用COM+的Session池;
③ 启用Cache;
④ 用文件方式存储地图数据,将地图.tab文件存储在.mws工作空间当中。
4 关键技术
1)地图加载及放大、缩小、拖动等功能的实现
private Map GetMapObj(string mapAlias)
{ Map map = null;
if (mapAlias == null || mapAlias.Length
{ map = MapInfo.Engine.Session.Current.MapFactory[0];
}else
{ map = MapInfo.Engine.Session.Current.MapFactory[mapAlias];
if (map == null) map = MapInfo.Engine.Session.Current.MapFactory[0];
} return map;
}
private bool IsDirtyMapXtremeSession()
{ return (MapInfo.Engine.Session.Current.CustomProperties["DirtyFlag"] != null);
}
private bool IsUsersFirstTime()
{ return (HttpContext.Current.Session[StateManager.GetKey("Zoom")] == null);
}
public static void BeginRequest(System.Web.SessionState.HttpSessionState session, string mapAlias)
{ if (StateManager.GetStateManagerFromSession() == null)
{
StateManager.PutStateManagerInSession(new AppStateManager());
MapInfo.WebControls.MapControlModel controlModel = MapControlModel.GetModelFromSession();
}
StateManager.GetStateManagerFromSession().ParamsDictionary [StateManager.ActiveMapAliasKey] = mapAlias;
StateManager.GetStateManagerFromSession().RestoreState();
} public static void EndRequest()
{
StateManager.GetStateManagerFromSession().SaveState();
} #endregion
}
2)基于MapXtreme的鹰眼技术
鹰眼是除了主视图外的一个小视图窗口,用来显示全图,并用1个矩形表示大图的地图边界。点击鹰眼窗口时,地图自动定位到相应位置,当地图视图(包括缩放比例和中心)发生变化时,鹰眼上的导航矩形框相应变化,以指示用户当前所处的位置。
鹰眼的实现思路:在同一页面表单上放置2个MapControl控件,分别为地图主窗口(mainMapControl)和鹰眼窗口(overviewMapControl),地图主窗口用于显示实际的地图,鹰眼窗口则需要将地图按合适的比例尺显示,然后在鹰眼窗口上创建1个图层,在该图层上添加1个矩形对象FeatureGeometry,该矩形的大小随着主图边界而变化。由于两个窗口的大小不同,需要经过1次比例转换,因此首先定义1个setView( )方法,该方法用于实现地图数据自适应任意大小地图窗口。当地图主窗口中的图形被缩放或者平移之后,在鹰眼窗口已有图层中加入1个临时层,在临时层上动态生成1个蓝色矩形,显示地图主窗口中显示的图形在整体地图中所处的位置。
系统中鹰眼功能的具体实现步骤如下:
① 判断用户是否对主地图窗口进行了缩放或平移操作,若没有变换则鹰眼窗口内容不变,若有变换则获取主地图窗口显示的地图范围。然后创建1个矩形对象并设置其颜色和宽度属性,创建窗口样式并设置样式属性;
② 判断鹰眼窗口的图层中是否已经存在临时图层,若存在则先清空临时图层中的所有对象;若不存在则创建1个临时图层并将临时图层加入到鹰眼窗口图层中;
③ 将矩形对象插入临时图层。到此系统即完成了鹰眼窗口的地图视图变换。
④ 通过让 Overview(概览图)和主地图使用相同的地图,我们可以将服务器上的计算负载降低到最低限度;仅在内存中保存一个地图可以降低应用程序的内存占用率,只有在地图发生更改时才需要渲染两次,一次用于渲染主地图,一次用于渲染概览图。
3)鼠标中键缩放功能的实现
MapXtreme 2008中,在Windows应用程序中自带鼠标中键缩放的功能,而在Web应用程序中却没有,如果能够实现会显得更加人性化。根据MapXtreme平台的组件开发技术原理,编写代码如下:
① 在页面的之前添加如下JavaScript代码:
function map_image()
{ var Img = document.getElementById("MapControl1_Image");
if (Img != null)
{ Img.attachEvent('onmousewheel', GetMouseWheelEvent());
}
}function GetMouseWheelEvent()
{ var mapImage = document.getElementById("MapControl1_Image");
var url = "MapController.ashx?Command=WheelZoom&Width=" + mapImage.width + "&Height=" + mapImage.height+ "&ExportFormat=" + mapImage.exportFormat + "&Ran=" + Math.random() + "&wheelvalue=" + event.wheelDelta;
if (mapImage.mapAlias)
url += "&MapAlias=" + mapImage.mapAlias;
try
{mapImage.src = url;
}
catch (e)
{ alert("Error!");
}}
② 在自定义的后台代码文件EagleEyes.cs中添加如下类:
[Serializable]
public class WheelZoom : MapBaseCommand
{ public WheelZoom()
{
Name = "WheelZoom";
} public override void Process()
{ int wheelvalue = int.Parse(System.Convert.ToString (HttpContext. Current.Request["wheelvalue"]));
MapControlModel model = MapControlModel. GetModelFromSession();
model.SetMapSize(MapAlias, MapWidth, MapHeight);
try
{MapInfo.Mapping.Map map = model.GetMapObj(MapAlias);
MapInfo.Geometry.Distance d;
if (wheelvalue > 0)
{d = new MapInfo.Geometry.Distance(map.Zoom.Value * 0.9, map.Zoom.Unit);
}else
{d = new MapInfo.Geometry.Distance(map.Zoom.Value * 1.1, map.Zoom.Unit);
}map.Zoom = d;
}
finally
{ System.IO.MemoryStream ms = model.GetMap(MapAlias, MapWidth, MapHeight, ExportFormat);
StreamImageToClient(ms);
}} }
③ 在页面加载处注册Command:
if (Session.IsNewSession)
{MapInfo.WebControls.MapControlModel controlModel = MapControlModel.GetModelFromSession();
mands.Add(new GetOverviewMapCommand());
mands.Add(new Info());
mands.Add(new WheelZoom());
}
4)地图视频监视事件的实现
将设备信息写入到地图文件中,自定义信息查询组件,当鼠标单击信息工具时获取图元的各种信息并显示。信息查询组件的开发技术原理与鼠标中键缩放功能的组件开发技术原理大体一致,这里不再赘述。
5 总结
本文介绍了利用MapXtreme技术和.NET平台开发信息化WebGIS系统的流程,实现了地图鹰眼、鼠标中键缩放、实时监控、设备信息监控等功能,详细阐述了实现过程中的关键技术,所开发的系统为管理和决策者提供了实时信息,方便其快速准确地做出决策。
参考文献:
[1] 王桥,张宏,李旭文,等.水资源地理信息系统[M].北京:科学出版社,2004.
[2] 孟令奎,史文中,张鹏林,等.网络地理信息系统原理与技术[M].北京:科学出版社,2005.
[3] 张建新,赵黎民.基于3S技术的县级土地利用数据库建设[J].国土资源科技管理,2008,25(4):67-70.
[4] 2.0揭秘[M].北京:人民邮电出版社,2007.
[5] Karli.C#入门经典[M].3版.北京:清华大学出版社,2006.
[6] 哈特 2.0经典教程[M].北京:人民邮电出版社,2007.
摘要: 介绍了自20世纪90年代以来,科学技术蓬勃发展,国际交流频繁,全球经济文化相互依赖增强。多媒体人机交互技术发展迅速。同时,在产品设计领域以及产品展示和销售方面也起到了很大的作用。针对产品设计中的多媒体人机交互的主要交互方式,包括了网络虚拟的交互方式和多媒体、多通道的智能人机交互方式。以及这些交互方式中所存在问题做了详细分析。通过现有的这些人机交互技术的分析研究,提出了多媒体人机交互技术在产品设计领域未来的发展方向及发展趋势。
关键词: 多媒体;人机交互;产品设计;网络虚拟;多通道
中图分类号:TP39 文献标识码:A 文章编号:1006-4311(2012)22-0185-031 概述
人机交互技术,又称为人机互动技术(Interaction Design),它为人类与计算机之间的信息交流开辟了一条新的沟通渠道,从计算机技术的出现到今天数字媒体技术普及盛行。人机交互技术已经发生了质的飞跃。尽管仍在广泛使用的图形图像用户界面,在操作直观性上有了显著提升,但用户仍是在外部观察和操作。以计算机为中心,让用户适应计算机的这种传统的交互模式并没有改变。多媒体技术被认为是在智能用户界面和自然交互技术取得突破之前的一种过渡技术。在人机交互过程中,多媒体的强大主要体现在它能提高用户对信息表现形式的选择和控制能力,同时,在表现形式与人的逻辑创造能力上高度结合。因此,多媒体人机交互技术是多媒体技术和人机交互技术的完美结合,传达信息的多样化和通过多种输出、输入设备与计算机进行交互是多媒体人机交互技术的所要解决的问题。早在多媒体人机交互设计这个概念被提出之前,产品设计在企业品牌争夺产品市场的竞争中已经发挥着不可替代的作用。随着计算机技术的应用和普及,市场上的产品也越来越智能化、复杂化,功能不断的累加和集成,消费者因此产生了很多认知上不必要的错误,当人们感觉到简单的界面不能满足人的消费需求的时候,多媒体人机交互技术作为一个独立的设计阶段出现。早期的多媒体人机界面主要是通过丰富的信息表现形式拓宽计算机到用户的通信带宽,在此之后,人机交互设计开始备受关注。人机交互技术既可以理解为人与计算机的交互,也可以理解为人与包含计算机的产品之间的交互。现在,视线跟踪、语音识别、手势输入、感觉反馈等新的交互技术直接影响着产品和用户的交互方式,有助于提高人机交互的效率和用户友好性,将产品设计和产品展示引向更高的境界。
2 产品设计领域中人机交互的主要方式
多媒体人机交互的过程是用户通过人机界面向计算机输入指令,计算机经过处理后再把结果反馈给用户的过程。为了使人机交互变得更方便,更快捷,更人性化,满足不同消费人群的需求,发展出了多种不同的输出、输入形式,这也大大地丰富了人机交互的方式。从早期的面板开关、显示灯和穿孔纸袋等交互装置,到今天的视线跟踪、语音识别、手势输入、感觉反馈等具有多种感知能力的交互装置,从发展史的角度上来说,多媒体人机交互技术的发展经历了五种交互方式,它们分别是:手工操作、命令语言、图形用户界面、网络虚拟的人机交互、多媒体(多通道)的智能人机交互,但从介入产品设计的领域来说,在其中起着辅助设计和产品展示作用的是网络虚拟的人机交互方式和多媒体(多通道)的智能人机交互方式。
2.1 网络虚拟的交互方式 目前,在网络上广泛应用的虚拟交互方式就是广告和网上购物,通过网络上提品信息,可花费很少的额外投资,加强现有广告的功效。向在线的产品目录和产品介绍中添加一些多媒体内容,可以使用户对产品产生兴趣,从而增加销售量和产品知名度。[1]
以超文本标记语言(HTML)及超文本传输协议(HTTP)为主要基础的网络浏览器是网络用户界面的代表。这类人机交互技术有着发展快,新技术不断出现的特点,如搜索引擎、网络加速、网络动画,产品的Web3D等。网络虚拟的交互方式可以表现出产品的形态、颜色、材质、功能信息和操作等方面的详细信息,还具有实时交互的特征。用户可以从多种视角来观察产品的三维图像,并且有选择性的筛选产品的设计款式,获得需要的产品信息。网络虚拟的交互方式支持三维显示时,可以实现多种的交互行为,例如消费者可以通过网络界面的选项给产品更换颜色、材质、配件等,还可以模拟产品的操作,如旋转按钮、放大、打开或组合部分结构等,能体验到产品设计中的很多细节。例如通用汽车的网络虚拟展示,用户可以操作按钮进行360度旋转,观看汽车的设计模型。还能为汽车更换自己想要的颜色,打开车门,进入到车厢的内部,全方位的体验驾驶的视野、驾乘的空间等。网络产品虚拟展示技术是运用网络3DVR技术而实现的,一些相关软件可以支持3D模型的实时显示,如Cult3D、ViewPoint、Live3D、Viscape等。通过这些软件进行交互行为的设定。总的来说,网络虚拟展示仍是一种平面的3D显示。要想使产品达到可使用、触摸、感觉的真实虚拟人机交互效果,需要使用价格较高的立体投影仪、传感器等。
2.2 多媒体(多通道)的智能人机交互方式 产品设计通常会运用到多种表达方法,多通道的智能人机交互方式把产品设计不同的表达形式结合起来,将产品设计的大量信息凝聚在一起,利用多媒体的人机交互优势,用户可以依照自己的需求,选择自己关注的内容进行浏览。基于虚拟现实技术基础上的计算机拟人化和以手持电脑、智能手机为代表的微型化、随身化、嵌入化,是当前计算机的主要发展趋势。多媒体可以集成文字、图形、图像、动画、视频、声音等多种元素,用户通过一定的人机交互界面进行与产品的沟通,如何将丰富的多媒体信息组织并结合在一起,通过设计合理的交互方式,使人们便于使用和沟通,是多媒体智能人机交互的表达重点。这种表达方式可用于产品设计投标、产品广告、产品展示等。对于不同的表达对象,要有选择性的采取不同的多媒体人机交互方式,例如制作产品设计投标用的多媒体人机交互方案,面对的对象是产品企业投资者,在投资者的角度来说,他们更关注产品的市场前景、投入与回报、高科技含量、文化价值等问题,而不希望过多的目录选择,那么在进行多媒体人机交互界面设计时,就要简洁大方的对关注的问题进行阐述;如果是面向消费者的产品设计展示宣传,所交互的对象是广大的消费者,从消费者的角度来说,他们更关注产品的造型、颜色、功能、质量、价格等。消费者可能来自不同的地区、有着不同的文化背景,那么他们有兴趣的问题也不尽相同,为了适合大多数人的需求,在多媒体人机交互界面上要把消费者普遍关心的问题放在显眼位置,并重点介绍。[2]除此之外,还应该提供更多可选择性的交互信息,以便消费者交互阅读。在交互界面设计上要注重趣味性和娱乐性,以引起消费者的关注。利用人的多种感觉通道,以并行、非精确的方式与计算机环境进行交互,可提高人机交互的自然性和高效性。
(华南理工大学工商管理学院工业工程系,广州 510640)
摘要:工程师在设计电梯等复杂产品系统时,很难准确全面地确定各种利益相关者的不同需求,而最终客户需求的全面分析对于开发高附加值的、界面友好的、实用的产品至关重要。面向电梯产品的设计,基于管道管理模型以及图形工具的引入,本文提出一种以人为中心的、面向人机交互密集的复杂产品系统的设计方法,将多种用户多种角色纳入到分析对象中,并进行了三维虚拟人体的分析,将这些角色的偏好及能力转化为产品概念,增强了产品的适用面、舒适性与创新性。
关键词 :以人为中心;复杂产品系统;电梯;设计
中图分类号:TB472 文献标识码:A 文章编号:1006-4311(2015)24-0219-05
基金项目:广东省创新方法工作项目(2013B061000004);广东省创新方法与决策管理系统重点实验室开放课题基金。
作者简介:赖朝安(1973-),男,广西钦州人,副教授,博士,主要研究方向为产品创新、人因工程等。
0 引言
在复杂产品系统的开发流程中,各种利益相关者的需求都应被充分考虑。特别是对于存在密切人机交互的系统,人应该处于系统设计的核心位置,以保证系统可以满足各种使用情况下的需求。在设计界,以人为中心的设计已经成为主流的观点,以至于设计人员经常不加思考地采用。本文基于以人为中心的设计(human-centered design,HCD)进行扩展,引入行为图、基于情景的设计(scenario-based design,SBD)准则,提出一种适合复杂产品系统的设计流程。
HCD是指在设计产品或系统时,将客户置于设计与开发过程的中心[1]。HCD在产品开发过程中发挥重要指导作用。在激烈的市场竞争中,产品成功由客户是否满意决定,而客户满意由客户需求的满足来实现。HCD方法使产品设计与客户需求匹配[2],通过这种匹配提高产品质量、客户满意度与产品成功率。然而,设计与需求的匹配是困难的、不准确的[3]。客户通过使用非技术语言来描述他们的需求。HCD方法需要将技术设计与非技术语言匹配,这种匹配准确度通常比较低。因此,大部份产品并没有与客户需求相匹配。
HCD的缺陷在于,HCD以已经作好技术准备为前提,一旦明确客户需求,可以迅速地完成产品设计并推出市场。另外,以人为中心还缺乏明确的实现途径。Don Norman在ACM通信杂志“交互设计”专栏中写道:“这个世界上的大多数东西都是在没有得益于以人为中心的设计方法的情况下被设计出来的,不过这些东西仍然工作得很好。...最基本的原因就是,在它们被设计时,这些物品所被用来从事的活动是经过深入理解的,这就是以行为为中心的设计”。人的行为才应该是设计的焦点。
HCD已经纳入到ISO标准中。ISO 13407明确定义了HCD的4种主要活动[4]:理解并定义使用情景,定义客户及组织的需求,制订设计方案,并依据需求对设计进行评估。
本文的主要目标是设计一种新型的电梯产品,以支持老人、病人的特殊需求,满足老龄化社会的需要,而相关的支撑技术并未完全具备。
基于以人为中心的启发,具有特殊需要的人群,包括制造商、老人、病人,以及他们的护士等各种人群及其行为过程,被纳入到电梯系统开发的每一步骤中:从电梯系统开发的最早的概念阶段,进行用户的行为分析,直至电梯系统设计的最终评价。
以行为为中心以及SBD是本文依据的另一方法准则。在人机交互领域中,场景已经被作为一种多个系统开发阶段使用的工具,它能帮助所有的利益相关者贡献自己的系统分析、设计与评价意见。
设计师通常使用情景来组织、论证和交流思想。情景作为语言的辅助,描述人的行为,使客户可以融入到设计流程中,并帮助他们确定需求。通过描述多种情景下的各种行为过程,可展现出序列性的需求。在整个设计循环中,描述行为的工具可首先用于描述产品当前使用的目标与需求,然后通过迭代的设计与评估过程转换、提炼设计目标与需求。多情景下的行为描述有助于检验、仿真分析、展示各种可能的设计方案结果。
1 设计流程的思考
通常,客户需求空间向产品设计空间转换的过程会导致信息的丢失。一些产品开发的机制,例如质量功能展开(QFD)关注产品的性能、可靠性、寿命等因素在后续开发过程中的贯彻,但与情感有关的因素由于较难获取与描述,因而在质量功能展开过程中易于被忽略、丢失[5]。
关于开发流程,学术界及管理实践逐渐形成了如下四种观点[6]:门径管理;管道管理;功能-作用原理-结构的映射过程;风险管理系统。
管道管理模型[7]为最主流的观点,它将产品开发流程定义为:产品规划-概念开发-系统级设计-详细设计-测试纠正及生产起步。这一流程类似一条不断缩窄的管道,在这一喇叭形态的“管道”中,流动着的新产品可选方案及对应的开发项目数量越来越少,而新产品方案的信息却越来越丰富、具体。
然而这一流程模型对人机交互的需求缺乏足够的考虑与重视。为此,文献[8]提出,具有复杂人机交互的系统的研发流程应具有如下步骤:焦点开发-创建当前系统应用的工作流-问题定义及确定设计目标-创建未来系统应用的工作流-创建功能概要-创建物理概要-将物理概要分解至可管理的模块。通过对当前系统应用工作流的分析,存在的问题得到全面的展示;通过对未来系统应用工作流的规划,引导思维边界的突破及全新观念的产生。
基于以上研究可以设想,构建一种图形化的、易于理解的多层次行为视图,使非专家的普遍客户也能参与到设计中来,也使设计工程师能更好地理解电梯行业、护理行业等多个不同领域的背景与技术,以更有效地利用所有利益相关者在设计过程中达成的共识。俗话说:一图胜千言,在开发复杂产品系统时特别如此。下文以电梯为例说明。(图2)
2 电梯实例
随着老龄化社会的临近,越来越多地需要在公共设施设计中考虑老年人、病人的需要,电梯作为一种垂直升降的公共交通设施,需要重视这一趋势。
为此,首先在设计其轿厢内部装潢时,应考虑到人的情感因素,尽量使电梯给人一种舒适温馨的感受,多使用温暖色调,避免冰冷暗淡的色调;其次,需要考虑病人以及各种医疗设备,例如病床、吊瓶架、氧气瓶等抢救设备所需要的大尺寸空间,以及杀菌化学制剂的使用;最后,适当考虑防撞缓冲的需求,减轻相撞时的冲击保护病床上的病人。
目前,还没有一种电梯能满足这一需要:不只需要考虑正常人的使用,还要考虑承载病人,运送病床及医疗设备,同时需要考虑这些特殊情况发生的偶然性,考虑电梯的可制造性、可装配性,以尽可能降低产品成本与能量消耗,并具有较高水平的人机交互界面与可操作性。
2.1 步骤1:产品规划
产品规划环节由开发团队执行,其目的是制定产品开发任务书。团队包括如下成员:工业设计师1人,电梯设计工程师5人,制造工程师1人,医护人员1人,医学专业人员1人,电梯维护人员1人。经过市场的细分与分析、技术发展趋势分析、企业战略分析三者的匹配,最后经过头脑风暴会议来完成产品规划。
产品开发任务书的研究对象是:明确设计的焦点;定义新产品的概念;确认目标客户;确认安全有效使用电梯的障碍;搜集对产品设计特征的意见。
通过产品规划,认为新型电梯的焦点是感性设计、人机交互,在有限的空间内需要容纳担架、轮椅及病人,减少碰撞振动与不适,并进行安全高效的电梯控制操作,同时又要满足节能环保的要求。
在开发过程的早期阶段确定产品的焦点是一项困难的工作。通过这一阶段,潜在的设计意图逐渐变得清晰。
2.2 步骤2:客户需求获取
2.2.1 理解当前使用情景
通过归纳客户操作电梯的行为习惯和固有特性,创建当前系统的行为图,形成获取多层次客户需求的框架,这是多层次信息视图的重要组成部份。步骤如下:
首先,以来自医院的医护人员,以及家有老人病人的普遍电梯客户共50人,为访谈对象,基于步骤1确定的产品设计焦点与概念,进行面对面的半结构化的访谈(interview)。该步骤主要用于明确如下问题:需要用担架、轮椅搬运病人时电梯的操作过程;在这过程中所遇到哪些问题,以及这些问题的条件、过程与后果;对于电梯设施有何感性需求;任何影响在执行医护任务时安全高效使用电梯的因素。
对系统实际操作环境及客户的全面且精确的洞察,对于系统的设计以及客户需求的满足至关重要。为了确认当前实践的问题,设计者应首先将总结所获得的设计信息转换为行为图,以描述当前系统的作用。仅作为示意,如图2所示,该行为图显示了电梯从制造装配、运输、安装维护到客户使用的全生命周期的行为,以图形化的直观方式使得全面的客户需求,且不易遗漏。图中,方向线的粗细表示该方向所指的行为的频率,线越粗表示该行为越常见;箭头的方向表示行为的串行关系。
2.2.2 确认存在问题及设计目标
2.2.2.1 访谈与数据收集
基于当前使用行为图指出的每一使用模式,围绕如下问题进行访谈并收集数据:
①客户在与电梯交互过程中遇到的问题,以及这些问题如何随着客户属性的变化而变化;
②这些问题发生的频率,以及对不同客户产生的后果;
③新型电梯应如何克服这些问题;
④安全高效使用电梯的障碍;
⑤新型电梯对病人、普通用户、电梯安装维护人员、医疗机构、医护人员等各种客户有何益处;
⑥新型电梯的设计偏好。
2.2.2.2 数据组织与分析
在上述步骤系统性地收集资料的基础上,基于质性分析的方法,寻找反映客户需求本质的核心概念,然后通过这些概念之间的联系建构完整的需求模型。访谈调研数据转换为如下三个类别:需求;障碍;设计,简洁地展示数据分析结果,如表1所示。
对原始资料进行进一步的定性分析以后,明确存在的问题及设计目标:
①电梯生产与运输。
电梯包装箱在很长一段时间不能引起厂商及设计人员的重视,只是简单给以部件包裹,这才很大程度上违背了人性化的设计原则。电梯包装箱存在如下问题:裸包装部件遇潮湿后易生锈,不便于运输;纸箱包装,易损坏,不便运输,零散易丢件。应考虑新型的包装箱,以达到方便搬运、整齐美观的目的。
②电梯操纵显示器。
电梯操纵显示器在感性需求上尤为重要。乘客首先接触的是电梯的外部操纵显示器,进入轿厢后同样需要操控电梯内部的操纵显示器,进行楼层选择。色彩搭配以及按钮布局排布是其感性设计的关键。当人在受到色彩的刺激后,会产生心理暗示,色彩搭配必须尊重这种因果关系。
③电梯的空间。
常用的电梯长度从1.3米到1.6米不等,而一部急救担架的长度超过1.8米。狭小的电梯放不下担架。由于患者不能颠簸晃动,医护人员(或家属)常常只能将担架半竖着放进电梯,让患者斜躺在担架上,容易使病情加重。《住宅设计规范》(GB50096-1999)规定:“十二层及以上的高层住宅,每栋楼不能少于两台电梯,其中一台电梯应该能容纳担架。”然而,开发商从成本的角度考虑,在不少的电梯上没有执行这一规定。
④不适合行动不便人员使用。
目前电梯按钮主要采用亮光来显示楼层,并不适合于盲人使用。盲人进入电梯时,不便于方便的找到希望到达的楼层,所以对于盲人来说,单独乘坐电梯很不方便。
扶手在安装时往往有螺钉突出,行动不便人员往往难以避开,并且不美观。
电梯震动或坠落时,电梯无适当的支撑物,震动或坠落会造成伤害,对行动不便人员的伤害特别大。
⑤电梯环境。
传统的通风装置是电力驱动的风扇,购置成本与使用成本较高。
2.2.3 设计未来的使用情景
在这一步骤中,将当前的使用情景转换为未来的使用情景,如图3所示。在未来的使用情景中,当前问题被消除,产品愿景得以实现。未来的使用情景是一种对人机交互过程的高度概括,有助于设计团队及设计参与者理解电梯使用的环境,显示关键的设计问题。
在未来的使用情景中,不需扩大轿厢的整体尺寸而低成本地实现大尺寸的空间,保证担架可以进入并平放;行动不便的人可以舒适地保持平衡;视觉不良的人可以方便地进行目的地楼层设置,并可修正错误的设置;等等。生产安装情景分析在此省略。
2.3 步骤3:系统级设计
2.3.1 功能分析
功能分析的结果展示系统功能的实现目标。对于复杂产品系统,将功能分析为多项子功能十分必要,它可以阐明问题,使设计师可以聚焦到最关键、最有可能实现创新的子功能上。
在检修运行、(自动)开门、(自动)关门、自动返回基站、满载直驶、司机操作、独立运行、通风等基本功能,使用温和的工业设计风格,并增加如下功能:远程监控;PDA在线交互;可变的空间尺寸;碰撞缓冲与支撑;盲文及声控;错误修正。需要在成本得到控制的情况下,在传统的电梯上增加以上功能。
具体的功能描述在此不表,它应提供详细的使用背景信息,以及明确的、定量的功能目标。例如,可变的空间尺寸的需求项中指出:扩大后的空间尺寸应能容纳1.8米长的担架。
通过达到以上产品功能,电梯将能更高效迅速地安装维护,更安全、舒适地使用,减少碰撞、震动、压力与不适。这时,开发团队坚信,这一电梯的市场需求是广阔的、迫切的。
在以上需求实现之前,研发团队认识到,以上功能最困难的部份是可变的空间尺寸、碰撞缓冲与支撑、盲文及声控等需求。
2.3.2 制定系统解决方案
在这一步骤中,依据“功能—作用原理(效应)——物理结构”的映射过程,将产品的功能要求转化为解决方案。解决方案是具体物理结构设计的要点,它指出每一主要功能实现的关键点,以及主要部件的空间及结构上的关系。
解决方案应遵守功能及技术需求的约束,并基于最终用户的需求进行评估,选择最佳的解决方案。
在设计过程中,知识会不断进化,因此系统结构的部件也随之进化。解决方案可用于修正未来的使用情景,使设计意图进一步明确。
以几个主要的子功能为例,说明其解决方案:
①根据发明问题解决理论(TRIZ),使用“基于条件的分离”这一分离原理,以及“动态化”这一发明原理,实现动态的轿厢深度。解决方案为:轿厢下后壁可以向背离轿厢门的方向打开、折叠,充分利用井道空间,在需要运输担架时,通过折叠,动态产生额外的空间,提高了担架出入时的安全性,并增加载重的均匀性。其平时可充当普通载客电梯,具备普通电梯轿厢的宽度与深度;在特殊情况下,延展电梯轿厢的深度,满足普通人平躺在担架上的长度要求,充当救援用的担架电梯。因此,这一功能可增大深度却不增加土建面积,达到节省成本与能量消耗的目的。
②碰撞缓冲与支撑功能的解决方案为:扶手连杆上套有端座外套,将扶手端座表面覆盖,遮盖螺钉,防止行动不灵活的人在轿厢内转身时划伤,同时保持轿厢内美观。轿厢顶部安装有吊环,在震动特别是坠落时,抓住吊环可显著减少伤害。
③盲文及声控功能的解决方案为:按键的按压位置处设有凸起的盲人数字,按键连接有发声话筒,开关、发声话筒均与用于楼层登记的电路连接。
④通风的解决方案为:通过轿厢上的风滞压力产生电梯轿厢中的竖直的气流,实现免电力的通风。风扇仅在需要时打开,减少了电力消耗与使用成本。
电梯作为一种成熟产品,目前已经存在海量专利。以上的构思可能与已有专利冲突,需要进行查询分析,避开已有的相似专利,同时基于专利挖掘,进行技术成熟度分析。对关于轿厢的专利进行分析发现:在轿厢深度调整、碰撞缓冲、盲文及声控、通风等方面的技术都仍处于成长期,值得加大投入进行研发。
2.3.3 系统级的参数分配至模块
通过以上步骤,从轿厢空间调整装置、碰撞缓冲与支撑装置、盲文及声控装置、通风等方面实现了电梯系统人性化创新及改良设计。
在上述步骤中,系统作为一个集成的解决方案进行思考。在模块化的设计方案中,需将设计需要分配至模块,是最终实现产品功能需要的必然的步骤。然而,将技术参数分配至模块具有很高的复杂性,它需要依据两个准则:一是保证系统的技术参数与模块的技术参数的一致性,也就是说,实现模块的技术参数后,能保证系统的技术参数得到保证;二是各个模块的实现难度保持相近,不能让某些模块很难实现,否则会使成本不必要地上升。系统的模块化的好处是:使得最终客户可以按其需求定制产品。
通过对电梯的模块化划分,使得功能与模块近似地具有一对一的关系。在这一设计方案中,如下5个模块被定义:厢体、导轨、驱动、无线通讯、轿厢空间尺寸调整、碰撞缓冲与支撑、控制与显示、通风与照明。其设计方案如图4所示。
2.4 步骤4与5:详细设计与测试纠正
方案的产生与方案评估密不可分。在跨功能的研发团队组建开始,各个团队人员以及参与设计的多种角色,都从一开始就贡献其知识经验,以验证提出来的各种新构想,使得最终的解决方案更具市场可行性与可用性。在开发的后期阶段,解决方案逐渐具体与可视化,设备供应商开始参与设计,以确认方案的技术可行性。由于方案表达为易于理解的形式,包括三维虚拟人体的应用情景展示,团队可以在早期的设计阶段,向商业合作伙伴证明新型电梯的高附加值。
经过可用性评估,最终的设计方案得到了较高的评价。
3 结论
本研究基于以人为中心设计的理念,提出了一种适用于复杂产品系统设计的、以人为中心的设计流程,并进行电梯系统的创新优化与改良设计,解决了电梯系统中几个非人性化设计缺陷,规划、定义了电梯的主要模块,并进行了三维虚拟人体的分析,提出一种具有良好人机操作界面的绿色电梯系统。经评估认为,这一新型电梯具有较广阔的市场需求。本文提出通过行为图的引入,扩展了以人为中心设计的观点,有助于将各种利益相关者的需求融合到一个框架内,并清晰展现。
本研究所提出的方法适用于电梯之外其它类型的、存在复杂人机交互的复杂产品系统的设计。
参考文献:
[1]Hans-Jo¨rg Bullinger, Wilhelm Bauer,Gu¨nter Wenzel. Towards user centred design (UCD) in architecture based on immersive virtual environments [J]. Computers in Industry 61 (2010) 372-379.
[2]Li Lin, Ming-Qing Yang, Jing Li. A systematic approach for deducing multi-dimensional modeling features design rules based on user-oriented experiments [J]. International Journal of Industrial Ergonomics, 42 (2012) 347-358.
[3]Xue-Zheng Chu, Liang Gao, Hao-Bo Qiu. An expert system using rough sets theory and self-organizing maps to design space exploration of complex products [J]. Expert Systems with Applications. 37 (2010) 7364-7372.
[4]ISO/IEC 13407, 1999 (E). Human-centred design processes for interactive systems.
[5]赖朝安,朱文文.水暖卫浴产品风格优化的感性工学方法 [J].工业工程与管理,2012,17(6):122-127.
[6]赖朝安著.新产品开发[M].北京:清华大学出版社,2014,2.
关键词:触摸屏;显示屏;交互技术;Move&Touch
中图分类号:TP18文献标识码:A文章编号:1009-3044(2011)08-1893-02
The Research of Human-computer Interaction Based on Touch-screen Technology of Move & Touch
WANG Hui, YAO Xiao-hui, JI Bo, RUAN Han-qing
(Information and Control Institute, Xi'an University of Architecture & Technology, Xi'an 710055, China)
Abstract: In recent years, the touchscreen-phone is becoming increasing popularity.The interactive technology based on touch-screen has been penetrated into every aspect of people's lives because of it's natural and comfortable. Based on the research of primary interaction techniques for displays, the thesis present Move&Touch: a novel interaction technique for displays based on touchscreen-phone. Move & Touch use touchscreen-phone as an interaction device, users achieve the remote control and manipulation of large displays through operations such as sliding and tapping on mobile phone's touchscreen, the control and manipulation they can achieve including cursor position, object selection and scrolling. Move&Touch is a natural and intuitive interaction technique for displays, it has the features of well-use, universality and extensibility.
Key words: Touchscreen; Display; Interaction techniques; Move&Touch
随着科学技术的进步,在许多公共和非公共场所,随处可见显示屏的应用,显示屏的尺寸变得越来越大,而分辨率也越来越高,显示效果越来越好,社会的发展使得显示屏深入到了人们生活的方方面面。与此同时,针对显示屏的交互技术也被众多的国内外学者所关注,各种不同的交互技术相继出现,如何使显示屏和用户之间的交互更加稳定、方便、直观和自然是当前显示屏交互技术的重点研究方向。
对于当前存在的许多显示屏交互技术,或多或少都存着一些不足之处,有些交互方式不够自然,有些交互方式不够精确稳定,还有些严重缺少便携性等。虽然有着各式各样的缺点,但是在各自适合的场景,都可以发挥技术本身的优势来实现人机交互。新的人机交互技术的出现可以补充当前显示屏交互技术的不足,丰富显示屏交互技术的特性,在越来越多的场合提供更为便利的交互方式,以满足社会不断发展的需要。
国内在显示屏远程交互方面的研究比较少,与国外的差距也比较大。清华大学计算机系媒体所提出了一种基于激光笔的远程人机交互技术[4]。该系统只需要添加一个摄像机和视频采集卡就可以实现远程的人机交互。
国外的HCI学者在这方面的研究比较多,其中,Sweep and Point & Shoot[5]是一种基于手机相机的显示屏交互技术,该技术利用手机拍照功能完成显示屏上指针的控制以及对象的选择和操作。
C-blink[6]通过将手机的彩色液晶显示屏作为一种可见光源可以产生光信号,然后利用安装在显示屏上方的摄像头不断地检测和接收光信号,通过处理光信号产生相应的控制信息,从而实现对显示屏的操作和控制。SnapAndGrab[7]提出了一种新颖的大型公共数字显示屏交互技术。该系统允许用户通过带有蓝牙和照相功能的手机来访问和共享公共多媒体信息系统的丰富的多媒体信息,例如上传和下载图片。该系统的易用性在于不需要在手机上安装任何软件即可访问显示屏。
1 Move&Touch技术的功能设计
1.1 指针定位
在指针定位是指远距离控制显示屏光标的移动。用户通过在手机触摸屏上移动手指,来相应地控制显示屏光标的移动,显示屏光标的移动方向与用户手指的移动方向相同,同时光标的移动距离与手指的移动距离成比例。
1.2 对象选取
通过对象选取功能,我们可以对显示屏端的图标,菜单等进行直接操作,这是通过模拟鼠标左键单击和双击操作以及右键单击操作来实现的,用户使用触摸屏与显示屏交互时,必须能实现传统的鼠标所能实现的基本操作。
1.3 滑动滚屏
在与显示屏进行交互的过程中,有时需要对显示屏当前窗口内容进行滚屏操作,Move&Touch技术允许用户在特定区域滑动手指来实现类似鼠标滚轮的操作,从而达到翻页的效果。通过记录手指滑动时的轨迹坐标,来判断当前是否需要进行滚屏操作,以及滚动的行数或列数。滑动滚屏功能类似于笔记本触摸板的滚动翻页操作,通过统计实验结果,电容屏上实现的滑动滚屏功能在效果上优于笔记本触摸板。
2 Move&Touch技术原型的实现
2.1 坐标映射算法
通当手指在触摸屏上进行滑动时,显示屏上的指针移动速率需要适应不同的场景。例如在像素面积较小的区域进行最小化,关闭的操作,或者在播放器中调节音量时,指针的移动要做到精确、平稳,而当我们需要将光标从显示屏的一端移动到另一段时,受到触摸屏面积小的限制,要想以较少的滑动次数达到长距离移动的效果就必须设置相应的加速系数。因此,手指移动轨迹和显示屏光标移动轨迹的映射关系需要设计相应的坐标转换算法来实现。
图1为手机和显示屏的坐标系统。当手指在触摸屏上滑动时,将会产生连续的指针拖动事件,手指接触点的坐标值也在不断变化,相邻两次事件间的坐标变化值记为ΔX、ΔY。显示屏原坐标值为Xprev、Yprev,新坐标值为Xnew、Ynew,则新坐标值Xnew、Ynew由以下公式计算:
ST为转换系数, ST的大小主要与手机屏幕分辨率和显示屏的分辨率,以及需要的精确度和移动效率有关。
当手指滑动时,产生连续的MT_MOUSEMOVE事件,手指接触点的坐标值也在不断变化,相邻两次事件间的坐标变化值记为ΔX、ΔY。显示屏指针原坐标值为Xprev、Yprev,新坐标值为Xnew、Ynew,则新坐标值Xnew、Ynew由公式(1)和(2)计算:
(1)
(2)
SV为加速系数,SV的大小决定了手指滑动速度对显示屏指针移动速度的影响。SV的大小是由相邻两次事件间的坐标变化值ΔX、ΔY决定的,ΔX、ΔY的绝对值越大,表示手指滑动速度越快。因此,SV的大小可由公式(3)和(4)计算:
(3)
(4)
SV'为常量,其大小依赖于特定设备上ΔX、ΔY的大小。最终,新坐标值Xnew、Ynew由公式(5)和(6)计算:
(5)
(6)
2.2Move&Touch的标准输入事件流
Move&Touch标准输入事件流作为一种中间性的数据结构存在,使得Move&Touch在不同的操作系统之间具有好的可移植性,所有基于Move&Touch技术的系统平台只要能够处理标准的事件结构就能够很好的响应用户的操作。我们定义的Move&Touch标准输入事件流的数据结构包含五个数据项:事件类型EventType、横坐标x、竖坐标y、加速系数SV以及转换系数ST。下面是每个数据项对应的鼠标动作:
事件类型EventType的数据类型为整形,包括五种值:MT_LBUTTONDOWN(按下左按键事件)、MT_RBUTTONDOWN(按下右按键事件)、MT_MOUSEMOVE(鼠标移动事件)、MT_LBUTTONDBLCLK(鼠标左键双击)、MT_MOUSEWHEEL(滑动滚轮)。
3 功能性测试
指针定位和对象选取的性能对系统的可用性有重要影响,具体测试方法如下:
测试任务为分别使用Move&Touch技术、笔记本触摸板、蓝牙鼠标进行对象选取操作。实验对象要求完成一个基于ISO 9241-9标准的多方向点击测试,此标准用于测试操作可视显示终端的无键盘输入设备的性能。如图2所示,多方向点击测试程序在窗口中显示一系列小圆圈,这些小圆圈均匀排列成圆形,圆圈之间的距离相等。圆圈大小、数量、圆圈之间的距离、点击顺序都可以由程序控制,以改变任务的复杂度。若小圆圈被点击中,则变成灰色。
在本系统的测试中,圆圈数量为19个,圆圈直径为60像素,圆圈中心之间的距离为600像素,实验对象要求按图中所示顺序依次点击小圆圈,直到所有小圆圈都变成红色即完成任务,指针初始位置在圆形中心。
4 结论与展望
本文研究了Move&Touch这种新颖自然的触摸屏交互技术,为用户提供了一种新得人机交互设备,系统具有较好的可用性,但尚需就以下问题进行进一步的研究:
1) 安全性。当前显示屏交互技术存在的一个重要问题就是安全性。如果用户可以随意控制公共显示屏,那么某些用户可能会恶意修改显示屏的信息和数据,因此,应建立一个完善的安全机制来约束用户的使用权限。
2) 多点触摸功能。多点触摸功能的应用可以让用户直接对显示屏端的对象进行放大、缩小、旋转等操作,将极大地提高用户的操作体验。
3) 多用户同时交互。目前该技术只支持单用户交互,基于蓝牙支持多个设备同时通信的特点和共享显示屏的多用户交互技术,将来的系统可以扩展为多用户交互系统。
参考文献:
[1] Alan D,Janet F,Gregory D A,et al.人机交互[M].蔡立栋,方思行,周继鹏,译.3版.北京:电子工业出版社,2006.
[2] Mark W.The computer for the 21st century[J].Scientific American,1991,265(3):94-104.
[3] Brad M,Jim H,Isabel C,et al.Strategic directions in human-computer interaction[J].ACM Computing Surveys,1996,28(4):794-809.
[4] 刘芳,林学,史元春.基于激光笔的远程人机交互技术[J].中国图象图形学报,2003,8(11):1856-1360.
[5] Rafael B,Michael R,Jennifer GS.Sweep and point & shoot:phonecam-based interactions for large public displays[C].CHI 2005,2005:1200-1203.
(讯)BOTs时代即将到来,我们预计未来三到五年内,BOTs应用将渗透到各行各业,新的入口——工具——应用——平台——生态格局将重构。
在计算机智能化,操作方式便捷化的人机交互进化方向上,虚拟机器人(BOTs)必将成为高级别人机交互的必经通道。App已经过多,长尾应用泛滥+用户时间稀缺,导致大部分App被束之高阁,甚至成为僵尸应用。
据Gartner数据显示,目前大约有38%的美国消费者习惯使用他们智能手机上的虚拟助理服务。据估计,截止到2016年底,这一数字在发达国家消费市场将会达到三分之二。所有的迹象都指向了一个人工智能带来的变革:改变我们与一切事物的互动。
行业驱动因素,引发虚拟机器人爆发有3大因素:(1)硬件层面,移动终端的大规模普及是BOTs爆发的必要条件;(2)软件层面,移动App数量繁多催生行业新痛点亟待解决,聊天软件的高使用率使其成为人机交互通道的最佳入口;(3)技术层面,自然语言处理等人工智能技术发展速度加快,足够支撑BOTs开发,巨头的布局将加快工具和应用的迭代速度。
BOTs将渗透到各行各业中,形成新的行业生态。目前国际各IT巨头争相布局BOTs领域,国内BAT也不甘落后,BOTs进入蓬勃发展的阶段。从键盘到图形界面再到触屏,每一次人机交互的变革都成就了一家巨无霸级别IT公司。
“BOTs经济”可分为2B和2C两大方向,整体来看BOTs市场会呈现出与当下App市场类似的格局,但技术成熟度、先发优势、市场推广等多方因素将导致市场新一轮洗牌。1、2B端,寡头型平台公司将瓜分聚合分发市场,同时,提供行业专属智能解决方案的公司将会蓬勃发展;
2、2C端,新的平台将有望异军突起,针对不同的智能终端(手机、车载屏、智能家居等)的良好用户体验将重洗“入口”格局。3、从应用形式来看,BOTs未来将由纯软件向软硬件结合的实体机器人发展;文字会先于语音被BOTs大规模应用。
作为“智能化的App”,BOTs盈利模式与移动App高度相似,总的说来仍然为产品、广告、增值服务这3大类。
风险因素:技术成熟度及市场推广低于预期。(来源:中银国际证券 文/吴砚靖 编选:中国电子商务研究中心)