人机交互期末复习要点

文章pdf下载：👉 点击下载pdf

注：

⭐⭐：我们网上的作业，老师说的考试题目
⭐：可能会考的重点
无⭐：可能会考选择题，也可能会考大题，比如：人机交互设备 (我们这次期末考试就考了！！！)

绪论

什么是人机交互技术？⭐⭐

是指关于设计、评价和实现供人们使用的交互式计算机系统，并围绕相关的主要现象进行研究的学。狭义的讲，人机交互技术主要是研究人与计算机之间的信息交换，它主要包括人到计算机和计算机到人的信息交换两部分。

简单介绍人机交互技术的研究内容？⭐⭐

人机交互的研究内容十分广泛，涵盖了建模、设计、评估等理论和方法，以及在Web、移动计算、虚拟现实等方面的应用研究，主要包括以下内容：

人机交互界面表示模型与设计方法

一个交互界面的优劣，直接影响到软件开发的成败。友好的人机交互界面的开发离不开好的交互模型与设计方法。因此，研究人机交互界面的表示模型与设计方法是人机交互的重要研究内容之一。
可用性分析与评估

可用性是人机交互系统的重要内容，它关系到人机交互能否达到用户期待的目标，以及实现这一目标的效率与便捷性。对人机交互系统的可用性分析与评估的研究主要涉及到支持可用性的设计原则和可用性的评估方法等。
多通道交互技术

主要研究多通道交互界面的表示模型、多通道交互界面的评估方法以及多通道信息的融合(视觉、听觉、触觉和力觉)等。其中，多通道融合是多通道用户界面研究的重点和难点。
认知与智能用户界面

最终目标是使人机交互和人人交互一样自然、方便。上下文感知、三维输入、语音识别、手写识别、自然语言理解等都是认知与智能用户界面解决的重要问题。
群件

群件是指为群组协同工作提供计算机支持的协作环境，主要涉及个人或群组间的信息传递、群组内的信息共享、业务过程自动化与协调以及人和过程之间的交互活动等。目前，与人机交互技术相关的研究内容主要包括群件系统的体系结构、计算机支持的交流与共享信息的方式、交流中的决策支持工具、应用程序共享以及同步实现方法等内容。
Web设计

重点研究Web界面的信息交互模型和结构，Web界面设计的基本思想和原则，Web界面设计的工具和技术，以及Web界面设计的可用性分析与评估方法等内容。
移动界面设计

移动计算（Mobile Computing）、普适计算（Ubiquitous Computing）等技术对人机交互技术提出了更高的要求，面向移动应用的界面设计已成为人机交互技术研究的一个重要内容。由于移动设备的便携性、位置不固定性、计算能力有限性以及无线网络的低带宽高延迟等诸多的限制，移动界面的设计方法、移动界面可用性与评估原则、移动界面导航技术以及移动界面的实现技术和开发工具，都是当前人机交互技术研究的热点之一。

简单介绍人机交互技术的发展历史⭐⭐

作为计算机系统的一个重要组成部分，人机交互技术一直伴随着计算机的发展而发展。人机交互技术的发展过程，也是从人适应计算机到计算机不断适应人的发展过程。它经历了如下几个阶段：

命令行界面交互阶段

计算机语言经历了由最初的机器语言、汇编语言，直至高级语言的发展过程。这个过程也可以看作是人机交互的早期发展过程。

命令行界面可以看作第一代人机界面。
图形用户界面（GUI）交互阶段

图形用户界面的出现使人机交互方式发生了巨大变化。GUI的主要特点是桌面隐喻、WIMP技术、直接操纵和“所见即所得”。与命令行界面相比，图形用户界面的自然性和交互效率都有较大的提高。
自然和谐的人机交互阶段

基于语音、手写体、姿势、视线、表情等输入手段的多通道交互是其主要特点。

目的是使人能以声音、动作、表情等自然方式进行交互操作。

主要研究内容包括：多通道交互，情感计算，虚拟现实，智能用户界面，自然语言理解

感知和认识基础

什么是认知心理学

广义的认知心理学：指以认知为研究取向的心理学
狭义的认知心理学：指以信息加工观点为核心的心理学，又可称为信息加工心理学。

认知心理学的研究范式

符号操作系统范式：把计算机作为人脑功能的一种心理学模型。
联结主义范式：认为人的心理活动和大脑的神经活动方式一相似的。

人机交互过程中人们经常利用的感知有哪几种？每种感知有什么特点？⭐⭐

视觉，听觉，触觉，力觉，内部感觉五种。

视觉感知特点：
- 眼睛和视觉系统的物理特性决定了人类无法看到某些事物；
- 视觉系统进行解释处理信息时可对不完全信息发挥一定的想象力。进行人机交互设计需要清楚这两个阶段及其影响，了解人类真正能够看到的信息。
听觉感知特点：
- 听觉感知传递的信息仅次于视觉，可人们一般都低估了这些信息。人的听觉可以感知大量的信息，但被视觉关注掩盖了许多。
- 听觉所涉及的问题和视觉一样，即接受刺激，把它的特性转化为神经兴奋，并对信息进行加工，然后传递到大脑。
- 人类听觉系统对声音的解释可帮助设计人机交互界面中的语音界面。
触觉感知特点：
- 触觉在交互中的作用是不可低估的，尤其对有能力缺陷的人，如盲人，是至关重要的
- 触觉的感知机理与视觉和听觉的最大不同在于它的非局部性
  - 温度感受器-冷热
  - 伤害感受器-疼痛
  - 机械刺激感受器-压力
- 实验表明，人的手指的触觉敏感度是前臂的触觉敏感度的10倍。对人身体各部位触觉敏感程度的了解有助于基于触觉的交互设备的设计。
力觉感知特点：

力觉感知一般是指皮肤深层的肌肉，肌腱和关节运动感受到的力量感和方向感。
内部感觉特点：
- 内部感觉是指反应机体内部状态和内部变化的感觉，包括：体位感觉，内脏感觉，深度感觉
- 人的体位感知器分为三种：
  
  快速适应感受器：感受四肢在某个方向的运动
  
  慢速适应感受器：感受身体的移动和静态的位置
  
  位置感受器：感受人的一条胳膊或腿在空间的静止位置

扩展：

视网膜是由视细胞组成，视细胞分为视干细胞和视椎细胞，他们是接受信息的主要细胞
- 视干细胞区分黑白
- 视椎细胞区分彩色
视觉感知分为两个阶段：受到外部刺激接受信息阶段，解释信息阶段
颜色模型⭐⭐：

RGB颜色模型、CMYK颜色模型、HSV颜色模型、CIE颜色模型四种。
- RGB：面向设备,适用于显示器、投影设备以及电视机加色。
- CMYK：面向设备，适用于印刷、打印行业
- HSV：面向用户，HSV是色相，饱和度，值或明亮程度，适用于颜色分割
- CIE：适用于扫描仪，监视器和打印机
声音由音调，响度和音色三个属性来描述：
- 音调：主要由声波频率决定的听觉特性
- 响度：在频率一定的情况下声波的振幅
- 音色：与发声的材料有关

刺激强度与感知大小间的关系

韦伯分数

刺激的增量与原刺激间存在某种关系：

$\Delta I/I$

对于不同感觉，K值不同，即韦伯分数不同。韦伯分数越小，感觉越灵敏。
斯蒂文斯的乘方定律

用数量估计法研究刺激强度和感觉大小的关系，并发现了反应凝缩现象

$P = KI^n$

P是定感觉大小，I是刺激的物理量，K和n是按照经验评定的常定特征

知觉的特性⭐

知觉的选择性

有选择的把某一事物作为知觉对象，与此同时把其他事物作为知觉背景

Q：知觉对象与背景的关系：

A：只有当刺激物之间存在某种差异时，一部分的刺激才能成为知觉的对象，另一部分成为知觉的背景，从而是知觉对象从背景中凸显出来。

Q：知觉对象和注意的关系

A：当注意指向某种事物的时候，这种事物便成为知觉的对象，其他事物便成为知觉的背景。

Q：影响知觉选择性的主观因素

A：需要与动机，兴趣与爱好，目的与任务，已有的知识经验
知觉的整体性

在刺激不完备的时候，人们仍然能够保持完整的认识。

Q：整体与部分是什么关系

A：
- 知觉的整合作用离不开组成整体的各个部分的特点。关键性的成分对知觉的整体起决定作用。
- 我们而对个别成分的直觉又依赖于事物的整体特性。
- 在知觉活动中，人们对整体的知觉还可能优先于对个别成分的直觉。知识经验越丰富，越能识别出事物的关键性特征，从而精确地把握知觉对象。
知觉得理解性

利用过去所获得的有关知识经验，对感知对象进行加工理解，并以概念的形式标示出来

Q：影响条件

A：言语的指导作用，实践活动的任务，对知觉对象的态度
知觉的恒常性

当知觉的客观条件在一定范围内改变时，我们的直觉映像在相当程度上却保持着它的稳定性

分为：大小恒常性，形状恒常性，方向恒常性，明度恒常性，颜色恒常性

简述Norman认知模式的概念，说明认知模式的划分对人机交互系统设计的指导意义

Norman把认知模式划分为经验认知模式和思维认知模式。

经验认知模式是指人在认知活动中能够有效、轻松地观察、操作和响应周围的事件，它要求人应该具备某些专门知识并达到一定的熟练程度。
思维认知模式则指人在认知活动中，需要进行思考、比较和决策，这种认知模式是发明创造的来源，如设计创作等。而人的特点是更容易适应以经验认知模式进行认知的工作方式。

因此认知模式的划分对人机交互系统设计的指导意义主要在于好的人机交互系统应该能够给人提供比较丰富的信息，以帮助人能够以经验认知的模式进行工作。

常见认知过程⭐⭐

感知和识别 ：人使用感官从环境中获取信息，并把它转变为对物品、事件、声音和味觉的体验。
注意：是有选择的加工某些刺激而忽视其他刺激的倾向。
记忆：回忆各种知识以便采取适当的行动。
问题解决：一定的情景引起的，按照一定的目标，应用各种认知活动、技能等，经过一系列的思维操作，使问题得以解决的过程。
语言处理：语言处理包括阅读、说话和聆听三种形式。不论哪一种形式，所表达的意思是相同的。但人们对阅读、说话和聆听这三种形式的体会是不同的。

影响认知的因素⭐

情感：情感因素影响人的感知和认知能力。积极的情感使人的思考更有创造性、解决复杂问题的能力更强，而消极的情感会使人的思考更加片面，还会影响其他方面的感知和认知能力。
个性差异：人的个性差异分为长期的猜疑、短期的差异和水时间变化的差异。长期的差异包括性别、体力和智力水平；短期的差异包括如心理压力和情感因素对人的影响；随时间变化的差异，如人的年龄等。这些差异都会对人的认知活动都有着各种各样的影响。
动机和兴趣：如果个体从事感兴趣的活动，往往会激发更为积极的认知过程，有利于增加探索活动并提升认知评价。

概念模型⭐⭐

概念模型：指的是一种用户能够理解的系统描述，它使用一组集成的构思和概念，描述系统做什么、如何运作、外观如何等。

首要任务：创建明确，具体的概念模型

设计概念模型的关键过程应包括如下两个阶段：

了解用户在执行日常任务时的行为；
选择合适的交互方式，并决定采用何种交互形式。

概念模型包含三个相互作用的主体：设计师，用户，系统。

三个相互联系的概念模型：

设计模型——设计师设想的模型，说明系统如何运作。

系统映像——系统实际上如何运作。

用户模型——用户如何理解系统的运作。

几种认知概念框架：

思维模型

人们在学习和使用系统的过程中，积累了有关如何使用系统的知识，而且在一定程度上，也积累了有关系统如何工作的知识。
信息处理模型

人们把大脑视为一个信息处理机，信息通过一系列有序的处理阶段进、出大脑。在这些阶段中，大脑需要对思维表示（包括映像、思维模式、规则和其他形式的知识）进行各种处理（如比较和匹配）

局限：“信息处理模型”是不是正确地反应了人们日常的认知活动呢？它能否解释真实世界中的认知现象，又能否解释人们与计算机交互时的认知活动呢？
外部认知模型

解释人们在与不同外部表示相交互时涉及的认知过程。

主要目的：详细说明在不同的认知活动、认知过程中使用不同表示的好处，主要包括：
- 将信息、知识表面化以减轻记忆负担；
- 设计有利于人的信息表示及处理工具，减轻计算负担；
- 标注和认知追踪。
总体原则：在界面上提供外部表示，以减轻用户的记忆和计算负担。为此，设计人员需要开发不同类型的可视化信息，以便用户解决某个问题，扩充和增强认知能力。

分布式框架⭐⭐

分布式认知模型：将认知主体和环境看作一体的认知理论，分布式认知活动是对内部和外部表象的信息加工过程。一个分布式认知系统可被看作包含多个主体、多种工具和多样技术，协调内外部表象，且有助于提供一种动态信息加工的系统。

主要目的：从信息传播媒介的角度来描述交互。也就是说，它考虑的是信息如何表示，信息在流经不同个人以及使用不同物体时是如何重新表示的。这类信息的转变也称为“表示状态的转变”。

特征：

强调个体与外部表象的结合，重视人工制品的作用
强调认知的分布性
强调交互作用和信息共享
关注具体情境和情境脉络

交互设备

输入设备

文本输入设备

键盘

编码键盘：控制电路的功能完全依靠硬件自动完成，能自动将所按下的按键的编码信息送入计算机。这种键盘响应速度快，但硬件结构复杂。

非编码键盘：控制电路功能要依靠硬件和软件共同完成。这种键盘响应速度虽然不如编码键盘快，但可通过软件为键盘的某些按键重新定义，为扩充键盘功能提供了极大的方便，因而得到了广泛的使用。
手写设备

手写笔板+手写笔

电阻式压力手写板,电磁式感应手写板,电容式触控手写板

评测指标：压感级数，精度，手写面积

图像输入设备

二维扫描仪

分为：平板式扫描仪，手持式扫描仪和滚筒式扫描仪

评价指标：扫描速度和分辨率

扫描速度决定了扫描仪的工作效率

扫描仪的分辨率决定了最高扫描精度
数码摄像头

数码摄像头可以直接捕捉影像，然后通过计算机的串口、并口或者USB接口传送到计算机里。

数码摄像头没有存储装置和其他附加控制装置，只有一个感光部件、简单的镜头和不太复杂的数据传输线路，造价低廉。

三维图形输入设备

三维扫描仪

根据传感方式的不同，三维扫描仪主要分为接触式和非接触式两种。
- 接触式的三维扫描仪采用探测头直接接触物体表面。
  
  优点：具有较高的准确性和可靠性
  
  缺点：测量速度慢、费用较高、探头易磨损以及误差修正。
- 非接触式的三维扫描仪，主要有三维激光扫描仪，照相式三维扫描仪等，分别是基于激光扫描测量和结构光扫描测量等技术设计的。
  
  优点：扫描速度快，易于操作，且由于不需接触被测量的物体，所以对物体表面损伤少等。
动作捕捉设备

机械式、电磁式、光学式捕捉设备
体感输入设备

指点输入设备

鼠标，操纵杆，触摸板，触摸屏，光笔，手写液晶屏，眼动跟踪系统

输出设备

光栅显示器

包括：阴极射线管显示器、液晶显示器和等离子显示器

主要技术指标：
- 扫描方式：隔行扫描，逐行扫描
- 刷新频率：75Hz以上可以基本消除闪烁
- 点距：同一像素中两个颜色相近的磷光体间的距离。点距越小，显示出来的图像越细腻，当然其成本也越高。
- 分辨率，带宽，亮度和对比度，尺寸
打印机

常见的有针式、喷墨、激光打印机三类。
打印分辨率、速度、幅面、最大打印能力等是衡量打印机性能的重要指标。
投影仪
语言交互设备

耳机，麦克风，声卡
- 耳机：
  
  常见的耳机技术指标有：耳机结构、频响范围、灵敏度、阻抗、谐波失真等。
  耳机结构可以分为封闭式、开放式、半开放式三种。

虚拟现实系统中的交互设备

三维空间定位设备

三维交互设备最基本的特点是具有六个自由度。

常见的三维输入设备主要有以下几种：
- 空间跟踪定位器
- 数据手套（Data Glove）
- 三维鼠标
- 触觉和力反馈器
三维显示设备(沉浸设备)
- 立体视觉
  
  立体影像显示技术：
  - 主动式模式：主要用于立体电视和立体投影仪设备。对应用户的左右眼影像将按照顺序交替显示，用户使用LCD立体眼镜保持与立体影像的同步，这种模式可以产生高质量的立体效果。
  - 被动式系统：主要用于电影院。需要使用两套显示设备以及投影设备分别生成左右眼影像并进行投影，不同的投影分别使用不同角度的偏振光来区别左右眼影像，用户使用偏振光眼镜保持立体影像的同步。
- 头盔式显示器
  
  头盔分单通道和双通道两种：
  - 单通道的头盔显示器上装有一个液晶显示器并显示同一幅图像；
  - 双通道的头盔显示器上装有两个液晶显示器，左边的液晶屏显示来自主控计算机生成的左眼图像，右边的液晶显示屏显示来自主控计算机生成的右眼图像，每一幅的图像的显示刷新速度都在60Hz以上，两幅图像在两个液晶屏之间快速切换显示，根据立体成像原理，观察者就可以看到立体图像。
- CAVE
  
  这是一种四面的沉浸式虚拟现实环境。
  
  优点：
  - 它可提供180o的宽视域和2000×2000 以上的高分辨率；
  - 它允许用户在虚拟空间中走动，而不用佩戴笨重的设备；
  - 它允许在同一个环境中存在多个用户，而且用户间可以自然地交互；
  - 一次能显示大型模型，如汽车、房屋等，而HMD则需要头部运动才能看到完整的模型。
- 真三维显示
  
  真三维显示是三维显示的最终目标，是一种能够实现360度视角观察的三维显示技术，是现实景物的最真实的再现。
  
  显示技术：扫描体显示，固态体显示

交互技术

简述人机交互输入模式有哪些？各有何特点？⭐⭐

请求模式：输入设备的启动是在应用程序中设置的。应用程需要输入数据时，暂停程序的执行，直到从输入设备接受到请求的输入数据后，才继续执行程序。
采样模式：在采样模式下下，输入设备和应用程序独立的工作。输入设备连续不断地把信息输入进来，信息的输入和应用程序中的输入命令无关。应用程序与输入设备同时工作，新的输入数据不断替换以前输入的输入数据。当应用程序遇到取样命令时，读取当前的输入设备数据。

优点：对连续的信息流输入比较方便，也可同时处理多个输入设备的输入信息。

缺点：当应用程序的处理时间较长时，可能会失掉某些输入信息。
事件模式：输入设备与应用程曦并行工作。输入设备把数据保存到一个输入队列，也称为事件队列，所有的输入数据都保存起来，不会遗失。应用程序随时可以检查这个事件队列，处理队列中的事件，或删除队列中的事件。

简述基本的人机交互技术有哪些？各有何特点？⭐⭐

定位：确定平面或空间中一个点的坐标。是交互中最基本的输入技术之一。

定位操作可分为直接定位和非直接定位两种。
- 直接定位是指直接指定某个对象的位置，这是一种精确的定位方式。
- 间接定位是指通过定位设备的运动控制屏幕上的映射光标进行定位，是一种非精确的定位方式。它允许定位的点位于某一个坐标范围内，一般用鼠标等指点设备配合光标来实现。
笔划：输入一组有顺序的坐标点。
定值：用于设置物体旋转角度、缩放比例因子等。
选择：
- 单个元素选择：在某个选择集中选出一个元素，通过注视、指点或接触一个对象，是对象成为后续行为的焦点。
- 区域选择：在选择集中选出一组元素或者选择一个区域，通过使用区域选择工具完成该交互操作。常用工具：选框工具，套索工具，快速选择工具(魔棒)，懒惰选择工具。
字符串：键盘是目前输入字符串最常用的方式。

简述常用的图形交互技术？⭐⭐

二维图形交互技术、三维图形交互技术、自然交互技术

二维图形交互技术

目前，WIMP用户界面是主流的人机交互界面。WIMP界面由窗口、图标、菜单和指点设备四位一体，形成桌面。WIMP是基于图形方式的人机界面，蕴含了语言和文化的无关性，提高了视觉搜索效率，通过菜单、控件等提供了丰富的表现形式。

除了基本的人机交互技术外，还提供了一些方便的辅助交互技术：

几何约束：可以用于对图形的方向，对齐方式等进行规定和校准。分为定位约束和方向约束。
引力场：可以看做是一种定位约束。当光标中心落在这个区域内时，就自动地被直线上最近的一个点代替。
拖动：
- 在图形模式下，当将图形由一个位置拖到新的位置时，实际上是在移动的位置上按特定的象素操作模式（如异或方式）进行了图形的重新绘制，这样被拖动的图形不会破坏扫过的轨迹上的图形。
- 在图像模式下，当将一个图形由一个位置拖到一个新的位置时，实际上是进行了图像的整体移动，即首先将新位置上按拖动图像大小范围将屏幕图像保存，然后将拖动的图像移动到新位置，当拖动图像离开该位置而移动到下一个新位置时，再恢复该位置上保存的屏幕图像。
橡皮筋技术：是拖动的另一种形式。被拖动对象的形状和位置随着光标位置的不同而变化。
操作柄技术：被拖动对象的形状和位置随着光标位置的不同而变化。

三维交互技术

三维交互技术采用六自由度输入设备。所谓六自由度，指沿三维空间X、Y、Z轴平移和绕X、Y、Z轴旋转，而现在流行的用于桌面型图形界面的交互设备，如鼠标、轨迹球、触摸屏等只有两个自由度(沿平面X、Y轴平移)。

主要通过以下交互方式在三维空间中进行操作：

直接操作
- 三维光标必须有深度感，即必须考虑光标与观察者距离，离观察者近的时候较大，离观察者远的时候较小。
- 为保持三维用户界面的空间感，光标在遇到物体时不能进入到或穿过物体内部。
- 为了增加额外的深度线索，辅助三维对象的选择，可以采用半透明三维光标。
- 三维光标可以是人手的三维模型
三维Widgets：即三维交互界面中的一些小工具
三视图输入：用二维输入设备在一定程度上实现三维的输入。

自然交互技术

多点触控技术：构建能同时检测多个触点的触控平台。

多点触控技术由硬件和软件两部分组成。

多点触控软件技术：
- 触点检测和定位
- 手指触点跟踪
- 触摸手势识别
手势识别技术：手势可以分为控制手势、对话手势、通信手势和操作手势。

手势识别按照手势输入设备可以分为两类：
- 以数据手套为输入设备的手势识别系统：
- 以摄像机为输入设备的手势识别系统
基于视觉的手势识别所要解决的三个主要问题：
- 手势分割
- 特征提取和选择
- 手势识别。目前使用的技术分为三类：模板匹配技术，统计分析技术，神经网络技术
表情识别技术

表情识别可分为三部分：人脸图像的获取与预处理、表情特征提取和表情分类。

人脸面部表情识别特征主要方法：灰度特征，运动特征，频率特征

特征识别方法：
- 整体识别法：无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别；
- 局部识别法：将人脸的各个部位在识别时分开，也就是说各个部位的重要性是不一样。
- 形变提取法：根据人脸在表达各种表情时的各个部位的变形情况来识别的；
- 运动提取法法：根据人脸在表达各种特定的表情时一些特定的特征部位都会作相应的运动这一原理来识别的。
- 几何特征法：根据人的面部的各个部分的形状和位置(包括嘴、眼睛、眉毛、鼻子) 来提取特征矢量，这个特征矢量来代表人脸的几何特征，根据这个特征矢量的不同就可以识别不同的表情；
- 容貌特征法：主要是将整体人脸或者是局部人脸通过图像的滤波，以得到特征矢量。
语音交互技术

语音识别系统的组成：语音特征提取，声学模型与模型匹配，语言模型与语义理解
眼动跟踪技术

眼动主要有三种形式：
- 注视：视线在被观察目标上的停留
- 跳动：注视点间的飞速跳跃，是一种联合眼动
- 平滑尾随跟踪：通常有一个缓慢移动的目标，在没有目标的情况下，一般不能执行.
视线跟踪技术中常用的主要参数有：注视次数、注视持续时间、注视点序列、第一次到达目标区的时间等。

目前视线跟踪技术按其所借助的媒介分为以硬件为基础和以软件为基础两种。

眼动测量方法：瞳孔－角膜反射向量法，眼电图法，虹膜－巩膜边缘法，角膜反射法，双普金野象法，接触镜法。
笔交互技术

笔式输入具有连续性、使用笔的连续线条绘制可以产生字符、手势或者图形等特点。
- 优点：便于携带，输入带宽信息量大，输入延迟小；
- 缺点：翻译困难，再现精度低。
手写识别技术是笔交互中的一种基本技术。分为联机手写识别，脱机手写识别。
- 联机手写识别通常分为四个阶段：预处理、特征抽取、特征匹配和判别分析
- 脱机手写识别比印刷体汉字识别、联机手写体识别都要困难。脱机手写识别得到的描述则是点阵图像，要得到笔段的点阵通常需要细化运算。细化会损失一些信息，并且不可能得到时间顺序信息。脱机识别中，笔画与笔画之间经常粘连，很难拆分，而且笔段经过与另一笔段交叉分成两段后，也难以分清是否应该连起来。

界面设计

简述人机交互界面的分类，并简述图形用户界面的主要思想⭐

根据表现形式，用户界面分为：命令行界面，图形界面，多通道用户界面。

命令行界面是第一代人机界面，其中人被看成操作员，机器只做出被动的反应，人用手操作键盘，输入数据和命令信息，通过视觉通道获取信息，界面输出只能为静态的文本字符。
图形用户界面是第二代人机界面，是一种基于图形方式的人机界面。由于引入了窗口、图标、菜单、按钮和滚动条等交互技术，减少了键盘输入，提高了交互效率。
多通道用户界面在图形用户界面的基础上进一步综合采用视觉、语音、手势等新的交互通道、设备和交互技术，使用户可以利用多个通道以自然、并行、协作的方式进行人机对话，通过整合来自多个通道的、精确的或不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性。

简述图形用户界面的主要思想⭐

桌面隐喻：指在用户界面中用人们熟悉的桌面上的图例清楚地表示计算机可以处理的能力。

图形用户界面中的图例可以代表对象、动作、属性或其他概念。

对这些概念，即可以用文字，也可以用图例来表示。文字适用于表达某些抽象概念；图例更易于识别，占用较少屏幕空间，可独立于语言。

隐喻的表达方式：静态图标，动画，视频。

隐喻的分类：
- 直接隐喻：隐喻本身就带有操纵的对象。如Word中的表格、图表等图标，图标分别代表了操纵对象。
- 工具隐喻：代表所使用的工具。如用磁盘图标隐喻存盘操作、用打印机图标隐喻打印操作等，这种隐喻设计简单、形象直观，应用也最为普遍。
- 过程隐喻：通过描述操作的过程来暗示该操作。如Word中的撤销和恢复图标。
所见即所得：交互界面中，其所显示的用户交互行为与应用程序最终产生的结果是一致的。
直接操纵：是可以把操作的对象、属性、关系显式地表示出来，用光笔、鼠标、触摸屏或数据手套等指点设备直接从屏幕上获取形象化命令与数据的过程。

直接操纵的对象是命令、数据或是对数据的某种操作。

特性：
- 直接操纵的对象是动作或数据的形象隐喻
- 用指点和选择代替键盘输入
- 操作结果立即可见
- 支持逆向操作
优点：借助物理的、空间的或形象的表示，而不是单纯的文字或数字的表示。

缺点：不具备命令语言界面的某些优点，并且表示复杂语义、抽象语义比较困难。

图形用户界面一般性原则 ⭐⭐

界面要具有一致性
常用操作要有快捷方式
提供必要的错误处理功能
提供信息反馈
允许操作可逆
设计良好的联机帮助
合理划分并高效地使用显示屏幕

理解用户

用户概念

用户是使用某种产品的人，其包含两层含义：

用户是人类的一部分
用户是产品的使用者

ISO13407标准强调以用户为中心的设计。

衡量一个以用户为中心的设计的好坏，关键点是强调产品的最终使用者与产品之间的交互质量，它包括三方面特性：产品在特定使用环境下为特定用户用于特定用途时所具有的有效性（Effectiveness）、效率（Efficiency）和用户主观满意度（Satisfaction）。

用户体验

用户体验（User Experience，UX）通常是指用户在使用产品或系统时的全面体验和满意度。

用户体验主要有下列四个元素组成：

**品牌（**Branding）
使用性（Usability）
功能性（Functionality）
内容（Content）

用户体验是一个迭代过程，影响用户体验的因素很多：

现有技术上的限制，使得设计人员必须优先在相对固定的UI框架内进行设计；
设计的创新，在用户的接受程度上也存在一定的风险；
开发进度表，也会给这样一种具有艺术性的工作带来压力；
设计人员很容易认为他们了解用户需要，但实际情况常常不是这样。

用户的区别

用户的分类：偶然型用户，生疏型用户，熟练型用户，专家型用户。

计算机领域经验和问题领域经验的区别：

用户界面还必须至少从两个维度迎合潜在的广泛经验，这两个维度指的是计算机经验和领域经验。
计算机经验不仅包括对计算机的一般性了解，还包括对尚待开发的系统的经验。计算机领域和问题领域经验都不足的用户所需的用户界面与专家用户的界面将区别很大。

用户交互分析

产品策略分析，用户分析，用户交互特性分析

设计流程

用户的观察和分析

主要方法：情境访谈，焦点小组，单独访谈
设计

对象模型化: 将用户分析的结果按照讨论的对象进行分类整理，并且以各种图示的方法描述其属性、行为和关系。
- 比较抽象的视图有利于进行逻辑分析，称为低真视图（Low-fidelity Prototype）；
- 比较具体的视图更接近于人机界面的最终表达，称为高真视图。
实施

请描述任务分析主要包括哪些内容？⭐⭐

在以用户为中心的设计中，关心的是如何从用户那里理解和获取用户的思维模式，进行充分、直观的表达，并用于交互设计。目前经常用到的是UML。

使用行为分析
顺序分析
协作关系分析
供需约束陈述
用户任务一览表
任务金字塔
故事讲述和情节分析

以用户为中心的界面设计原则有哪些？⭐

及早以用户为中心：设计人员应当在设计过程的早期就致力于了解用户的需要。
综合设计：设计的所有方面应当齐头并进发展，而不是顺次发展，使产品的内部设计与用户界面的需要始终保持一致。
及早并持续性地进行测试：当前对软件测试的唯一可行的方法是根据经验总结出的方法，即若实际用户认为设计是可行的，它就是可行的。通过在开发的全过程引入可用性测试，可以使用户有机会在产品推出之前就设计提供反馈意见。
反复式设计：大问题往往会掩盖小问题的存在。设计人员和开发人员应当在整个测试过程中反复对设计进行修改。

以用户为中心的设计方法⭐

图形用户界面设计与评估
以用户为中心的逻辑交互设计
用于交互优化的结构化用户界面设计
以使用为中心的设计
OVID设计：通过对用户、目标和任务的分析，系统地指导人机交互界面设计，以达到用户满意的设计要求。

主要设计三个模型：设计者模型，编程者模型，用户概念模型

关键：确定交互中涉及的对象，并把这些对象组织到交互视图中。其中，对象来自用户的概念模型
视图是支持特定用户任务的对象的有机组合交互就是那些在交互界面中对对象执行的操作。

过程：
- 对象建模分析：建模是将系统任务的某些概念及其关系用图的方式直观综合地表达出来；分析则是将系统的对象抽象为类，列出对象或类的属性、行为、以及对象间的关系。
- 视图抽象设计：仔细研究系统的对象模型，列出其系统状态，对每个视图抽象出其中涉及的对象，以及对象的属性和行为。
- 概要设计：针对特定的操作系统或交互方式，对抽象的视图设计做进一步的具体设计，产生视图的概要设计。
- 视图的关联设计：很多交互任务需要从一个状态转化为另一个状态，这就要考虑用户完成任务所需的信息和功能，并将不同交互视图之间的联系和状态转换关系整理清楚。

人机交互界面表示模型与实现

人机交互的表示模型

表示模型和转换主要有：行为模型，结构模型，模型转换，表现模型

行为模型：

GOMS
LOTOS：时序关系说明语言是一种形式描述语言
UAN：用户行为标记是一种简单符号语言。标识符主要有两种：用户动作标识符，条件选择标识符
CTT：行为模型是一种基于图形符号，采用层次的树状结构来组织并表示任务模型的方法。

任务种类：抽象任务，用户任务，交互任务，系统任务

结构模型：

产生式规则：是一种结构化语言。组成界面描述的产生式规则有很多，规则定义的顺序并不重要，只要与规则中的条件相匹配，就可以激活相应的动作。产生式规则可以是事件引导的，也可以是状态引导的，或两者兼有。
状态转换网络：定义一个具有一定数量的状态的转换机，称为有限状态机。有限状态机从外部世界中接受事件，并能使有限状态机从一个状态转换为另一个状态。

最基本的状态转换网络：传统状态转换网络，扩展状态转换网络。

状态转换网络模型中定义了状态和状态之间的迁移两种元素，其中状态可从行为模型中的目标的初始状态得到，状态之间的迁移用来表示事件。模型中，这些事件可分为用户事件、内部事件和系统响应事件。

模型转换：行为模型主要对设计起指导作用，在此基础上，设计人员再进行结构模型的创建。

表现模型：描述了用户界面的表现形式，由层次性的交互对象组成。交互对象一般由抽象交互对象和具体交互对象组成。

简述GOMS模型的概念，并简述GOMS模型的是个要素有哪些？⭐⭐

GOMS(Goal, Operator, Method, Selection) 目标操作方法和选择行为模型是交互系统中用来分析用户复杂性的建模技术，用于建立用户行为模型。它采用分治思想，将一个任务进行多层次的细化，通过目标 (Goal)、操作(Operator)、方法 (Method) 以及选择规则 (Selection rule) 四个元素来描述用户行为。

GOMS模型的四个要素

目标：是用户执行任务最终想要得到的结果。
操作：任务分解到最底层时的行为，是用户为了完成任务所必须执行的基本动作。
方法：是描述如何完成目标的过程。用来确定子目标序列及完成目标所需要的操作。
选择规则：是用户要遵守的判定规则，以确定在特定环境下所使用的方法。当有多个方法可供选择时，GOMS中并不认为这是一个随机选择，而是尽量预测可能会使用哪个方法。

请用GOMS模型给出一个拼图游戏的任务描述，要求用户能从给定的几种图形随机产生的需要拼接的图案⭐⭐

Task: jigsaw
GOAL: jigsaw
GOAL:   Select-graph-Task repeat until jigsaw task is finishedGOAL: SELECT-GRAPHselect:USE-click-METHEDSelect a graph from the graphsGOAL: CHECK-JIGSAWCheck if the selected graph is fitIf the graph is not fit, SELECT-NEXT-GRAPHGOAL: JIGSAWPatch up the selected graphSELECT-NEXT-GRAPH                       GOAL: CHECK-JIGSAWCheck if the selected graph is fitIf the graph is not fit, SELECT-NEXT-GRAPHGOAL: JIGSAWPatch up the selected graphSELECT-NEXT-GRAPH

请用状态图描述一个绘制折线的对话过程，并按照状态设计模式给出具体实现过程。 ⭐⭐

“line”选项是画直线（polyline），也就是说，用户可以选择任意点，然后系统将其连接成直线。双击鼠标确定最后一个点，在连续的鼠标点之间由“橡皮圈”相连。用户可以选择多点，用这些点做控制点绘制多点的折线。

简述LOTOS模型中定义了哪些基本算符，并简述这些算符的含义。⭐⭐

T1 ||| T2交替Interleaving）： T1和T2两个任务相互独立执行，可按任意顺序执行，但永远不会同步。

T1 [] T2（选择Choice）:需要在T1，T2中选择一个执行，一旦选择某一个后，必须执行它直到结束，在这中间另一个再无执行机会。任务如何来选择，并没有给出一定的形式化描述。

T1 | [a1,…,an] | T2（同步Synchronization）：任务T1，T2必须在动作（a1,……，an）处保持同步。

T1 [> T2（禁止Deactivation）：一旦T2任务被执行，T1便无效（不活动）。

T1 >> T2（允许Enabling）：当T1成功结束后才允许T2执行。

界面描述语言

一般分为：

命令式语言：要求编程人员明确的指定如何开始工作
陈述式语言：要求编程人员只指定任务要做什么
- UIML：用户界面标记语言，由结构，样式，内容，行为四个方面组成
- XIML：扩展用户界面标记语言，由组件，关系和属性三部分组成
- XUL：XML用户界面语言，提供了创建现代图形界面大多数元素的能力

窗口系统

一般由三种结构：

在各个应用程序内部实现和管理多任务
在操作系统核心集中处理多任务管理
多任务的管理可由独立的管理程序进行管理，应用程序通过使用该管理程序提供的接口来实现对多任务的管理和设备的独立性操作

Web界面设计

简述Web设计的原则？⭐⭐

以用户为中心
一致性
简洁与明确
体现特色
兼顾不同浏览器
明确的设计导航

Web界面一般包括哪些主要元素以及它们所产生的作用是什么？⭐

界面规划

无论那种类型的Web网站，想要把界面设计得丰富多彩，吸引更多的用户前来访问，Web界面规划至关重要。
文化与语言

网站一经发布，意味着全世界都可以看到其中的信息。所以，全球服务型的网站还要考虑如何适应不同国家的不同类型的文化与语言环境。
内容、风格与布局、色彩设计
- 内容：Web界面的内容不仅要遵循简洁明确的原则，也要符合确定的设计目标，面向不同的对象要使用不同的口吻和用词。
- 风格：Web界面的风格是指网站的整体形象给浏览者的综合感受。这个整体形象包括网站的标志、色彩、字体、布局、交互方式、内容价值、存在意义等。一个优秀的网站与实体公司一样，也需要整体的形象包装和设计。
- 布局：Web界面布局就是指如何合理地在界面上分布内容。常用的Web界面布局形式有：“同”字形结构、“国”字形结构、左右对称、自由式。
- 色彩：Web网站给人的第一印象来自视觉冲击。颜色元素在网站的感知和展示上扮演重要的角色。某个企业或个人的风格、文化和态度可以通过Web界面中的色彩混合、调整或者对照的方式体现出来。一般地，Web界面中色彩选择可考虑：鲜明性、独特性、合适性、联想性、和谐性
文本设计
- 文本不要太多，以免转移浏览者注意力。
- 要选择合适的颜色，以便使文本和其它界面元素一起产生一个和谐的视觉效果；文本的颜色应该一致，让用户可以容易地确定不同文本和颜色所代表的内容。
- 选择的字体应和整个界面应融为一体；一旦已经为某些元素选择了字体，应该保证其在整个网站中应用的一致性。
- 网站中可能会使用多种字体，但是同一种字体应该表示相同类型的数据或者信息。
- 通过合理设置页边框、行间距等，使Web界面产生丰富变化的外观和感觉。
- 应该重视标题的处理。标题一般无分级要求，其字形一般较大，字体的选择一般具有多样性，字形的变化修饰则更为丰富
多媒体元素设计

图形、图像、动画、音频和视频等多媒体元素可以弥补平淡文本的不足，增强Web界面的艺术表现力。因此，在设计Web网页时有必要考虑使用不同类型的多媒体元素，使得网站更生动，而且有吸引力。

Web界面基本设计技术有哪些？⭐

HTML JavaScript JavaApplet 服务器端脚本语言 AJAX技术 VRML Java3D

移动界面设计

简述移动界面设计的基本原则⭐⭐

间单直观
个性化设计
易于检索
界面风格一致
根据用户要求使服务个性化
最大限度的避免用户出错
避免不必要的文本输入
文本信息应当本地化

以Android为例简述移动界面设计步骤。⭐⭐

明确用户群
明确用户需求
确定界面的设计目标
建立导航流程
可用性设计要点

移动界面设计中针对数据输入的可用性设计原则有哪些？⭐⭐

1对于数据输入一般应该进行长度、数据类型以及取值范围等形式的格式化,以指导用户输入合法的可用信息。例如,如果用户必须输入的信息中有身份证号时,这个输入字段可被格式化为接受15个或18个字符,还可以进一步被限制为只接受数字或个别字母。
建立数据输入标题,并根据需要在标题中加入所要求的输入格式。
如果已经可以确定数据的某些输入部分,可以预先填好,且不允许用户修改。
应当具有检错机制,如果某些信息必须填写,应当设置成禁止提交空数据。
在格式设置中适当地添加分隔符,以提示用户输入合法的信息。

移动界面的主要输入方式有哪些？⭐⭐

键盘输入
笔输入
多点触控
语音输入

移动互联网的数据接入方式有哪几种？⭐⭐

无线局域网（WLAN）

IEEE制订的IEEE 802.11无线局域网标准(称为“Wi－Fi”) 。欧洲电信标准协会制订的HiperLAN
无线城域网（WMAN）

较大的地理区域内无须布线。IEEE 制订的IEEE 802.16和IEEE 802.16a（又称为WiMAX）
无线个域网（WPAN）

工作于超短距离的个人操作环境中，特点是需要相互通讯的设备可以按需建网，并具有动态拓扑的特点，以适应网络节点的移动性。
“蓝牙”（Bluetooth）技术
高速无线广域网（WWAN）

第三代移动通信系统，即3G（3rd Generation）系统的目标是采用数字技术实现语音、数据以及多媒体信息的高速传输

目前主要的3G标准包括欧洲的WCDMA、美国的CDMA 2000、中国开发的时分同步的码分多址技术。
卫星通讯

用于多信道广播、远程数据传送以及地面多媒体通信系统的接入手段

可用性与用户体验评价

请举例说明至少两种可用性评估方法⭐⭐

用户模型法是用数学模型来模拟人机交互的过程。这种方法把人机交互的过程看做是解决问题的过程。它认为人使用软件系统是有目标的，而一个大的目标可以被细分为许多小的目标。为了完成每个小的目标，又有不同的动作和方法可供选择，每一个细小的过程都可以计算完成的时间，这个方法特别适合于无法进行用户测试的情形。在人机交互领域中最著名的预测模型是GOMS模型。
启发式评估法就是使用一套相对简单、通用、有启发性的可用性原则（即“启发”）来进行可用性评估。

具体方法是，专家使用一组称为“启发式原则”的可用性规则做为指导，评价用户界面元素（如对话框，菜单，在线帮助等）是否符合这些原则。

简述系统可用性的定义,可用性包含了哪五个方面的特性? ⭐

可用性是指特定的用户在特定环境下使用产品并达到特定目标的效力、效率和满意的程度。

可用性并不仅仅与用户界面相关，而是蕴含更广泛的内涵，可以从五个方面去理解可用性：有效性，效率，吸引力，容错能力，易学习性。这五个方面集中反映了用户对产品的需求。

简述支持可用性的设计原则⭐⭐

可学习性

新用户能否很容易地学会交互和达到最佳交互性能
灵活性

用户和系统之间信息交流的方式是否灵活多样
鲁棒性

体现为用户能不能成功达到交互目标和能不能对达到的目标进行评估。还可分为可观察性，可恢复性，响应性，任务规范性

简述可用性工程的概念，可用性工程的生命周期的有哪些主要阶段？ ⭐

所谓可用性工程就是改善系统可用性的迭代过程。其目的就是保证最终产品具有完善的用户界面。一个可用性工程的生命周期大体上分为下面几个阶段：

了解用户
竞争性分析
设定可用目标
用户参与的设计
迭代设计
产品发布后工作

提高可用性的设计原则中包括灵活性原则，体现用户与系统交流信息方式的多样性，主要表现在哪几个方面的具体原则？⭐⭐

灵活性体现用户与系统交流信息方式的多样性，主要表现在：

可定制性
对话主动性
多线程
可互换性
可替换性

简述软件可用性评估应该遵循的原则有哪些？⭐

软件可用性评估应该遵循的原则如下：

最具有权威性的可用性测试和评估不应该针对专业技术人员，而应该针对产品的用户。对软件可用性的测试和评估，应主要由用户来完成。
软件的可用性测试和评估是一个过程，这个过程在产品开发的初期阶段就应该开始。
软件的可用性测试必须是在用户的实际工作任务和操作环境下进行。
要选择有广泛代表性的用户。

简述软件可用性评估的方法有哪些？⭐⭐

诊断式方法
- 用户模型法
  
  用户模型法是用数学模型来模拟人机交互的过程。这种方法把人机交互的过程看做是解决问题的过程。模型可以预测用户完成任务的时间。这个方法特别适合于无法进行用户测试的情形。在人机交互领域中最著名的预测模型是GOMS模型。
- 启发式评估
  
  启发式评估法就是使用一套相对简单、通用、有启发性的可用性原则（即“启发”）来进行可用性评估。
- 认知性遍历
  
  专家测评者从一个说明书或早期的原型出发构建任务场景，然后让用户使用此界面来完成任务，即“遍历”界面。
  
  需要满足四个条件：
  - 对系统的原型的详尽描述
  - 对用户在系统中要完成任务的描述，这些任务应当是大多数用户将要执行的、有代表性的任务。
  - 一个完整的、书面的操作清单，列出使用给定原型完成任务所需要执行的操作。
  - 确定用户的身份，以及评估人员能够确定这些用户已具有哪一类别的知识和经验。
  认知性遍历认为用户完成一个任务的过程有三步:
  - 用户在交互界面上寻找能帮助完成任务的行动方案；
  - 用户选择并采用看起来最能帮助完成任务的行动；
  - 用户评估系统作出的反馈，判断在任务上的进展情况
测试式方法
- 用户测试
  
  就是让用户真正去使用软件系统，由试验人员对实验过程进行观察、记录和测量。这种方法可以准确地反馈用户的使用表现，反映用户的需求，是一种非常有效的方法。
  
  以实验室测试为例，一次用户测试要包括前期准备、测试阶段和测试评价三个部分。
- 问卷调查
  
  问卷调查的执行过程：用户需求分析，问卷设计，问卷实施及结果分析
- 放生思考法
  
  放声思考法也被称为边做边说法，是一种非常有价值的可用性工程方法。在进行这种测试时用户一边执行任务一边大声地说出自己的想法，采用这种方法能够发现其他测试方法不能发现的问题。实验人员在测试过程中一边观察用户一边记录用户的言行举止，使得实验人员能够发现用户的真实想法。但是这也要求实验人员在进行测试之前明确测试目的，对于不同的测试目的，实验人员在测试过程中扮演的角色是不同的。
- 访谈法
  
  研究人员听过与研究对象进行口头交谈，了解其内心在心理活动的内容、特点和过程。

可用性评估方法中的启发式评估方法中启发式原则一般共有10条，请给出其中的6条。⭐⭐

系统状态可见性
系统与用户现实世界相互匹配
用户控制与自由
一致性与标准
错误预防
识别而不是回忆
使用的灵活性与效率
美观而精炼的设计
帮助用户认识、诊断和修正错误
帮助和文档

可用性反应了用户对产品的需求，表现在五个方面（5E），这五个E各指什么？⭐⭐

有效性（Effective）：怎样准确、完整地完成工作或达到目标。
效率（Efficient）：怎样快速地完成工作。
吸引力（Engaging）：用户界面如何吸引用户进行交互并在使用中得到满意和满足。
容错能力（Error Tolerant）：产品避免错误的发生并帮助用户修正错误的能力。
易于学习（Easy to Learn）：支持用户对产品的入门使用和在以后使用过程中的持续学习。

对错题：⭐⭐

Q：软件的可用性评估方法中，启发式评估不需要用户的参与，也不需要特殊设备，所以它的成本相对较低。” 这句话对吗？

A：对
Q：“在产品开发过程中增强可用性可以增加用户的满意度。” 这句话对吗？

A：对
Q：“软件的可用性评估方法中，用户模型法特别适合于无法进行用户测试的情形。” 这句话对吗？

A：对