多媒体系统

多媒体可分为感觉媒体、表示媒体、表现媒体、交换媒体。

• 感觉媒体：直接使人产生感觉的媒体，比如声音、图像、视频。
• 表示媒体：计算机中记录感觉的数据格式。
• 表现媒体：记录感觉的输入设备，呈现感觉媒体的输出设备。
• 交换媒体：存储、传输感觉的物理介质，如存储器、各类连接线。

声音

声音是一种连续的波，称为声波。使用幅度和频率描述。

• 幅度：单位分贝（dB），描述声波的振幅。
• 频率：单位赫兹（Hz），描述声波每秒变化次数。

按照Hz的大小，声波可分为人耳可听见的音频信号（20Hz~20kHz），次声波信号（小于20Hz），超声波信号（大于20kHz）。
声波会包含多种不同频率的振动。具有清晰可辨音高的振动频率，称为基音频率，其他频率为泛音。

• 乐音：泛音频率是基音频率的整数倍。
• 噪音：泛音频率不是基音频率的整数倍。

声音转换成计算机处理的数据，需要进行数字化。包含3个步骤：

1. 采样：时间连续的信号在时间轴上离散化。
2. 量化：连续的幅度值转换为离散值。
3. 编码：对数字化信息压缩编码，减少数据量，便于存储、处理、传输。

数字化后，声音的主要参数由采样频率、量化位数、声道数目、数据率、压缩比。
数字化表示声音的方式分波形声音信息，非波形声音信息。波形声音是直接对实际声音进行采样、量化获得。非波形声音是使用参数、模型等数据方法对声音进行简要描述，并通过重构声音。

图形与图像

表示图形、图像的两个要素是形状和颜色。

• 图形：使用矢量，如直线、曲线、圆弧等表示形状。
• 图像：使用像素点描述形状。

颜色的三要素是色调，饱和度，亮度。三基色是指红、绿、蓝，使用三基色混合可得任意一种颜色。

• 色调：颜色的类别，例如红、绿、蓝。
• 饱和度：某一颜色的深浅程度。
• 亮度：给人的明暗程度感觉。

图像转换成计算机处理的数据，需要进行数字化。
对颜色信息进行量化，是将实际连续的色彩值离散化表示。
根据数字化图像应用场景不同，有不同的颜色模型。

• RGB颜色模型，也叫加色模型，用于荧光屏显示图像，发射不同强度的电子光束，混合得到不同颜色。
• CMY颜色模型，也叫减色模型，用于打印，因打印纸不是自发光的，无法通过混光产生不同颜色。
• YUV颜色模型，可以分离亮度Y，色度信息U,V。为黑白电视信号兼容提供支持。

真彩色：图像的R,G,B像素值直接决定显示设备的基色强度。
伪彩色：图像像素值作为地址索引，在颜色表查找色彩进行表示。
对形状信息进行量化，是将空间连续的位置离散化表示，最终得到一个矩阵/网格。
由于图像数据量大，经过压缩更利于存储、传输。图像压缩分有损压缩、无损压缩两种。

• 有损压缩：压缩后有不可恢复的信息丢失，比如损失人眼不敏感的图像信息。
• 无损压缩：压缩前和解压后的数据完全一致。

动画和视频

动画、视频是将静态的图像按照时间顺序显示，形成连续的动态画面。
按照运动控制方式，分为实时动画、矢量动画。

• 实时动画：用各种算法实现运动物体的控制。
• 矢量动画：矢量图产生运动效果形成的动画。

按照视觉空间，分为二维动画、三维动画。

• 二维动画：调整三维空间视点，看到的内容不变。
• 三维动画：调整三维空间视点，能看到不同的内容。

三维动画物体建模称为造型，有3种记录形式。

• 线框模型：用线条描述物体，包括顶点、棱边。
• 表面模型：用面的组合描述物体。例如，用6个面描述立方体。
• 实体模型：用基本形体组合物体的模型是实体模型。

按信号源，分为模拟视频、数字视频。

• 模拟视频：由连续的模拟信号组成的视频，例如电视系统传播的信号。每秒25帧，人眼不会感到闪烁。
• 数字视频：活动的、连续的图像序列。

视频编码分为帧内压缩，帧间压缩。

• 帧内压缩：单独图像帧当作静态图像，应用静态图像压缩算法实现压缩。
• 帧间压缩：利用帧间信息冗余，实现高效数据压缩。