最近在翻看

这本书，对其中的一些英文概念做一些记录。

Link：https://web.stanford.edu/~boyd/books.html

中文版

向量值线性函数和仿射函数的详解

在机器学习、数据科学和工程应用中，向量值线性函数和仿射函数是非常重要的数学工具。本文将从基本定义、性质、矩阵表示及其应用等方面详细介绍它们，并通过具体例子加深理解。

---

一、向量值函数

1.1 定义

向量值函数 ( $f:{\mathbb{R}}^n\to {\mathbb{R}}^m$ ) 是一种将 ( $n$ )-维向量映射为 ( $m$ )-维向量的函数。函数 ( $f$ ) 在 ( $\mathbf{x}$ ) 的值为：

$$f(\mathbf{x})=\left[\begin{array}{c}{f}_1(\mathbf{x})\\ f_2(\mathbf{x})\\ ⋮\\ f_m(\mathbf{x})\end{array}\right]$$

其中，( $f_i(\mathbf{x})$ ) 是一个标量值函数，它接受 ( $\mathbf{x}$ ) 作为输入，输出一个标量。我们也可以将 ( $\mathbf{x}$ ) 展开成标量形式 ( $\mathbf{x}=(x_1,x_2,\dots ,x_n)$ )，此时 ( $f_i(\mathbf{x})=f_i(x_1,x_2,\dots ,x_n)$ )。

---

二、线性函数

2.1 定义

向量值函数 ($f:{\mathbb{R}}^n\to {\mathbb{R}}^m$ ) 称为线性函数，如果它满足叠加性（superposition property）：

$$f(\alpha \mathbf{x}+\beta \mathbf{y})=\alpha f(\mathbf{x})+\beta f(\mathbf{y}),$$

其中 ( $\mathbf{x},\mathbf{y}$ ) 是任意的 ( $n$ )-维向量，( $\alpha ,\beta$ ) 是任意标量。

在线性函数中，( $f(\mathbf{x})$ ) 可以表示为矩阵-向量乘积：

$$f(\mathbf{x})=A\mathbf{x},$$

其中 ( $A$ ) 是一个 ( $m\times n$ ) 的矩阵。

---

2.2 矩阵表示的推导

假设 ( $f:{\mathbb{R}}^n\to {\mathbb{R}}^m$ ) 是线性函数，那么可以通过以下方式表示：

$$f(\mathbf{x})=x_{1}f({\mathbf{e}}_1)+x_{2}f({\mathbf{e}}_2)+\cdots +x_{n}f({\mathbf{e}}_n),$$

其中 ( ${\mathbf{e}}_k$ ) 是 ( ${\mathbb{R}}^n$ ) 的第 ( $k$ ) 个单位向量（只有第 ( $k$ ) 个元素为 1，其余为 0）。将 ( $f({\mathbf{e}}_k)$ ) 依次作为矩阵 ( $A$ ) 的列向量：

$$A=\left[\begin{array}{cccc}f({\mathbf{e}}_1)& f({\mathbf{e}}_2)& \cdots & f({\mathbf{e}}_n)\end{array}\right].$$

于是 ( $f(\mathbf{x})$ ) 可以写为：

$$f(\mathbf{x})=A\mathbf{x}.$$

---

2.3 示例

（1）取反函数

函数 ( $f(\mathbf{x})=-\mathbf{x}$ ) 将输入向量的每个元素取反。矩阵形式为：

$$A=-I,$$

其中 ( $I$ ) 是 ( $n\times n$ ) 的单位矩阵。

（2）元素顺序翻转

函数 ( $f(\mathbf{x})$ ) 翻转输入向量的元素顺序，例如将 ( $\mathbf{x}=(x_1,x_2,\dots ,x_n)$ ) 映射为 ( $(x_n,x_{n-1},\dots ,x_1)$ )。对应的矩阵为：

$$A=\left[\begin{array}{ccccc}0& 0& \cdots & 0& 1\\ 0& 0& \cdots & 1& 0\\ ⋮& ⋮& \cdots & ⋮& ⋮\\ 1& 0& \cdots & 0& 0\end{array}\right].$$

这是单位矩阵 ( $I$ ) 的列顺序翻转版本。

---

三、仿射函数

3.1 定义

仿射函数是线性函数的推广，形式为：
$$f(\mathbf{x})=A\mathbf{x}+\mathbf{b},$$

其中 ( $A$ ) 是 ( $m\times n$ ) 矩阵，( $\mathbf{b}$ ) 是 ( $m$ )-维向量。

仿射函数可以看作是在线性变换 ( $A\mathbf{x}$ ) 的基础上，添加了一个平移向量 ( $\mathbf{b}$ )。

---

3.2 性质

仿射函数与线性函数的主要区别在于叠加性质：

• 对线性函数，叠加性成立：( $f(\alpha \mathbf{x}+\beta \mathbf{y})=\alpha f(\mathbf{x})+\beta f(\mathbf{y})$ )。
• 对仿射函数，仅当 ( $\alpha +\beta =1$ ) 时成立。

---

3.3 参数的唯一性

仿射函数的矩阵 ( $A$ ) 和向量 ( $\mathbf{b}$ ) 是唯一的。我们可以通过以下方法确定它们：

1. 计算平移向量 ( KaTeX parse error: Can't use function '\)' in math mode at position 12: \mathbf{b} \̲)̲：\( \mathbf{b} … )；
2. 计算矩阵 ( $A$ ) 的列：( $A=\left[\begin{array}{cccc}f({\mathbf{e}}_1)-\mathbf{b}& f({\mathbf{e}}_2)-\mathbf{b}& \cdots & f({\mathbf{e}}_n)-\mathbf{b}\end{array}\right]$ )。

---

3.4 示例

（1）平移函数

仿射函数 ( $f(\mathbf{x})=\mathbf{x}+\mathbf{b}$ ) 将向量 ( $\mathbf{x}$ ) 平移 ( $\mathbf{b}$)。对应的矩阵表示为：

$$A=I,\mathbf{b}=\mathbf{b}.$$

（2）缩放与偏移

仿射函数 ( $f(\mathbf{x})=2\mathbf{x}+\mathbf{b}$ ) 对 ( $\mathbf{x}$ ) 进行缩放（放大 2 倍）后，再平移 ( $\mathbf{b}$ )。对应的矩阵表示为：

$$A=2I,\mathbf{b}=\mathbf{b}.$$

---

四、线性与仿射函数的应用

4.1 计算机视觉

• 图像变换：通过矩阵 ( $A$ ) 实现旋转、缩放或翻转，通过 ( $\mathbf{b}$ ) 实现平移。
• 特征提取：线性函数常用于从图像中提取特征，例如卷积操作。

4.2 机器学习

• 线性模型：线性回归和支持向量机都是线性函数的直接应用。
• 神经网络：全连接层中的仿射变换 ( $f(\mathbf{x})=A\mathbf{x}+\mathbf{b}$ ) 是基础运算。

---

五、总结

向量值线性函数和仿射函数是数学和工程中的重要工具。线性函数描述了纯粹的线性变换，而仿射函数在此基础上增加了平移操作。这些函数通过矩阵表示具有简单直观的形式，便于分析和实现。掌握它们的定义、性质及应用，对深入理解机器学习和数据处理有重要意义。

英文版

Introduction to Vector-Valued Linear and Affine Functions

In this blog, we’ll explore vector-valued linear and affine functions, providing detailed explanations, examples, and clarifications. These concepts are essential in understanding transformations and mappings in linear algebra and are widely used in various fields, including machine learning, optimization, and physics.

---

1. Linear Functions

A vector-valued linear function maps vectors from one space ( ${\mathbb{R}}^n$ ) to another space ( ${\mathbb{R}}^m$ ), and is expressed as:
$$f(x)=Ax$$
where:

• ( $x\in {\mathbb{R}}^n$ ) is the input vector.
• ( $A\in {\mathbb{R}}^{m\times n}$ ) is a matrix.
• ( $f(x)\in {\mathbb{R}}^m$ ) is the output vector.

Key Properties of Linear Functions

Linear functions satisfy superposition:
$$f(\alpha x+\beta y)=\alpha f(x)+\beta f(y)$$
This property means that scaling and summing inputs before applying the function is equivalent to scaling and summing their corresponding outputs.

Derivation of Linear Representation

If ( $f(x)$ ) is a linear function, the matrix ( $A$ ) can be constructed by evaluating ( $f(x)$ ) on the unit vectors ( $e_1,e_2,\dots ,e_n$ ):
$$A=\left[\begin{array}{cccc}f(e_1)& f(e_2)& \cdots & f(e_n)\end{array}\right]$$
This ensures that ( $f(x)=Ax$ ) for all ( $x$ ).

Examples of Linear Functions

Example 1: Negation

Function: ( $f(x)=-x$ )
Matrix: ( $A=-I$ ) (where ( $I$ ) is the identity matrix).
$$f(x)=-Ix=-x$$

Example 2: Reversal

Function: ( $f(x)$ ) reverses the order of the elements in ( $x$ ).
Matrix ( $A$ ):
$$A=\left[\begin{array}{cccc}0& 0& \cdots & 1\\ 0& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 1& 0& \cdots & 0\end{array}\right]$$
For example, if ( $x=[1,2,3{]}^T$ ), then ( $f(x)=[3,2,1{]}^T$ ).

---

2. Affine Functions

A vector-valued affine function adds a constant offset to a linear function:
$$f(x)=Ax+b$$
where:

• ( $A\in {\mathbb{R}}^{m\times n}$ ) is the linear transformation matrix.
• ( $b\in {\mathbb{R}}^m$ ) is a constant vector (bias term).

Key Properties of Affine Functions

Affine functions satisfy affine combination superposition:
$$f(\alpha x+\beta y)=\alpha f(x)+\beta f(y),\text{if }\alpha +\beta =1$$
Unlike linear functions, affine functions do not satisfy full superposition for arbitrary ( $\alpha$ ) and ( $\beta$ ) unless ( $b=0$ ).

Derivation of Parameters ( $A$) and ( $b$ )

To find ( $A$ ) and ( $b$ ), evaluate ( $f(x)$ ) at specific points:

• ( $f(0)=b$ ) (the bias vector).
• For each unit vector ( $e_k$ ):
  $$A=\left[\begin{array}{cccc}f(e_1)-b& f(e_2)-b& \cdots & f(e_n)-b\end{array}\right]$$

Examples of Affine Functions

Example 1: Translation (平移)

Function: ( $f(x)=x+b$ ), where ( $b$ ) shifts all elements of ( $x$ ).
Matrix: ( $A=I$ ), the identity matrix.
For ( $x=[1,2{]}^T$ ) and ( $b=[3,4{]}^T$ ):
$$f(x)=Ax+b=[1,2{]}^T+[3,4{]}^T=[4,6{]}^T$$

Example 2: Scaling with Offset

Function: ( $f(x)=2x+[1,-1{]}^T$ ).
Matrix: ( $A=2I$ ), and bias: ( $b=[1,-1{]}^T$ ).
For ( $x=[1,2{]}^T$ ):
$$f(x)=2[1,2{]}^T+[1,-1{]}^T=[2,4{]}^T+[1,-1{]}^T=[3,3{]}^T$$

---

3. Linear vs. Affine Functions

Property	Linear Function (( $Ax$ ))	Affine Function (( $Ax+b$ ))
Superposition	Holds for all linear combinations.	Holds for affine combinations where ( $\alpha +\beta =1$ ).
Contains a bias term ($b$ )	No (( $b=0$ )).	Yes.
Example	( $f(x)=-x$ ).	( $f(x)=x+[1,2{]}^T$ ).

---

4. Applications of Linear and Affine Functions

1. Machine Learning:

   • Linear transformations are used in neural network layers (( $Wx+b$ )).
   • Affine functions are fundamental in regression models.

2. Graphics:

   • Affine functions are applied in transformations like scaling, rotation, and translation of images or 3D objects.

3. Physics:

   • Linear functions describe physical systems under linear dynamics, while affine functions model systems with constant external forces.

---

5. Conclusion

Linear and affine functions form the backbone of many mathematical models, providing elegant and concise ways to represent transformations. Understanding their properties and representations is critical for applications in machine learning, computer vision, and beyond.

后记

2024年12月19日14点27分于上海，在GPT4o大模型辅助下完成。