线性代数1-向量和向量空间

同步于CSDN;音尘杂记

后续几篇笔记主要想回顾整理一下需要用到的数学基础知识，主要包括了线性代数、微积分、概念论、数学优化和信息论等内容。相对比较基础，权当复习回顾完善整个知识体系结构。错误之处，还望诸君不吝指教。

1. 向量

标量（Scalar）是一个实数，只有大小，没有方向。而向量（Vector）是由一组实数组成的有序数组，同时具有大小和方向。例，一个n维向量a 是由n个有序实数组成，表示为：

$$a = [a_1, a_2, ..., a_n], \tag{1.1}$$

其中$a_i$称为向量a的第$i$个分量，或第$i$维。向量符号通常用黑体小写字母$a, b, c$或小写希腊字母$\alpha,\beta, \gamma$ 等来表示。

2. 向量空间

向量空间（Vector Space），也称线性空间（Linear Space），是指由向量组成的集合，并满足以下两个条件：

• 向量加法：向量空间$V$中的两个向量a和b，它们的和a + b也属于空间$V$；

• 标量乘法：向量空间$V$中的任一向量a和任一标量$c$，它们的乘积$c · a$也属于空间$V$。

欧氏空间 一个常用的线性空间是欧氏空间（Euclidean Space）。一个欧氏空间表示通常为$\mathbb{R}^n$，其中n为空间维度（Dimension）。欧氏空间中向量的加法和标量乘法定义为：

$$\begin{eqnarray} [a_1, a_2, ... , a_n] + [b_1, b_2, ... , b_n] &=& [a_1 + b_1, a_2 + b_2, ... , a_n + b_n], \tag{1.2} \\ c[a_1, a_2, ... , a_n] &=& [ca_1, ca_2, ... , ca_n] \tag{1.3} \end{eqnarray}$$

其中$a, b, c \in{\mathbb{R}}$为一个标量。

线性子空间 向量空间$V$的线性子空间$U$是$V$的一个子集，并且满足向量空间的条件（向量加法和标量乘法）。

线性无关 线性空间$V$中的一组向量${v_1, v_2, … , v_n}$，如果对任意的一组标量$\lambda_1, \lambda_2, … , \lambda_n$，满足$\lambda_1v_1 + \lambda_2v_2 + ·… + \lambda_nv_n = 0$，则必然$\lambda_1 = \lambda_2 = … =\lambda_n = 0$，那么${v_1, v_2, … , v_n}$是线性无关的，也称为线性独立的。

基向量 向量空间$V$的基（Base）$B = {e_1, e_2, … , e_n}$ 是$V$的有限子集，其元素之间线性无关。向量空间$V$所有的向量都可以按唯一的方式表达为$B$中向量的线性组合。对任意$v \in V$，存在一组标量$(\lambda_1, \lambda_2, … , \lambda_n)$ 使得:

$$v = \lambda_1e_1 + \lambda_2e_2 + ... + \lambda_ne_n \tag{1.4}$$

其中基$B$中的向量称为基向量（Base Vector）。如果基向量是有序的，则标量$(\lambda_1, \lambda_2, … , \lambda_n)$ 称为向量$v$关于基$B$的坐标（Coordinates）。

n维空间$V$的一组标准基（Standard Basis）为:

$$\begin{eqnarray} e_1 &=& [1, 0, ..., 0], \tag{1.5} \\ e_2 &=& [0, 1, ..., 0], \tag{1.6} \\ &...&, \tag{1.7} \\ e_n &=& [0, 0, ..., 1], \tag{1.8} \end{eqnarray}$$

向量空间$V$中的任一向量$v = [v_1, v_2, … , v_n]$可以唯一的表示为:

$$[v_1, v_2, ... , v_n] = v_1e_1 + v_2e_2 + ... + v_ne_n, \tag{1.9}$$

其中$v_1, v_2, … , v_n$也称为向量$v$的笛卡尔坐标（Cartesian Coordinate）。向量空间中的每个向量可以看作是一个线性空间中的笛卡儿坐标。

内积** 一个n维线性空间中的两个向量$a$和$b$，其内积为:

$$⟨a, b⟩ = \sum_{i=1}^{n}a_ib_i, \tag{1.10}$$

正交 如果向量空间中两个向量的内积为0，则它们正交（Orthogonal）。如果向量空间中一个向量$v$与子空间$U$中的每个向量都正交，那么向量$v$和子空间$U$正交。

3. 常见的向量

全0向量指所有元素都为0的向量，用0表示。全0向量为笛卡尔坐标系中的原点。

全1向量指所有值为1的向量，用1表示。

one-hot向量为有且只有一个元素为1，其余元素都为0 的向量。one-hot向量是在数字电路中的一种状态编码，指对任意给定的状态，状态寄存器中只有1位为1，其余位都为0。

4. 范数

范数（Norm）是一个表示向量“长度”的函数，为向量空间内的所有向量赋予非零的正长度或大小。对于一个n维向量v，一个常见的范数函数为$\ell_p$范数

$$\ell_p(v) = \parallel v \parallel_p = {(\sum_{i=1}^{n}|v_i|^p)}^{1/p}, \tag{1.11}$$

其中$p \geq 0$为一个标量的参数。常见的$p$的取值有1，2，$\infty$等。

$\ell_1$范数 ， $p = 1$

$$\ell_1(v) = \sum_{i=1}^{n}|v_i|, \tag{1.12}$$

$\ell_2$范数 ， $p = 2$

$$\ell_2(v) = \sqrt{\sum_{i=1}^{n}|v_i|^2} = \sqrt{v^Tv}, \tag{1.13}$$

$\ell_2$范数又称为Euclidean范数或者Frobenius范数。从几何角度，向量也可以表示为从原点出发的一个有向线段，其$\ell_2$范数为线段的长度，也常称为向量的模。

$\ell_{\infty}$范数 ， $p = \infty$,表示为各个元素的最大绝对值

$$\ell_{\infty}(v) = ||v||_{\infty} = max\{v_1,v_2, ..., v_n\}, \tag{1.14}$$

主要参考https://github.com/nndl/nndl.github.io