向量空间和子空间

向量空间和子空间

在学习线性代数的时候,学习过线性空间和基(basis) 的概念。在深入学习泛函后,提到了向量空间 (vector space) 、子空间 (subspace),这里记录下自己的学习心得

向量空间对深入理解线性代数非常重要

1. 向量空间 (vector space)

a vector space is a nonempty set \(\mathcal{V}\) of object (elementary), called vectors, on which are defined two operations, called addition and multiplication by scalars (real number or complex number), subject to the ten axioms below. The axioms must hold for all \(\mathbf u\) , \(\mathbf v\) and \(\mathbf w\) in \(\mathcal{V}\) and for all scalars \(c\) and \(d\).

  1. \(\mathbf {u+v}\) is in \(\mathcal{V}\).
  2. \(\mathbf {u+v = v + u}\) .
  3. \(\mathbf {(u+v) + w = u + (v +w)}\)
  4. There is a vector (called the zero vector) \(\mathbf 0\) in \(\mathcal{V}\) such that \(\mathbf {u+ 0 = u}\)
  5. For each \(\mathbf u\) in \(\mathcal{V}\), there is vector \(\mathbf {-u}\) in \(\mathcal{V}\) satisfying \(\mathbf {u+(-u)=0}\)
  6. \(c \mathbf u\) is in \(\mathcal{V}\).
  7. \(c \mathbf {(u+v)} = c \mathbf u + c \mathbf v\)
  8. \((c+d) \mathbf u = c \mathbf u + d \mathbf u\)
  9. \((cd) \mathbf u = c (d \mathbf u)\)
  10. \(1\mathbf u = \mathbf u\)

对于向量空间 \(\mathcal{V}\) 中的任意向量 \(\mathbf {u}\)\(\mathbf {v}\) ,如果我们定义向量加法 \(\mathbf {u} + \mathbf {v}\) 和 标量乘法 \(c\mathbf {u}\) ,上述公理为向量空间所有必须满足的条件,即:

向量空间 = 向量集合 + 向量加法和标量乘法定义 + 10 个公理

:

  • 向量空间对加法 (addition) 和数乘 (scalar multiplication ) 运算封闭
  • 向量空间 (vector space) 也称线性空间 (linear space)

举个例子: \(n\) 为大于 \(0\) 的整数,\({\mathcal {P}}_{n}\) 定义为所有次数不超过 \(n\) 的多项式函数集合

那么 \({\mathcal {P}}_{n}\) 的成员有如下形式:

\[
{\mathcal {P}}_{n}(t) = a_0 + a_1 t + a_2 t^2 + \cdots + a_n t^n
\]

这里 \(a_0, a_1, \ldots, a_n\) 是多项式函数系数,所有的 \((a_0, a_1, \ldots, a_n)\) 组成 \({\mathcal {P}}_{n}\) 空间,\(t\) 为变量

显然 \({\mathcal {P}}_{n}\) 为一个向量空间,满足上面的所有公理,只需要证明对加法和数乘运算封闭。

再比如 \(\mathcal {X} = \mathcal{C}[a, b] = \lbrace \mathbf {x}: [a, b] \rightarrow \mathbb F \mid x \; \text {is continuous} \rbrace\) 。用中文解释就是函数集合 \(\mathcal {X}\) 的所有元素 (每个元素都是连续函数) 将 \([a, b]\) 区间的任何数映射到空间 \(\mathbb F\) (\(\mathbb F\) 为实数空间,或者复数空间), 同时我们定义加法和数乘运算如下: 对于任意 \(\mathbf {x, y} \in \mathcal {X}\) 和所有 \(\alpha \in \mathbb F\) ,定义 \[
\begin {aligned}
(\mathbf x+ \mathbf y)(t) &= \mathbf x(t) + \mathbf y(t) \\
(\alpha \mathbf {x})(t) &= \alpha \mathbf {x} (t)
\end {aligned}
\]

其中 \(t \in [a, b]\) , 显然 \(\mathcal{C}[a, b]\) 是向量空间 (线性空间)

1.1 常用的向量空间 (线性空间)

最容易理解的: \(n\) 维列向量 \(\mathbf x \in \mathbb R^n\), 我们可以将其理解为 \(n\) 维空间的一个坐标,是不是很好理解。那么所有的点组成自然就是这个 \(n\) 维空间

这里 \(\mathbb R^n\) 其实就是一个向量空间,

其他常见的向量空间如下:

  1. 复数列向量

\(\mathbb C^N\) : Vector space of complex-valued finite-dimension vectors \[
\mathbb C^N = \big \lbrace \mathbf {x} = [x_0 \;\; x_1 \;\cdots \; x_{N-1}]^T \big | x_n \in \mathbb C, n \in \lbrace0, 1, \ldots, N-1 \rbrace \big \rbrace
\]
定义向量加法(vector addition) 和 数乘 (scalar multiplication) 为各分量相加或相乘

  1. 无限维 (维度可以为负数) 的复数列向量
    \(\mathbb C^\mathbb Z\) : Vector space of complex-valued sequence over \(\mathbb Z\) \[
    \mathbb C^\mathbb Z = \big \lbrace \mathbf {x} = [\cdots \; x_1 \; \; x_0 \;\; x_1 \;\cdots]^T \big | x_n \in \mathbb C, n \in \mathbb Z \big \rbrace
    \]

  2. 维度为实数的复数列向量
    \(\mathbb C^\mathbb R\) : Vector space of complex-valued sequence over \(\mathbb R\) \[
    \mathbb C^\mathbb R= \big \lbrace \mathbf x \; \big | \; \mathbf x(t) \in \mathbb C, t \in \mathbb R \big \rbrace
    \]
    定义加法和乘法操作如下: \[
    \begin {aligned}
    (\mathbf x+ \mathbf y)(t) &= \mathbf x(t) + \mathbf y(t) \\
    (\alpha \mathbf {x})(t) &= \alpha \mathbf {x} (t)
    \end {aligned}
    \]

思考一个问题,基本元素除了是向量 (其维度是向量长度),还可以是矩阵吗 ?

比如所有 \(3 \times 2\) 的实矩阵组成的空间,显然可以满足 加法 和数乘运算

1.2 线性空间的子集(subset)

如果 \(\mathcal {X}\) 是线性空间, \(\mathbf {x} \in \mathcal {X}\) 并且 \(\mathcal {A}\)\(\mathcal {B}\)\(\mathcal {X}\) 的子集(subset),\(\lambda\) 是标量 \[
\begin {align}
\mathbf {x} + \mathcal {A} \quad &:= \quad \lbrace \mathbf {x} + \mathbf {a}: \mathbf {a} \in \mathcal {A} \rbrace \\
\mathcal {A} + \mathcal {B} \quad &:= \quad \lbrace \mathbf {a} + \mathbf {b} : \mathbf {a} \in \mathcal {A}, \mathbf {b} \in \mathcal {B} \rbrace \\
\lambda \mathcal {A} \quad &:= \quad \lbrace \lambda \mathbf {a} : \mathbf {a} \in \mathcal {A} \rbrace
\end {align}
\]

注意: \(\mathcal {A} + \mathcal {A} \neq 2\mathcal {A}\)

我在其他博客会解释为什么定义这些运算 …

2. 线性子空间 (linear subspace)

A linear subspace of a vector space (linear space) \(\mathcal{V}\) is a subset \(\mathcal{H}\) of \(\mathcal{V}\) that has three properties:

  • The zero vector \(\{ \mathbf 0\} = \mathcal {O}\) of \(\mathcal{V}\) is in \(\mathcal{H}\)
  • For each \(\mathbf u\) and \(\mathbf u\) are in \(\mathcal{H}\) , \(\mathbf {u+v}\) is in \(\mathcal{H}\) (In this case we say \(\mathcal{H}\) is closed under vector addition)
  • For each \(\mathbf u\) in \(\mathcal{H}\) and each scalar \(c\) , \(c \mathbf u\) is in \(\mathcal{H}\) . (In this case we say \(\mathcal{H}\) is closed under scalar multiplication)

所以子空间也是对向量加法和标量乘法运算是封闭的

显然,每个线性空间 \(\mathcal{V}\) 都有至少两个子空间: \(\lbrace \mathbf 0 \rbrace\)\(\mathcal{V}\), 这两个子空间称为 \(\mathcal{V}\) 的 improper subspaces, 所有其他子空间称为 proper subspace

子空间对向量加法和标量乘法运算封闭,它满足向量空间的所有公理,自然子空间也是向量空间,那我们为什么还要额外定义子空间的概念 ?

强调某个集合是子空间,是为了说明它是某个向量空间的子集合,并不是独立存在的向量空间。

线性子空间性质: 定义 \(\mathcal{H}\) 为一个线性子空间,则

  1. \(\mathcal {H} + \mathcal {H} = \mathcal {H}\)
  2. \(\lambda \mathcal {H} = \mathcal {H}\) ,其中 \(\lambda \in \mathbb F\)

例子:

  1. 如果 \(\mathcal {X} = \mathbb R^2\), 那么所有过原点的直线都是不平凡的 (nontrivial) 线性子空间
  2. \(\mathcal {H} = \lbrace \mathbf{x} = (0, x_2, x_3, \ldots , x_n) : x_i \in \mathbb R, i = 2, 3, \ldots, n \rbrace\)\(\mathbb R^n\) 的子空间
  3. \(\mathcal {H} = \lbrace x: [-1, 1] \to \mathbb R, x \; \text {continuous and} \; x(0) = 0 \rbrace\) is a subspace of \(\mathcal {C}[-1, 1]\)
  4. \(\mathcal {H} = \lbrace x: [-1, 1] \to \mathbb R, x \; \text {continuous and} \; x(0) = 1 \rbrace\) is not a subspace of \(\mathcal {C}[-1, 1]\)

我们定义 linear hull of \(\mathcal {K}\) : the intersection of all linear subspaces of \(\mathcal {X}\) that contain \(\mathcal {K}\) , 包含 \(\mathcal {K}\) 的所有线性子空间的交集。表示为 \(lin(\mathcal {K})\)\(span(\mathcal {K})\)

其实, \(\mathcal {K}​\) 的 linear hull 是包含 \(\mathcal {K}​\) 的最小线性子空间。利用集合的互相包含证明。 \[
lin(\mathcal {K}) = \Big \lbrace \sum_{j=1}^n \lambda_j \mathbf {v}_j \mid \mathbf {v}_1, \mathbf {v}_2, \ldots, \mathbf {v}_n \in \mathcal {K}, \lambda_1, \lambda_2, \ldots, \lambda_n \in \mathbb F , n \in \mathbb N \Big \rbrace
\]

2.1 线性独立 (linear independent) 和基 (basis)

由线性代数的线性独立概念拓展而来,

定义1: 线性空间 \(\mathcal {X}\) 的子集 \(\{ \mathbf {v}_1, \mathbf {v}_2, \ldots, \mathbf {v}_n \}\) 是线性独立的,如果等式: \[
\alpha_1 \mathbf {v}_1 + \alpha_2 \mathbf {v}_2 + \cdots + \alpha_n \mathbf {v}_n = 0
\]
只有解 \(\alpha_1 = \alpha_2 = \cdots = \alpha_n = 0\) 。 如果还有其他解,那么该子集是线性非独立的(linear dependent)

定义2: 线性空间 \(\mathcal {X}\) 的子集 \(\mathcal {K}\) 是线性独立的,如果集合 \(\mathcal {K}\) 的每一个有限子集 \(\{ \mathbf {v}_1, \mathbf {v}_2, \ldots, \mathbf {v}_n \}\) 都是线性独立的

定义3: 如果 \(\{ \mathbf {v}_1, \mathbf {v}_2, \ldots, \mathbf {v}_n \}\) 线性独立,定义线性空间 \(\mathcal {X} = lin\{ \mathbf {x}_1, \mathbf {x}_2, \ldots, \mathbf {x}_n \}\) , 那么 \(\mathcal {X}\) 的维度 (dimension)为 \(n\) (基底的个数),而 \(\{ \mathbf {v}_1, \mathbf {v}_2, \ldots, \mathbf {v}_n \}\)\(\mathcal {X}\) 的一组基底 (basis)。

向量空间的基的特点:

  • 基之间线性独立
  • 基的线性组合填满整个线性空间 \(\mathcal {X}\) ,或者说 \(\{ \mathbf {v}_1, \mathbf {v}_2, \ldots, \mathbf {v}_n \}\) 生成(span) \(\mathcal {X}\), 又或者说 \(\mathcal {X}\) 的每一个向量都可以表示为 \(\{ \mathbf {v}_1, \mathbf {v}_2, \ldots, \mathbf {v}_n \}\) 的线性组合

如果 \(\mathcal {X}\) 的基底的个数不是有限的,我们称 \(\mathcal {X}\) 无限维

为什么要求基底线性独立 ?

答: 是为了实现基底的唯一表述性。证明用反证法即可

注: 维度并不是简单地每个元素的维度,而是基底的个数。比如二维笛卡尔坐标系中所有 \((x, 2x)\) 的点组成的集合,其中 \((x \in \mathbb R)\) ,这个集合显然是线性空间 \(\mathbb R^2\)的一个线性子空间。虽然每个坐标有两个维度\((x\)\(y)\),但这个集合的维度是 1,因为我们只需要一个基(basis) 就够了。

A basis is a maximal independent set. It cannot be made larger without losing independence. A basis is also a minimal spanning set. It cannot be made smaller and still span the space.

例子:

  1. 空间 \(\mathbb R^n\) 的维度为 \(n\) , 它的标准基为 \(\{ \mathbf {e}_1, \mathbf {e}_2, \ldots, \mathbf {e}_n \}\) ,其中对于 \(j = 1, 2, …, n\), 我们有 \(\mathbf {e}_j = (0, 0, …, 1, 0, …, 0)\) ,只有第 \(j\) 个元素为 \(1\)
  2. 前面提到的空间 \({\mathcal {P}}_{n}\) – 最多 \(n\) 阶的多项式函数空间,它的维度为 \(n+1\) ,它的标准基底为 \(\{ 1, t, t^2, \ldots, t^n \}\)
  3. 函数空间 \(\mathcal {C}[a, b]\) 是无限维的 (infinite-dimensional)

2.2 仿射空间 affine space

仿射集定义: If \(\mathcal {C}\) is an affine set, \(\mathbf {v}_1, …, \mathbf {v}_k \in \mathcal {C}\) , and \(\theta_1+ … + \theta_k = 1\), then the point \(\theta_1 \mathbf {v}_1 + … + \theta_k \mathbf {v}_k\) also belongs to \(\mathcal {C}\).

If \(\mathcal {C}\) is an affine set and \(\mathbf {v}_0 \in \mathcal {C}\), then the set \(\mathcal {V}\) is a subspace (子空间). \[
\mathcal {V} = \mathcal {C} – \mathbf {v}_0 = \{ \mathbf {x} – \mathbf {v}_0 | \mathbf {x} \in \mathcal {C} \}
\]
请牢记,\(\mathcal {V}\) 不是仿射集 \(\mathcal {C}\) 去除元素 \(\mathbf {v}_0\) 得到的集合,而是 \(\mathcal {C}\) 在其中一个元素的基础上整体偏移得到的。

证明:

假设 \(\mathbf {x}_1, \mathbf {x}_2 \in \mathcal{V}\) ,则根据定义 \(\mathbf {x}_1 + \mathbf {v}_0 \in \mathcal {C}\)\(\mathbf {x}_2 + \mathbf {v}_0 \in \mathcal {C}\), 我们要证明 \(\mathcal {V}\) 是子空间,即证明 \(\alpha \mathbf {x}_1 + \beta \mathbf {x}_2 \in \mathcal {V}\)\(\alpha, \beta \in \mathbb {F}\) ,等价于证明 \(\alpha \mathbf {x}_1 + \beta \mathbf {x}_2 + \mathbf {v}_0 \in \mathcal {C}\) ,显然 \[
\alpha \mathbf {x}_1 + \beta \mathbf {x}_2 + \mathbf {v}_0 = \alpha (\mathbf {x}_1 + \mathbf {v}_0) + \beta (\mathbf {x}_2 + \mathbf {v}_0) + (1- \alpha – \beta) \mathbf {v}_0 \in \mathcal {C}
\]
因为 \((\mathbf {x}_1+\mathbf {v}_0), (\mathbf {x}_2+\mathbf {v}_0), \mathbf {v}_0 \in \mathcal {C}\) 而且对应系数之和为 1

这里还得提一下 周老师关于仿射空间的理解

首先定义仿射扩张 (affine span),类似 linear hull 的定义: \[
\mathrm {aff} \{\mathbf {v}_1, …, \mathbf {v}_k \} = \Big \{c_1 \mathbf {v}_1 + \cdots + c_k \mathbf {v}_k \vert c_1 + \ldots + c_k = 1\Big \}
\]
类似上面的结论,换一种说法,可以得到如下结论:

定理一 : 若 \(\mathbf {x} \in \mathrm {aff} \{\mathbf {v}_1, …, \mathbf {v}_k \}\) ,则 \(\mathbf {x} -\mathbf {v}_1\) 一定可以表示为 \(\mathbf {v}_2 -\mathbf {v}_1, \ldots, \mathbf {v}_k -\mathbf {v}_1\) 的线性组合。反之亦然。

这个定理同样也说明了仿射集合和子空间的关系。证明过程类似。

举个例子,三维空间 \(\mathbb {R}^3\) 中不共线的三点 \(\mathbf {v}_1, \mathbf {v}_2, \mathbf {v}_3\) 。对于 \(\mathbf {x} \in \mathrm {aff} \{\mathbf {v}_1, \mathbf {v}_2 , \mathbf {v}_3 \}\), 根据上面定理,一定存在 \(c_2\)\(c_3\) ,使得 \(\mathbf {x} -\mathbf {v}_1 = c_2 (\mathbf {v}_2 -\mathbf {v}_1) + c_3 (\mathbf {v}_3 -\mathbf {v}_1)\) ,即: \[
\mathbf {x} = \mathbf {v}_1 + c_2 (\mathbf {v}_2 -\mathbf {v}_1) + c_3 (\mathbf {v}_3 -\mathbf {v}_1) = (1 -c_2 – c_3)\mathbf {v}_1 + c_2 \mathbf {v}_2+ c_3 \mathbf {v}_3
\]
\(\mathrm {aff} \{\mathbf {v}_1, \mathbf {v}_2 , \mathbf {v}_3 \}\) 就是 \(\mathrm {span} \{ \mathbf {v}_2 -\mathbf {v}_1, \mathbf {v}_3 -\mathbf {v}_1 \}\) 平移 \(\mathbf {v}_1\) 而得的平面,也就是过 \(\mathbf {v}_1, \mathbf {v}_2, \mathbf {v}_3\) 三点的平面,见下图:

由此可知,仿射扩张的几何意义是 一个子空间加上平移 ,由此,我们将 \(\mathbb {R}^n\) 的子空间 \(\mathcal {W}\) 自原点平移 \(\mathbf {p} \in \mathbb {R}^n\) 所构成的集合 \(\mathcal {S}\) 称为仿射空间 (affine space), 即 \[
\mathcal {S} = \mathcal {W} + \mathbf {p} \overset { \underset {\mathrm {def}}{}}{=} \big \{ \mathbf {w} + \mathbf {p} \vert \mathbf {w} \in \mathcal {W} \big \}
\]
定义仿射空间 \(S\) 的维数等于子空间 \(\mathcal {W}\) 的维数,记为 \(\dim \mathcal {S} = \dim \mathcal {W}\)

定理二: 对于 \(\mathbf {v}_1, …, \mathbf {v}_k \in \mathbb {R}^n\) ,若 \(\mathcal {S} = \mathrm {aff} \{\mathbf {v}_1, …, \mathbf {v}_k \}\) ,则 \(\mathbb {R}^n\) 中存在一个子空间 \(\mathcal {W}\)\(\mathbf {p} \in \mathcal {S}\) ,使得 \(\mathcal {S} = \mathcal {W} + \mathbf {p}\)

2.3 凸集

定义 (在凸优化有详细介绍):

  • \(\mathcal {K}\) 是凸集(convex) 如果对于任何 \(\mathbf {x}, \mathbf {y} \in \mathcal {K}\) 并且 \(\lambda \in [0, 1]\) ,有 \(\lambda \mathbf {x} + (1-\lambda) \mathbf {y} \in \mathcal {K}\)
  • \(\mathcal {K}\) is balanced ,如果对于任何 \(\mathbf {x} \in \mathcal {K}\)\(|\lambda| \le 1\) ,有 $ $
  • \(\mathcal {K}\) is absolutely convex 如果 \(\mathcal {K}\) 是 convex and balanced

可以证明如下性质:

  1. \(\mathcal {K}\) is absolutely convex if and only if \(\lambda \mathbf {x} + \mu \mathbf {y} \in \mathcal {K}\) whenever \(\mathbf {x}, \mathbf {y} \in \mathcal {K}\) and \(|\lambda| + |\mu| \le 1\)
  2. 任何线性空间都是 absolutely convex

模仿前面 linear hull 的定义,如果我们有一个集合 \(\mathcal {S}\) ,定义 \(\mathcal {S}\)convex hull 为包含 \(\mathcal {S}\) 的所有凸集的交集 (intersection),记为 \(co(\mathcal {S})\) ,可以证明:

\(co(\mathcal {S})\) 是包含集合 \(\mathcal {S}\) 的最小凸集,表示为: \[
co(\mathcal {S}) = \Big \lbrace {\sum_{j=1}^{n}} \lambda_j {{\mathbf {x}}_j} \vert {{\mathbf {x}}_1}, {{\mathbf {x}}_2}, \ldots, {{\mathbf {x}}_n} \in \mathcal {S}, \lambda_j \ge 0, \forall \; j=1,2, \ldots n, {\sum_{j=1}^{n}} \lambda_j=1, n \in \mathbb N \Big \rbrace
\]
证明过程需要利用性质: the intersection of convex sets is convex (两个凸集的交集仍然是凸集)

3 thoughts on “向量空间和子空间

发表评论

电子邮件地址不会被公开。 必填项已用*标注

This site uses Akismet to reduce spam. Learn how your comment data is processed.

%d 博主赞过: