Orthogonality

Все нормы в этой главе считаются евклидовыми: если \(\boldsymbol x \in \mathbb R^n\), то

\[ \Vert \boldsymbol x \Vert = \sqrt{\boldsymbol x^\top \boldsymbol x} = \sqrt{\sum\limits_{k=1}^n x_k^2}. \]

Orthogonal vectors and bases

Два вектора \(\boldsymbol x, \boldsymbol y \in \mathbb R^n\) называются ортогональными, \(\boldsymbol x \perp \boldsymbol y\), если

\[ \langle \boldsymbol x, \boldsymbol y\rangle \equiv \boldsymbol x^\top \boldsymbol y = \sum\limits_{k=1}^n x_k y_k = 0. \]

Если все вектора базиса \(\boldsymbol x_1, \ldots, \boldsymbol x_n\) в \(\mathbb R^n\) попарно ортогональны, то такой базис называется ортогональным. А если впридачу все вектора базиса имеют единичную длину, то этот базис называется ортонормированным (ОНБ). Например, стандартный базис \(\boldsymbol e_1, \ldots, \boldsymbol e_n\), \((\boldsymbol e_i)_j = \delta_{ij}\), является ортонормированным базисом в \(\mathbb R^n\). Это самый распространённый ОНБ, но отнюдь не единственный. Стобцы/строки любой ортогональной матрицы образуют ортонормированный базис. Например, столбцы матрицы поворота на угол \(\theta\)

\[\begin{split} \boldsymbol x = \begin{pmatrix} \cos\theta \\ \sin \theta \end{pmatrix}, \quad \boldsymbol y = \begin{pmatrix} -\sin\theta \\ \cos\theta \end{pmatrix} \end{split}\]

образуют базис в \(\mathbb R^2\) при любом \(\theta \in [0, 2\pi)\).

Orthogonal subspaces

Ортогональными могут быть не только векторы и матрицы, но и целые подпространства. Подпространства \(U \subset \mathbb R^n\) и \(V\subset \mathbb R^n\) называются ортогональными, \(U\perp V\), если \(\boldsymbol u \perp \boldsymbol v\) для всех \(\boldsymbol u \in U\), \(\boldsymbol v \in V\).

Например, в трёхмерном пространстве плоскость \(Oxy\) и перепендикулярная ей прямая \(Oz\) являются ортогональными подпространствами. Ортогональны также любые две перендикулярные прямые в \(\mathbb R^n\), проходящие через начало координат. А вот, скажем, плоскости \(Oxy\) и \(Oxz\) не являются ортогональными подпространствами в \(\mathbb R^3\), хотя угол между ними составляет 90°. Обеим этим плоскостям принадлежит, например, вектор \(\boldsymbol x = (1, 0 ,0)\), и \(\boldsymbol x^\top \boldsymbol x = 1 \ne 0\).

Из последнего примера видно, что если пространства \(U\) и \(V\) ортогональны, то \(U \cap V = \{\boldsymbol 0\}\). В противном случае у них есть общий вектор \(\boldsymbol x \ne \boldsymbol 0\), и равенство \(\boldsymbol x^\top \boldsymbol x = \Vert \boldsymbol x\Vert^2 \ne 0\) противоречит условию ортогональности этих подпространств.

Важные примеры ортогональных подпространств дают пространства, связанные с матрицей \(\boldsymbol A \in\mathbb R^{m\times n}\). А именно, оказывается, что

\[ N(\boldsymbol A) \perp C(\boldsymbol A^\top), \quad N(\boldsymbol A^\top) \perp C(\boldsymbol A), \]

i. e., the nullspace of \(\boldsymbol A\) is orthogonal to its row space, and left nullspace of \(\boldsymbol A\) is orthogonal to its column space.

Докажем первое свойство. Если \(\boldsymbol x \in N(\boldsymbol A)\), то \(\boldsymbol{Ax} = \boldsymbol 0\). Это означает, что вектор \(\boldsymbol x\) ортогонален каждой строке матрицы \(\boldsymbol A\), ведь

\[\begin{split} \boldsymbol{Ax} = \begin{pmatrix} \boldsymbol a_1^\top\boldsymbol x \\ \boldsymbol a_2^\top\boldsymbol x \\ \vdots\\ \boldsymbol a_m^\top\boldsymbol x \\ \end{pmatrix}, \text{ если } \boldsymbol A = \begin{pmatrix} \boldsymbol a_1^\top \\ \boldsymbol a_2^\top \\ \vdots\\ \boldsymbol a_m^\top \\ \end{pmatrix}. \end{split}\]

Следовательно, \(\boldsymbol x \perp \boldsymbol y\) для всех \(\boldsymbol y \in C(\boldsymbol A^\top) = \mathrm{span}(\boldsymbol a_1, \ldots, \boldsymbol a_m)\), и поэтому \(N(\boldsymbol A) \perp C(\boldsymbol A^\top)\). Второе свойство доказывается аналогично.

Orthogonal complement

Ортогональное дополнение подпространства \(V \subset \mathbb R^n\) определяется как множество всех векторов \(\boldsymbol x \in \mathbb R^n\), ортогональных любому вектору \(\boldsymbol y \in V\):

\[ V^\perp = \{\boldsymbol x \in \mathbb R^n \colon \forall \boldsymbol y \in V \; \boldsymbol x^\top \boldsymbol y = 0\}. \]

Например, множество векторов \(\boldsymbol x \in \mathbb R^n\), ортогональных фиксированному вектору \(\boldsymbol a \in \mathbb R^n\), образует подпространство размерности \(n-1\) (гиперплоскость), ортогональное прямой, заданной вектором \(\boldsymbol a\). Эта гиперплоскость имеет уравнение \(\boldsymbol a^\top \boldsymbol x = 0\); вектор \(\boldsymbol a\) называется также вектором нормали к этой гиперплоскости.

Ортогональное дополнение подпространства \(V \subset \mathbb R^n\) всегда является подпространством в \(\mathbb R^n\). В самом деле, если \(\boldsymbol x, \boldsymbol y \in V^\perp\), то

\[ \alpha \boldsymbol x + \beta \boldsymbol y \perp \boldsymbol z \text{ для всех } z \in V, \; \alpha, \beta \in \mathbb R, \]

и поэтому \(\alpha \boldsymbol x + \beta \boldsymbol \in V^\perp\).

Ортогональное дополнение, как следует из названия, дополняет подпростанство до всего пространства. Поэтому для всякого подпространства \(V \subset \mathbb R^n\) справедливы равенства

\[ V \oplus V^\perp = \mathbb R^n, \quad\dim V + \dim V^\perp = n. \]

Любые два ортогональных пространства \(U, V \subset \mathbb R^n\) перескаются по нулю, поэтому \(\dim U + \dim V \leqslant n\). В случае равенства эти подпространства являются ортогональными дополнениями друг друга: \(U^\perp = V\), \(V^\perp = U\). Вообще для любого подпространства \(V \subset \mathbb R^n\) верно равенство \((V^\perp)^\perp = V\).

Ортогональное дополнение является частным случаем прямой суммы. Например, если \(\boldsymbol u\) и \(\boldsymbol v\) — два неколлинеарных вектора на плоскости, то \(\mathrm{span}(\boldsymbol u) \oplus \mathrm{span}(\boldsymbol v) = \mathbb R^2\). Однако ортогональными дополнениями друг друга эти одномерные подпространтва будут только в том случае, если \(\boldsymbol u\perp \boldsymbol v\).

Возвращаясь к ортогональным пространствам матрицы \(\boldsymbol A \in\mathbb R^{m\times n}\), поскольку \(N(\boldsymbol A) \perp C(\boldsymbol A^\top)\) и \(\dim N(\boldsymbol A) + \dim C(\boldsymbol A^\top) = n\), ядро и row space являются ортогональными дополнениями друг друга в \(\mathbb R^n\):

\[ N(\boldsymbol A)^\perp = C(\boldsymbol A^\top), \quad C(\boldsymbol A^\top)^\perp = N(\boldsymbol A). \]

Аналогично пару взаимно ортогональных подпространств в \(\mathbb R^m\) образуют \(N(\boldsymbol A^\top)\) и \(C(\boldsymbol A)\).

Fundamental theorem of linear algebra

Такое название (преимущественно в англоязычной литературе) носит следующая теорема.

Fundamental Theorem of Linear Algebra. Пусть матрица \(\boldsymbol A\) размера \(m\times n\) имеет ранг \(r\). Тогда

1. \(\underbrace{\dim N(\boldsymbol A)}_{n-r} + \underbrace{\dim C(\boldsymbol A^\top)}_{r} = n\);

2. \(\underbrace{\dim N(\boldsymbol A^\top)}_{m-r} + \underbrace{\dim C(\boldsymbol A)}_{r} = m\);

3. \(N(\boldsymbol A)^\perp = C(\boldsymbol A^\top)\), \(N(\boldsymbol A^\top)^\perp = C(\boldsymbol A)\).

В этой формулировке, в частности, содержится утверждение о том, что столбцовый и строковый ранги матрицы совпадают. Кроме того, каждый вектор \(\boldsymbol x \in \mathbb R^n\) единственным образом представляется в виде суммы \(\boldsymbol x = \boldsymbol y + \boldsymbol z\), \(\boldsymbol y \in C(\boldsymbol A^\top)\), \(\boldsymbol z \in N(\boldsymbol A)\), так что \(\boldsymbol {Ax} = \boldsymbol {Ay}\).

Exercies

1. Докажите теорему Пифагора: если \(\boldsymbol x \perp \boldsymbol y\), то \(\Vert \boldsymbol x\Vert^2 + \Vert \boldsymbol y\Vert^2 = \Vert \boldsymbol x + \boldsymbol y\Vert^2\).

2. Пусть \(U = \mathrm{span}(\boldsymbol x_1, \ldots, \boldsymbol x_k)\), \(V = \mathrm{span}(\boldsymbol y_1, \ldots, \boldsymbol y_\ell)\) и \(\boldsymbol x_i \perp \boldsymbol y_j\) при всех \(i =1, \ldots, k\), \(j = 1,\ldots, \ell\). Докажите, что \(U \perp V\).