Diagonalization

У диагональной матрицы \(\boldsymbol \Lambda = \mathrm{diag}\{\lambda_1, \ldots, \lambda_n\}\) всё просто с собственными числами и векторами. На главной диагонали у неё стоят собственные значения, а собственные векторы — это векторы из стандартного базиса в \(\mathbb R^n\):

\[ \boldsymbol \Lambda e_i = \lambda_i \boldsymbol e_i, \quad i = 1, \ldots, n. \]

Если матрицу \(\boldsymbol A \in\mathbb R^{n\times n}\) можно привести к диагональному виду преобразованием подобия, то она называется диагонализируемой. Диагонализация матрицы эквивалентна наличию базиса из собственных векторов.

Теорема. Если у матрицы \(\boldsymbol A \in \mathbb R^{n\times n}\) есть \(n\) линейно независимых собственных векторов \(\boldsymbol x_1, \ldots, \boldsymbol x_n\), то матрица \(\boldsymbol X = [\boldsymbol x_1 \ldots \boldsymbol x_n]\) диагонализирует матрицу \(\boldsymbol A\):

(41)\[ \boldsymbol X^{-1} \boldsymbol A \boldsymbol X = \boldsymbol\Lambda = \mathrm{diag} \{\lambda_1, \ldots, \lambda_n\}.\]

Proof

Требуется проверить равенство \(\boldsymbol{AX} = \boldsymbol {X\Lambda}\). Имеем

\[ \boldsymbol{AX} = [\boldsymbol{Ax}_1 \ldots \boldsymbol {Ax}_n] = [\lambda_1\boldsymbol{x}_1 \ldots \lambda_n\boldsymbol {x}_n]. \]

С другой стороны,

\[ \boldsymbol{X\Lambda} = \boldsymbol X [\lambda_1 \boldsymbol e_1 \ldots \lambda_n \boldsymbol e_n] = [\lambda_1 \boldsymbol {Xe}_1 \ldots \lambda_n \boldsymbol {Xe}_n] = [\lambda_1\boldsymbol{x}_1 \ldots \lambda_n\boldsymbol {x}_n]. \]

Итак, \(\boldsymbol{AX} = \boldsymbol{X\Lambda}\), или \(\boldsymbol X^{-1} \boldsymbol A \boldsymbol X = \boldsymbol\Lambda\). Иногда также полезно представление \(\boldsymbol A = \boldsymbol X \boldsymbol\Lambda \boldsymbol X^{-1}\).

Матрица \(\boldsymbol A\) имеет простой спектр, если

\[ \mathrm{spec}(\boldsymbol A) = \{\lambda_1, \ldots, \lambda_n\}, \]

т.е. \(\mu_{\boldsymbol A}(\lambda) = 1\) для всех \(\lambda \in \mathrm{spec}(\boldsymbol A)\).

Диагонализируемость матрицы с простым спектром вытекает из следующего утверждения.

Лемма. Пусть \(\lambda_1, \ldots, \lambda_m\) — различные собственные значения матрицы \(\boldsymbol A \in \mathbb R^{n\times n}\), и \(\boldsymbol A\boldsymbol x_k = \lambda_k\boldsymbol x_k\), \(k=1,\ldots, m\). Тогда собственные векторы \(\boldsymbol x_1, \ldots,\boldsymbol x_m\) линейно независимы.

Proof

Рассуждение проведём индукцией по \(m\). При \(m=1\) утверждение, очевидно, верно. Пусть теперь \(m>1\) и

(42)\[ c_1\boldsymbol x_1 + \ldots + c_{m-1} \boldsymbol x_{m-1} + c_m\boldsymbol x_m = \boldsymbol 0. \]

Умножим это равенство на матирцу \(\boldsymbol A\) слева:

\[ c_1 \lambda_1\boldsymbol x_1 + \ldots + c_{m-1}\lambda_{m-1}\boldsymbol x_{m-1}+ c_m\lambda_m\boldsymbol x_m = \boldsymbol 0. \]

Вычтем отсюда равенство (42), умноженное на \(\lambda_m\):

\[ c_1 (\lambda_1 - \lambda_m)\boldsymbol x_1 + \ldots + c_{m-1}(\lambda_{m-1} - \lambda_m)\boldsymbol x_{m-1} = \boldsymbol 0. \]

По предположению индукции векторы \(\boldsymbol x_1, \ldots,\boldsymbol x_{m-1}\) линейно независимы, поэтому все коэффициенты линейной комбинации из последнего равенства равны нулю:

\[ c_k(\lambda_k - \lambda_m) = 0, \quad 1\leqslant k \leqslant m-1. \]

Все собственные значения различны, значит, \(c_k = 0\) при \(k=1, \ldots, m-1\). Но тогда (42) превращается в \(c_m\boldsymbol x_m = \boldsymbol 0\), откуда \(c_m = 0\). Итак, все коэффициенты линейной комбинации (42) обнулились, поэтому система собственных векторов \(\boldsymbol x_1, \ldots,\boldsymbol x_m\) линейно независима.

Применяя лемму к матрице \(\boldsymbol A \in \mathbb R^{n\times n}\) с простым спектром, заключаем, что у неё есть \(n\) линейно независимых собственных векторов \(\boldsymbol x_1, \ldots,\boldsymbol x_n\), которые и образуют собственный базис. Следовательно, матрица \(\boldsymbol A\) диагонализируема.

Ну а что насчёт диагонализируемости, если спектр не простой? Бывает по-разному. Например, у единичной матрицы спектр отнюдь не простой (все \(\lambda = 1\)), однако, она уже диагональна. А вот у матрицы

(43)\[\begin{split}\boldsymbol A = \begin{pmatrix} 1 & 1 \\ 0 & 1 \\ \end{pmatrix}\end{split}\]

есть одно собственное значение \(\lambda = 1\) кратности \(2\), но у него можно найти только один линейно независимый собственный вектор \((1, 0)\). Собственного базиса не построишь, матрица не диагонализируема.

When diagonalization is impossible

В общем случае собственный базис и диагонализируемость матрицы \(\boldsymbol A \in \mathbb R^{n\times n}\) могут отсутствовать по двум причинам:

1. не хватает собственных значений:

   \[ \sum \limits_{ \lambda \in \mathrm{spec}(\boldsymbol A)}\mu_{\boldsymbol A}(\lambda) < n; \]

2. не хватает собственных векторов:

   \[ \gamma_{\boldsymbol A}(\lambda) < \mu_{\boldsymbol A}(\lambda) \text{ для некоторого }\lambda \in \mathrm{spec}(\boldsymbol A). \]

Первая причина снова приводит нас к вопросу о поле скаляров \(F\) векторного пространства. Если \(F = \mathbb C\), то проблем нет: по основной теореме алгебры суммарная алгебраическая кратность собственных чисел всегда равна \(n\). А вот дефолтное поле \(F=\mathbb R\) не гарантирует наличие у матрицы полного набора собственных значений из этого поля. Ну а если не хватает собственных значений, то собственных векторов для построения собственного базиса и подавно не хватит.

Example: rotation matrix

Снова рассмотрим матрицу поворота

\[\begin{split} \boldsymbol A = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \\ \end{pmatrix}. \end{split}\]

Поскольку

\[\begin{split} \chi_{\boldsymbol A}(\lambda) = \begin{vmatrix} \cos\theta - \lambda & -\sin\theta \\ \sin\theta & \cos\theta - \lambda \\ \end{vmatrix} = \lambda^2 - 2\lambda\cos\theta + 1 = 0 \iff \lambda = e^{\pm i\theta}, \end{split}\]

у матрицы \(\boldsymbol A\) нет действительных собственных значений, и про диагонализацию над полем \(F = \mathbb R\) можно забыть. А вот при \(F = \mathbb C\) всё хорошо: находим собственные вектора

\[\begin{split} \boldsymbol x_1 = \begin{pmatrix} i \\ 1 \end{pmatrix}, \quad \boldsymbol x_2 = \begin{pmatrix} -i \\ 1 \end{pmatrix}, \end{split}\]

составляем из них матрицу

\[\begin{split} \boldsymbol X = \begin{pmatrix} i & -i\\ 1 & 1 \end{pmatrix}, \quad \boldsymbol X^{-1} = \frac 12\begin{pmatrix} 1 & i\\ -1 & i \end{pmatrix}. \end{split}\]

В результате согласно равенству (41) имеем

\[\begin{split} \frac 12 \begin{pmatrix} 1 & i\\ -1 & i \end{pmatrix} \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \\ \end{pmatrix} \begin{pmatrix} i & -i\\ 1 & 1 \end{pmatrix} = \begin{pmatrix} e^{i\theta} & 0\\ 0 & e^{-i\theta} \end{pmatrix}. \end{split}\]

Диагонализация матрицы поворота над полем \(\mathbb C\) проведена успешно.

Как видно из предыдущего примера, поле скаляров существенно влияет на принципиальную возможность диагонализации матрицы. По этой причине часто говорят о «диагонализации над полем \(F\)». По умолчанию подразумевается, что \(F = \mathbb R\), так что просто «диагонализация» — это диагонализация над \(\mathbb R\).

Но даже если собственных значений достаточно, возможно другое препятствие: для некоторого собственного значения не хватает линейно независимых собственных векторов. В таком случае собственного базиса также не получится. Простейший пример — матрица (43).

Criterion of diagonalizability

Если же у матрицы нет проблем 1 и 2, то она диагонализируема.

Теорема. Матрица \(\boldsymbol A \in \mathbb R^{n\times n}\) диагонализируема, если

\[ \sum \limits_{ \lambda \in \mathrm{spec}(\boldsymbol A)}\mu_{\boldsymbol A}(\lambda) = n \]

и \(\gamma_{\boldsymbol A}(\lambda) = \mu_{\boldsymbol A}(\lambda)\) для всех \(\lambda \in \mathrm{spec}(\boldsymbol A)\).

Proof

Пусть \(\lambda_1, \ldots, \lambda_m\) — все различные собственные значения матрицы \(\boldsymbol A\), имеющие кратности

\[ \mu_{\boldsymbol A}(\lambda_i)=\gamma_{\boldsymbol A}(\lambda_i) = k_i,\quad \sum\limits_{i=1}^m k_i = n. \]

Обозначим \(V^\lambda = N(\boldsymbol A - \lambda \mathcal I)\), тогда \(\dim V^{\lambda_i} = k_i\). В силу вышеприведённой леммы любой набор собственных векторов, отвечающих различным собственным значениям, линейно независим. Следовательно,

\[ V^{\lambda_i} \cap \big(V^{\lambda_1} + \ldots +V^{\lambda_{i-1}}+V^{\lambda_{i-1}} + V^{\lambda_m}\big) = \{\boldsymbol 0\}, \]

и поэтому сумма подпространств \(V^{\lambda_i}\) прямая,

\[ V^{\lambda_1} \oplus \ldots \oplus V^{\lambda_m} = V, \]

а поскольку \(\dim V = \sum\limits_{i=1}^m k_i = n\), то \(V = \mathbb R^n\). Выбирая базис в каждом пространстве \(V^{\lambda_i}\), получаем, что объединение этих базиов даёт базис всего пространства \(\mathbb R^n\). Таким образом, это и есть искомый собственный базис матрицы \(\boldsymbol A\), гарантирующий её диагонализируемость.

Обратное утверждение тоже верно, поэтому данная теорема представляет собой критерий диагонализируемости матрицы.

Spectral theorem

Если матрица симметричная, то все проблемы с комплексными собственными значениями улетучиваются.

Теорема. Если \(\boldsymbol A^\top = \boldsymbol A\) и \(\lambda\in\mathrm{spec}(\boldsymbol A)\), то \(\lambda \in \mathbb R\).

Proof

Если \(\boldsymbol{Ax} = \lambda \boldsymbol x\), то

\[ \overline{\boldsymbol x}^\top \boldsymbol{Ax} = \overline{\boldsymbol x}^\top \lambda\boldsymbol{x} = \lambda \overline{\boldsymbol x}^\top \boldsymbol{x}. \]

Транспонируя левую часть, получаем

\[ (\overline{\boldsymbol x}^\top \boldsymbol{Ax})^\top = \boldsymbol{x}^\top \boldsymbol A \overline{\boldsymbol x} = \boldsymbol{x}^\top \overline{\boldsymbol{Ax}} = \overline \lambda \boldsymbol{x}^\top \overline{\boldsymbol x}. \]

Транспонирование не меняет значения скаляра, поэтому правые части обеих равнеств одинаковы. Поскольку

\[ \overline{\boldsymbol x}^\top \boldsymbol{x} = \boldsymbol{x}^\top \overline{\boldsymbol x} = \sum\limits_{k=1}^n \vert x_k\vert^2 > 0, \]

получается, что \(\lambda = \overline \lambda\).

Итак, всякая симметричная матрица имеет \(n\) действительных собственных значений (с учётом кратности). Этим замечательные свойства собственных чисел и векторов таких матриц не исчерпываются. Оказывается, что любые два собственных вектора симметричной матрицы, отвечающие разным собственным значениям, ортогональны.

Теорема. Если \(\boldsymbol A^\top = \boldsymbol A\), \(\boldsymbol {Ax} = \lambda \boldsymbol x\), \(\boldsymbol {Ay} = \mu \boldsymbol y\), \(\lambda \ne \mu\), то \(\boldsymbol x^\top\boldsymbol y = 0\).

Proof

Имеем

\[ (\lambda\boldsymbol x)^\top \boldsymbol y = (\boldsymbol{Ax})^\top\boldsymbol y = \boldsymbol x^\top \boldsymbol A^\top \boldsymbol y = \boldsymbol x^\top (\boldsymbol A \boldsymbol y) = \boldsymbol x^\top \mu \boldsymbol y. \]

Поскольку \(\lambda \ne \mu\), отсюда следует, что \(\boldsymbol x^\top \boldsymbol y = 0\), т.е. собственные векторы ортогональны.

Как мы помним, матрица с простым спектром всегда может быть диагонализирована. Из предыдущей теоремы следует, что если матрица вдобавок ещё и симметрична, то у неё существует ортнонормированный собственный базис.

Theorem (spectral)

Если симметричная матрица \(\boldsymbol A\) имеет простой спектр

\[ \mathrm{spec}(\boldsymbol A) = \{\lambda_1, \ldots, \lambda_n\}, \]

то существует такая ортогональная матрица \(\boldsymbol Q\), что

\[ \boldsymbol Q^\top\boldsymbol{AQ} = \boldsymbol \Lambda = \mathrm{diag}\{\lambda_1, \ldots, \lambda_n\}. \]

Верна ли спектральная теорема для всех симметричных матриц, не обязательно с простым спектром? Оказывается, да! Один из способов это доказать — воспользоваться разложением Шура.

Теорема (разложение Шура). Всякая квадратная матрица \(\boldsymbol A\) может быть представлена в виде

(44)\[ \boldsymbol A = \boldsymbol{QU}\boldsymbol Q^{-1},\]

где матрица \(\boldsymbol Q\) унитарная, а матрица \(\boldsymbol U\) — верхняя треугольная.

Если все собственные значения матрицы \(\boldsymbol A\) действительные, то все матрицы в разложении (44) можно выбрать вещественными, и тогда матрица \(\boldsymbol Q\) ортогональная.

Если \(\boldsymbol A = \boldsymbol A^\top\), то из раложения (44) получаем

\[ \boldsymbol U = \boldsymbol Q^\top \boldsymbol{AQ} \Rightarrow \boldsymbol U^\top = \boldsymbol{Q}^\top\boldsymbol {AQ} = \boldsymbol U^\top. \]

Таким образом, верхняя треугольная матрица \(\boldsymbol U\) симметрична и, стало быть, диагональна. Значит, разложение (44) и есть диагонализация симметричной матрицы \(\boldsymbol A\).