不変部分空間と不変部分空間に関する線形変換の表現行列、不変部分空間の視覚化

不変部分空間(invariant subspace)とは
#

ベクトル空間$V$と線形変換$T: V \to V$について、$V$の部分空間$W$が$T$に関する不変部分空間である($T$-不変, $T$-invariant)とは、 $$ \{T(w)\thinspace|\space \forall w \in W\} \subset W $$ を満たすことをいう。

日本語で言うと、部分空間$W$のどのベクトル$\bm{w}$を線形変換$T$で写しても、行き先は$W$内に留まるということだ。

定義から分かるとおり、ベクトル空間$V$と線形変換$T: V \to V$について、$V$自身と$\{\bm{0}\}$は常に$T$に関する不変部分空間となる。

そして、$\mathrm{Ker} \space T, \space \mathrm{Im} \space T$も不変部分空間になる。

補足(クリックで展開)

$\mathrm{Ker} \space T $のベクトルは$T$で写すと全て$\bm{0} \in \mathrm{Ker} \space T$に写る。

$\mathrm{Im} \space T$に関しては、いま、$T$の定義域と値域は$V$であることに注意。

$\mathrm{Im} \space T$のベクトルは$T$で写すと、当たり前だが、$\mathrm{Im} \space T$内に写る。

不変部分空間に関する線形変換の表現行列
#

$V, \space W, \space T$などの記号は上の項のものをそのまま引用する。
$V$の次元は$n$、$W$の次元は$m$とする。

$W$の基底を$\bm{w}_1, \space \dots, \bm{w}_m$とする。

この基底を基底の延長定理で延長して、$V$の基底$\bm{w}_1, \space \dots, \space \bm{w}_m, \space \bm{v}_{1} , \space \dots, \space \space \bm{v}_{n-m}$を得る。

いま、$W$は$T$-不変なので、$\bm{w}_1, \space \dots, \bm{w}_m$をそれぞれ$T$で写したものは、$W$の基底の一次結合で表される。
よって、 $$ T(\bm{w}_i) = a_{1i} \bm{w}_1 + a_{2i}\bm{w}_2 + \dots + a_{mi} \bm{w}_m \quad(p) \\ (a_{xy}は適当なスカラー, \space i = 1 \space \dots \space m) $$ である。

他方、$T$の定義より、$V$のベクトル$\bm{w}_1, \space \dots, \space \bm{w}_m, \space \bm{v}_{1} , \space \dots, \space \space \bm{v}_{n-m}$ をそれぞれ$T$で写したものは、$V$の基底の一次結合で表される。

よって、先程$W$の基底を延長して得た$V$の基底を用いて、 $$ \small T(\bm{w}_{i}) = a_{1i} \bm{w}_1 + a_{2i}\bm{w}_2 + \dots + a_{mi} \bm{w}_m + a_{m+1 \space i}\bm{v}_{1} + \dots + a_{n-m \space i}\bm{v}_{n-m} \quad (q) \\ T(\bm{v}_{j}) = a_{1j} \bm{w}_1 + a_{2j}\bm{w}_2 + \dots + a_{mj} \bm{w}_m + a_{m+1 \space j}\bm{v}_{1} + \dots + a_{n-m \space j}\bm{v}_{n-m} \\ (i = 1 \space \dots \space m, \space j = m +1 \space \dots \space n-m) $$ と表せる。

この関係は行列を用いてまとめて以下のように表すことができる。
$$ \tiny \begin{pmatrix} T(\bm{w}_{1}) & T(\bm{w}_{2}) & \dots & T(\bm{w}_{m}) & T(\bm{v}_{1}) & \dots & T(\bm{v}_{n-m}) \end{pmatrix} \\ = \begin{pmatrix} \bm{w}_1 & \dots & \bm{w}_m & \bm{v}_{1} & \dots & \bm{v}_{n-m} \end{pmatrix} \begin{pmatrix} a_{11} & a_{12} & \dots & a_{1m} & a_{1 \space m+1} & \dots & a_{1 \space n-m} \\ a_{21} & a_{22} & \dots & a_{2m} & a_{2 \space m+1} & \dots & a_{2 \space n-m} \\ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots \\ a_{m1} & a_{m2} & \dots & a_{mm} & a_{m \space m+1} & \dots & a_{m \space n-m} \\ a_{m+1 \space 1} & a_{m+1 \space 2} & \dots & a_{m+1 \space m} & a_{m+1 \space m+1} & \dots & a_{m+1 \space n-m} \\ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots \\ a_{n-m \space 1} & a_{n-m \space 2} & \dots & a_{n-m \space m} & a_{n-m \space m+1} & \dots & a_{n-m \space n-m} \end{pmatrix} $$

この行列は線形変換(線形写像)$T$の表現行列である。

🔗関連記事: 抽象ベクトル空間の間の線形写像とその表現行列

ここで、$(q)$と基底(一次独立なベクトルの組)の一次結合の一意性と、$(p)$に関して、 $$ (p) = a_{1i} \bm{w}_1 + a_{2i}\bm{w}_2 + \dots + a_{mi} \bm{w}_m + \bm{0} $$ であることより、 $$ T(\bm{w}_{i}) = (p) = a_{1i} \bm{w}_1 + a_{2i}\bm{w}_2 + \dots + a_{mi} \bm{w}_m + \bm{0} \\ = a_{1i} \bm{w}_1 + a_{2i}\bm{w}_2 + \dots + a_{mi} \bm{w}_m + a_{m+1 \space i}\bm{v}_{1} + \dots + a_{n-m \space i}\bm{v}_{n-m} \\ =(q)=T(\bm{w}_{i}) $$ となり、ここで登場するベクトルは一次独立なので、ゼロベクトルは存在しない。

つまり、$a_{m+1 \space i} \dots a_{n-m \space i} \quad (i = 1 \space \dots \space m)$は全て0であることが判明する。

よって、$T$の表現行列は基底をうまく取ると以下のようになる。 $$ \begin{pmatrix} a_{11} & a_{12} & \dots & a_{1m} & a_{1 \space m+1} & \dots & a_{1 \space n-m} \\ a_{21} & a_{22} & \dots & a_{2m} & a_{2 \space m+1} & \dots & a_{2 \space n-m} \\ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots \\ a_{m1} & a_{m2} & \dots & a_{mm} & a_{m \space m+1} & \dots & a_{m \space n-m} \\ & & & & a_{m+1 \space m+1} & \dots & a_{m+1 \space n-m} \\ & & \huge{O} & & \vdots & \vdots & \vdots \\ & & & & a_{n-m \space m+1} & \dots & a_{n-m \space n-m} \end{pmatrix} $$

線形変換の定義域を不変部分空間に制限した際の表現行列
#

先程の線形変換$T: V \to V$の定義域を不変部分空間$W$に制限(restriction)すると、

restrictionについて
🔗https://en.wikipedia.org/wiki/Restriction_(mathematics)
日本語版: 🔗https://ja.wikipedia.org/wiki/%E5%88%B6%E9%99%90_(%E6%95%B0%E5%AD%A6)

$T|_{W}: W \to V$を得る。

いま、$W$は$T$不変なので、不変部分空間の定義より、$T|_{W}: W \to W$となることがわかる。

$T|_{W}$の表現行列はどのような形になっているのだろうか？

実は、先程の議論でもうほとんど答えが分かっている。 $$ \tiny \begin{pmatrix} T(\bm{w}_{1}) & T(\bm{w}_{2}) & \dots & T(\bm{w}_{m}) & T(\bm{v}_{1}) & \dots & T(\bm{v}_{n-m}) \end{pmatrix} \\ = \begin{pmatrix} \bm{w}_1 & \dots & \bm{w}_m & \bm{v}_{1} & \dots & \bm{v}_{n-m} \end{pmatrix} \begin{pmatrix} a_{11} & a_{12} & \dots & a_{1m} & a_{1 \space m+1} & \dots & a_{1 \space n-m} \\ a_{21} & a_{22} & \dots & a_{2m} & a_{2 \space m+1} & \dots & a_{2 \space n-m} \\ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots \\ a_{m1} & a_{m2} & \dots & a_{mm} & a_{m \space m+1} & \dots & a_{m \space n-m} \\ & & & & a_{m+1 \space m+1} & \dots & a_{m+1 \space n-m} \\ & & \huge{O} & & \vdots & \vdots & \vdots \\ & & & & a_{n-m \space m+1} & \dots & a_{n-m \space n-m} \end{pmatrix} $$ の右辺の積を行列の$m$列目までだけ計算すると、 $$ T(\bm{w}_1) = a_{11} \bm{w}_1 + a_{21} \bm{w}_2 + \dots + a_{m1} \bm{w}_{m} + 0 \bm{v}_{1} + \dots + 0 \bm{v}_{n-m} \\ T(\bm{w}_2) = a_{12} \bm{w}_1 + a_{22} \bm{w}_2 + \dots + a_{m2} \bm{w}_{m} + 0 \bm{v}_{1} + \dots + 0 \bm{v}_{n-m} \\ \vdots \\ T(\bm{w}_m) = a_{1m} \bm{w}_1 + a_{2m} \bm{w}_2 + \dots + a_{mm} \bm{w}_{m} + 0 \bm{v}_{1} + \dots + 0 \bm{v}_{n-m} \\ $$ を得る。

この対応は、$T$の表現行列内の左上の$m \times m$の行列は$T|_{W}$の表現行列であることを示している。

先程の議論内でも暗に判明していたが、同時に、不変部分空間$W$の元は$V$の基底の一次結合で表すと、 $$ k_1 \bm{w}_1 + k_2 \bm{w}_2 + \dots + k_m \bm{w}_{m} + 0 \bm{v}_{1} + \dots + 0 \bm{v}_{n-m} $$ の形になることも分かる。

まとめると、結局、$T$の表現行列$A_{T}$は基底をうまく取ると $$ A_{T}= \begin{pmatrix} A_{T|_{W}} & B_{m \times n-m} \\ O_{n-m \times m} & C_{n-m \times n-m} \end{pmatrix} $$ の形になる事がわかる。

不変部分空間の直和と線形変換の表現行列
#

更に、線形変換$T: V \to V $に関する不変部分空間$X, \space Y$に関して $V$が$X$と$Y$の直和で表されるとき、つまり、 $$ V = X \oplus Y $$ のとき、$T$の表現行列は基底をうまく取ると $$ A_{T}= \begin{pmatrix} A_{T|_X} & O \\ O & A_{T|_Y} \end{pmatrix} $$ の形になる。

なぜなら直和であるということは$V$の任意のベクトル$\bm{v}$は $$ \bm{v} = \bm{x} + \bm{y} \quad (\bm{x} \in X, \space \bm{y} \in Y) $$ の形で一意的に表されるということであり、$X$, $Y$はそれぞれ不変部分空間なので、先程の項で出てきた$V$の基底を$X$の基底に$Y$の基底を付け加えた $$ \bm{x}_1 , \space \dots, \space \bm{x}_{\mathrm{dim} X}, \space \bm{y}_{1} , \space \dots , \space \bm{y}_{\mathrm{dim} Y} $$ で考えることによって、上の基底のうちの$Y$のベクトルをそれぞれ$T$で写したものである$T(\bm{y}_{j})$が$Y$のベクトルであると同時に$V$の基底の一次結合で表されることを考えると、 $$ \small T(\bm{y}_{j}) = a_{1 \space j} \bm{x}_1 + \dots + a_{\mathrm{dim}X \space j} \bm{x}_{\mathrm{dim} X} + a_{\mathrm{dim} X + 1 \space j} \bm{y}_{1} + \dots + a_{\mathrm{dim} V - \mathrm{dim} X \space j} \bm{y}_{\mathrm{dim} Y} \\ = 0 \bm{x}_1 + \dots + 0 \bm{x}_{\mathrm{dim} X} + a_{\mathrm{dim} X + 1 \space j} \bm{y}_{1} + \dots + a_{\mathrm{dim} V - \mathrm{dim} X \space j} \bm{y}_{\mathrm{dim} Y} \\ j = ( \mathrm{dim} X +1, \space \dots, \space \mathrm{dim} Y) $$ と表されるので、結果的に$T$の表現行列の右上側も$O$になることが分かる。

添字がごちゃごちゃしていて分かりにくいので分からなければ他のリソースも参照することをおすすめする。

[おまけ] 不変部分空間の具体例の一例とその視覚化
#

ある平面でベクトルを反射させるような線形写像に関して、不変部分空間を観察してみる。このような線形写像の行列はcomputer graphicsではreflection行列と呼ばれる。

ベクトル空間$V$を$\Reals^3$とする。

$$ A = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & -1 \end{pmatrix} $$ としておく。

Vの基底 $$ \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix}, \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix}, \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix} $$ で$V$のベクトルは

$$ (\begin{pmatrix} a \\ b \\ c \end{pmatrix} \in V) = a \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix} + b \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix} + c \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix} $$ と基底の一次結合の形で一意的に表すことができる。

このとき、成分ベクトルは$\begin{pmatrix} a \\ b \\ c \end{pmatrix}$である。

一般のベクトル空間上の線形写像は基底を固定した際の、定義域のベクトルの成分と値域のベクトルの成分との間の関係であり、その関係は表現行列で表すことができた。

Aで成分ベクトルがどのように写るか見てみよう。
$$ A　\begin{pmatrix} a \\ b \\ c \end{pmatrix} = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & -1 \end{pmatrix} \begin{pmatrix} a \\ b \\ c \end{pmatrix} = \begin{pmatrix} a \\ b \\ -c \end{pmatrix} $$ と写ることが分かる。

この計算結果の成分ベクトルと先程の基底の一次結合で$V$のベクトルを表すことができるので、結局、 $V$のベクトル$\begin{pmatrix} a \\ b \\ c \end{pmatrix}$が$V$のベクトル$\begin{pmatrix} a \\ b \\ -c \end{pmatrix}$に写ることがわかる。

$V$のベクトル$\begin{pmatrix} x \\ y \\ z \end{pmatrix}$を3次元空間の点$x,\space y, \space z$に対応させて考えてみる。

一応、理屈を説明しておこう。

$V$のベクトル$\begin{pmatrix} x \\ y \\ z \end{pmatrix}$に対して、3次元空間上の点$(x, \space y, \space z)$を対応させる。
続いて、全てのスカラー倍$k \begin{pmatrix} x \\ y \\ z \end{pmatrix}$も写すと、点の集まりは3次元空間上の原点と$(x, \space y, \space z)$の2点を通る直線になることがわかる。

以上を踏まえて、いくつかの$V$の元を視覚化すると以下の動画のようになる。

$V$のあるベクトルv1のスカラー倍を全て3次元空間上の点に対応させたものが緑色の直線で、v1スカラー倍をそれぞれ行列$A$で写した後に3次元空間上の点に対応させたものが黄色の直線v1 reflectedだ。

v1とv1 reflectedではz座標の符号が逆なので対称的になっていることに注目。

青(v2)と赤(v2 reflected)の直線も同様の関係にある。

ここで、$A$で定まる線形写像$f_A: V \to V$に関する2つの不変部分空間が視覚化された様子が以下の動画だ。

動画の概要の方にテイストの違う説明を書いたので分からなければそちらも合わせて参照してみてほしい。

黒い平面に含まれる任意の点に着目すると、z座標の値が$0$になっていることがわかる。
つまり、その点に対応する$V$の元は$\begin{pmatrix} x \\ y \\ 0 \end{pmatrix}$の形になっていて、 $$ \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & -1 \end{pmatrix} \begin{pmatrix} x \\ y \\ 0 \end{pmatrix} = \begin{pmatrix} x \\ y \\ 0 \end{pmatrix} $$ と線形変換(reflection)の影響を受けないことがわかる。

つまり、$\begin{pmatrix} x \\ y \\ 0 \end{pmatrix}$の形のベクトルの全体は不変部分空間であり、その視覚化が動画内の黒い平面である。

続いて、先程の黒い平面に垂直な、原点を通るオレンジ色の直線に注目すると、対応する$V$の元は$\begin{pmatrix} 0 \\ 0 \\ z \end{pmatrix}$の形になっており、 $$ \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & -1 \end{pmatrix} \begin{pmatrix} 0 \\ 0 \\ z \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ -z \end{pmatrix} $$ となることがわかる。

reflectionの影響を受けているが、$V$の部分空間、$\begin{pmatrix} 0 \\ 0 \\ z \end{pmatrix}$全体(オレンジ色の直線)を考えると、線形変換しても行き先は部分空間をはみ出ないことがわかる。

よって、黒い平面とオレンジ色の直線は$V$の不変部分空間の一例が視覚化されたものであることが分かる。