고유값과 고유벡터

고유값과 고유벡터

고유값과 고유벡터의 정의

• 행렬 $A$를 선형변환으로 봤을 때, $A$에 의한 결과가 자기 자신의 상수배가 되는 0이 아닌 벡터를 고유벡터(eigenvector) 라 하고, 이 상수배 값을 고유값(eigenvalue) 이라고 한다.
• 고유값과 고유벡터는 정방행렬에 대해서만 정의되며, $n\times n$ 정방행렬 $A$에 대해 $A\mathbf{v}=\lambda \mathbf{v}$ 를 만족하는 0이 아닌 열벡터 $\mathbf{v}$를 고유벡터, 상수 $\lambda$를 고유값이라 정의한다.

$$\begin{array}{r}\\ A\mathbf{v}=\lambda \mathbf{v}\end{array}$$ $$\left[\begin{array}{ccc}{a}_{11}& \cdots & a_{1n}\\ ⋮& \ddots & ⋮\\ a_{n1}& \cdots & a_{nn}\end{array}\right]\left[\begin{array}{c}{v}_1\\ ⋮\\ v_n\end{array}\right]=\lambda \left[\begin{array}{c}{v}_1\\ ⋮\\ v_n\end{array}\right]$$

• $\lambda$ 는 행렬 $A$의 교유값, $\mathbf{v}$는 행렬 $A$의 $\lambda$에 대한 고유벡터 이다.
• 즉, 고유값과 고유벡터는 행렬에 따라 정의되는 값으로서 어떤 행렬은 이러한 고유값-고유벡터가 존재하지 않을수도 있고 어떤 행렬은 하나만 존재하거나 또는 최대 n개까지 존재할 수 있다.

기하학적 의미

• 행렬 $A$를 이용해 벡터 $\mathbf{x}$를 선형변환 시켜주면, 변환 후의 벡터 $A\mathbf{x}$는 변환 전의 벡터 $\mathbf{x}$와 비교했을 때, 크기도 방향도 모두 변할 수 있다.
• 고유값과 고유벡터를 찾는 것은 아래와 같이 볼 수 있다.
  • (고유벡터) “벡터 $\mathbf{x}$에 선형변환 $A$를 연산했을 때, 그 크기만 변하고 원래 벡터와 평행한 벡터 $\mathbf{x}$는 무엇인지?”
  • (고유값) “그렇다면 그 크기는 얼마만큼 변했는지?”

---

고유값과 고유벡터 계산

예시-1

• 다음 행렬 $A$에 대해 고유값과 고유벡터를 구해보자.

$$A=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]$$

• 고유값과 고유벡터의 정의에 따라, 고유값 $\lambda$와 고유벡터 $\mathbf{x}$는 다음 식을 만족한다.

$$A\mathbf{x}=\lambda \mathbf{x}$$

• 행렬의 성질에 의해 위 식을 $(A-\lambda I)\mathbf{x}=0$ 로 표현할 수 있고, nontrivial solution을 갖기 위해서는 다음을 만족해야한다. ( $\mathbf{x}$는 0이 아니므로, $(A-\lambda I)$의 역행렬이 존재하지 않는다. )

$$(A-\lambda I)\mathbf{x}=0$$ $$\det (A-\lambda I)=0$$

• 그러므로, 다음과 같이 전개할 수 있다.

$$\begin{array}{rl}\det (A-\lambda I)& =\det (\left[\begin{array}{cc}2-\lambda & 1\\ 1& 2-\lambda \end{array}\right])=0\\ & \\ & \Rightarrow (2-\lambda {)}^2-1\\ & \\ & =(4-4\lambda +{\lambda }^2)-1\\ & \\ & ={\lambda }^2-4\lambda +3=0\\ & \\ \therefore & {\lambda }_1=1,{\lambda }_2=3\\ & \end{array}$$

• 선형변환 $A$의 고유값은 1과 3이고, 이것은 선형변활을 했을 때 그 크기는 변하고 방향이 변하지 않는 벡터가 있다고 할 때 그 벡터의 크기는 각각 1배와 3배가 된다는 의미가 된다.
• 다음과 같이 고유값을 이용해 고유벡터를 찾을 수 있다.

$${\lambda }_1=1\text{일 때}A\mathbf{x}={\lambda }_1\mathbf{x}\text{를 만족해야함}$$ $$\begin{array}{rl}& \left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=1\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\\ & \\ & \Rightarrow \{\begin{array}{ll}2x_1+x_2& =x_1\\ x_1+2x_2& =x_2\end{array}\\ & \\ & \Rightarrow \left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{c}1\\ -1\end{array}\right]\end{array}$$

• 즉, ${\lambda }_1=1$ 인 경우의 고유벡터는 $\left[\begin{array}{c}1\\ -1\end{array}\right]$이 된다.
• 마찬가지로, ${\lambda }_2=3$ 인 경우의 고유벡터는 $\left[\begin{array}{c}1\\ 1\end{array}\right]$이 된다.
• 고유벡터는 여러개가 될 수 있으므로 일반적으로 고유벡터를 크기를 1로 정규화한 단위벡터로 표기할 수 있다.($\frac{\mathbf{x}}{||\mathbf{x}||}$)

예시-2

• 다음 행렬 $B$에 대해 고유값과 고유벡터를 구해보자.

$$B=\left[\begin{array}{ccc}2& 0& -2\\ 1& 1& -2\\ 0& 0& 1\end{array}\right]$$

• 다음과 같이 전개 할 수 있다.

$$\begin{array}{rl}\det (A-\lambda I)& =\det (\left[\begin{array}{ccc}2& 0& -2\\ 1& 1& -2\\ 0& 0& 1\end{array}\right]-\lambda \left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right])\\ & \\ & \Rightarrow \det (\left[\begin{array}{ccc}2-\lambda & 0& -2\\ 1& 1-\lambda & -2\\ 0& 0& 1-\lambda \end{array}\right])\\ & \\ & =(2-\lambda )((1-\lambda )(1-\lambda )-0)\\ & \\ & =(2-\lambda )(1-\lambda {)}^2=0\\ & \\ & \therefore \lambda =2,\lambda =1\end{array}$$

• 해는 $\lambda =1,2$ 가 되며, $\lambda =2$는 단일근임에 비해 $\lambda =1$은 이중근임을 알 수 있다.
• $\lambda$에 대응하는 고유벡터의 개수는 몇중근이냐와 밀접한 관계가 있는데, 단일근에 대해서는 1개, 이중근에 대해서는 최대 2개, 삼중근에 대해서는 최대 3개 … 와 같이 n중근일 때 최대 n개의 고유벡터가 존재한다.
• 먼저, ${\lambda }_1=2$의 고유벡터를 구하면 다음과 같다.

$${\lambda }_1=2\text{일 때}B\mathbf{x}={\lambda }_1\mathbf{x}\text{를 만족해야함}$$ $$\begin{array}{rl}& \left[\begin{array}{ccc}2& 0& -2\\ 1& 1& -2\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=2\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]\\ & \\ & \Rightarrow \{\begin{array}{ll}2x_1-2x_3& =2x_1\\ x_1+x_2-2x_3& =2x_2\\ x_3& =2x_3\end{array}\\ & \\ & =\{\begin{array}{ll}-2x_3& =0\\ x_1-x_2-2x_3& =0\\ -x_3& =0\end{array}\\ & \\ & \therefore x_1=x_2,x_3=0\\ & \end{array}$$

• 따라서, ${\lambda }_1=2$에 대응 하는 고유벡터는 $[1,1,0{]}^T$ 로 잡을 수 있다.
• 마찬가지로, ${\lambda }_2=1$에 대해서도 고유벡터를 구해보면 다음과 같다.

$$\begin{array}{rl}& =\{\begin{array}{ll}{x}_1-2x_3& =0\\ x_1-2x_3& =0\end{array}\\ & \\ & \therefore x_1=2x_3\end{array}$$

• $x_1$이 $x_3$ 의 2배인 벡터들은 무수히 많은데, 이들은 $[2,0,1]$, $[0,1,0]$의 일차결합으로 표현할 수 있으므로 ${\lambda }_2=1$에 대응하는 고유벡터를 $[2,0,1]$, $[0,1,0]$ 로 나타낼 수 있다.
  • 일차 결합(Linear Combination)은 벡터들의 스칼라배와 합의 형태로 표현되는 것을 말한다.
  • 벡터 $v_1,v_2,\dots ,v_n$ 와 상수 $a_1,a_2,\dots ,a_n$ 대해서 다음과 같이 표현할 수 있다.
    • $a_1{v}_1+a_2{v}_2+\cdots +a_n{v}_n$
  • 위 고유벡터 식에 따라 $x_1=2x_3$ 을 아래와 같이 일차결합으로 증명할 수 있다. $\mathbf{x}=[2x_3,x_2,x_3{]}^T$
  • 위 벡터를 다음 일차결합 식으로 나타낼 수 있다. $\mathbf{x}=x_3[2,0,1{]}^T+x_2[0,1,0{]}^T$
  • 따라서, $x_1=2x_3$을 만족하는 벡터는 항상 $[2,0,1]$과 $[0,1,0]$의 선형결합으로 표현된다.

---

고유값 분해

• 고유값분해(eigen-decomposition)는 정방행렬 $A$를 고유벡터 행렬과 고유값 행렬의 곱으로 분해하는 것이다.
• 행렬 $A$의 고유값 행렬을 ${\lambda }_i$ , 고유벡터 행렬을 $v_i$라고 할 때, 다음이 성립한다.

$$A{v}_i={\lambda }_i{v}_i\text{ for }i=1,2,\cdots ,n$$ $$\begin{array}{rl}A[v_1,v_2,\cdots ,v_n]& =[{\lambda }_1{v}_1,{\lambda }_2{v}_2,\cdots ,{\lambda }_n{v}_n]\\ & \\ & =[v_1,v_2,\cdots ,v_n]\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& 0& 0\\ & & \ddots & \\ 0& 0& \cdots & {\lambda }_n\end{array}\right]\end{array}$$

• 이 때, 대각성분을 고유값들로 모아둔 행렬을 $\Lambda$ 라고 하고, 고유벡터 행렬을 $V$ 라고 하면 아래와 같이 쓸 수 있다.

$$AV=V\Lambda$$

• 만약 모든 고유벡터들이 선형독립이라면 위 식으로부터 아래와 같이 행렬 $A$를 쓸 수 있다.

$$A=V\Lambda V^{-1}$$

고유값 분해 가능조건 - 일차돌

---

참고

• 다크 프로그래머 :: [선형대수학 #3] 고유값과 고유벡터 (eigenvalue & eigenvector)
• 고윳값과 고유벡터 - 공돌이의 수학정리노트 (Angelo’s Math Notes)
• 머신러닝 - 19. 고유값(eigenvalue), 고유벡터(eigenvector), 고유값 분해(eigen decomposition)
• 고유값과 고유벡터 - gaussian37
• 고윳값 분해(eigen-value decomposition) - 공돌이의 수학정리노트 (Angelo’s Math Notes)