MML on Jiho Kim

4.5 Singular Value Decomposition

Sat, 22 Aug 2026 09:52:31 +0900

📝 상세 정리

행렬 $A \in R^{m \times n}$가 랭크 $r \in [0, min(m, n)]$ 인 rectangular matrix라 할 때, $A$의 $SVD$는 다음과 같은 형태이다.
- $A = U\Sigma V^T$
- 그리고 이 Singular Value Decomposition(SVD, 특잇값 분해)는 정사각 행렬 뿐만 아니라 모든 행렬에 대해 적용할 수 있고 항상 존재한다!!
  - 이에 fundamental theorem of linear algebra라고도 부른다.
기하학적 직관으로 관찰하면 다음과 같다.
- 고윳값 분해 에서 확인했던 것과 마찬가지로, 직관적으로 보기 쉬운 축으로 변환한 뒤 변환을 수행하고 원래대로 놀려놓는 것이다.
일단 정사각 행렬의 고윳값분해와 특잇값분해를 보면서 차이를 비교해보자.
- $S = S^T = PDP^T$
- $S = U\Sigma V^T$
- 그러면 $U = P = V, D = \Sigma$로 매칭됨을 먼저 확인할 수 있다.
- 이 식이 어떻게 탄생했을지 생각해보자.
  - 일단 고윳값분해가 안되는 행렬이 존재했던 이유는 변환과 역변환 과정에서 같은 기저를 사용했다는데에 있다.
  - 그런데 같은 기저를 두번 사용할 필요가 있을까?
  - 입력공간 $R^N$ 에서 사용하는 기저와 출력공간 $R^M$에서 사용하는 기저가 달라도, orthogonal함과 관계만 잘 정의되면 크게 문제없지 않을까?
따라서 $A$의 SVD를 계산하는것은 $R^M$의 기저 $U$와 $R^N$의 기저 $V$를 찾는 것과 같다.
- 먼저 $R^N$의 기저 $V$를 찾고,
- 이에 맞춰 $U$를 구성한 후
- 그 둘을 직교성을 살리며 잘 이어붙이는 방향으로 진행해보자.
전략을 하나 생각해보자. $U, V$를 만들고싶은데, 정사각 행렬이 아니라서 고유값 분해를 바로 쓰지 못한다.
- $A^TA, AA^T$를 사용하는건 어떨까?
  - 항상 정방행렬이며, 심지어 symmetric하다.
  - 다시말해, 확실하게 고유값분해가 존재하고, eingervector 직교하기까지 한다!
$V$를 먼저 구성해보자.
- 이는 $A^TA$의 eingervector이다.
- 따라서 $A^TA = PDP^T, \, D = diag(\lambda_1, ..., \lambda_n), \, \lambda_i \geq 0$ 이다.
- 만약 SVD $A = U\Sigma V^T$가 존재한다면, 위 식은 다음과 같이 바뀔것이다.
- $A^TA = (U\Sigma V^T)^T(U\Sigma V^T) = V\Sigma^TU^TU\Sigma V^T = V(\Sigma^T\Sigma )V^T$
- $\Sigma^T\Sigma = diag(\sigma_1^2, ..., \sigma_n^2)$
- 그렇다면 $A^TA$가 $PDP^T$, $V(\Sigma^T\Sigma )V^T$ 두가지로 대각화된 셈인데, 대각화는 유일해야하므로 두 식의 대응되는 조각들은 같아야한다. 따라서
- $V = P, \sigma_i^2 = \lambda_i$ 임이 나온다! $V$는 그냥 $A^TA$의 eingervector이고, $\sigma_i$는 $A^TA$의 $eingervalue$의 제곱근이다.
같은 방식으로 $U$에 적용하면
- $AA^T = SDS^T$ 에서
- $U = S$, $U$는 $AA^T$의 고유벡터임을 확인할 수 있다
자, 각각의 존재성은 알겠다. 그런데 이 $U, V$가 서로 무관하면 우리의 가설이 성립한다는 보장이 없다. 서로 잘 대응되게 짝지어줘야한다.
- 방식을 약간 바꿔서, $U$를 $V$로부터 구해보자.
- 일단 $A{v_i}$들끼리는 서로 직교한다.
  - $(A{v_i})^T(A{v_j}) = v_i^T(A^TA)v_j = v_i^T(\lambda_j v_j) = \lambda_j (v_i^T v_j) = 0$
- orthonormal함을 위해 정규화해서 $u_i$를 만들자.
  - $u_i := \frac{Av_i}{||Av_i||}$
  - $||Av_i|| = \sqrt{(Av_i)^T(Av_i)} = \sqrt{v_i^TA^TAv_i} = \sqrt{\lambda_i} = \sigma_i$
- 이렇게 정의한 $u_i$가 $AA^T$의 eigenvector과 같음을 알 수 있다!
위 정리로부터 $Av_i = \sigma_i u_i$ 임을 알 수 있고, 이를 행렬로 압축하면
$AV = U\Sigma$, 다시말해 우리가 기대하던 $A = U\Sigma V^T$ 를 얻을 수 있다!

❔질문 사항

❓ Question

🔗 참고 자료

4.4 Eigendecomposition and Diagonalization

Fri, 21 Aug 2026 14:49:00 +0900

📝 상세 정리

대각행렬은 참 유용하다.
- $det$도 쉽게 구할 수 있고, 거듭제곱, 역행렬, eigenvector 등을 구하는게 모두 용이하다.
- 심지어 transform 자체를 직관적으로 이해하는데도 훨씬 용이하다.
그렇다면, 어떤 행렬 $A$가 주어졌을때 해당 행렬을 대각화할 수 있지 않을까?
- 다른 기저에서 해당 행렬을 바라본다면 보기 좋은 기저가 있지 않을까
- 이를 $D = P^{-1}AP$로 나타내보자. 이를 만족하는 가역행렬 $P$가 존재한다면 $A$는 대각화가 가능하다고 한다.
  - 이 기저는 $A$의 eigenvector로 구성되어있다.
- 해당 식은 $AP = PD$로 나타낼 수 있고, 이를 쪼개서
  - $Ap_1 = \lambda_1 p_1, ... ,Ap_n = \lambda_n p_n$ 이라고 생각하면 $A$의 eigenvector인것도 바로 보인다.
위 식을 조금 더 직관적으로 이해해보자.
- $P^{-1}$은 기존 기저에서 eigen기저로 기저 변환을 수행한다.
- $D$는 해당 기저 위에서 각 축으로 scaling을 수행한다.
- $P$는 scaling된 벡터들을 다시 기존 기저로 변환한다.
대각행렬의 유용함 잘 써먹을수 있다!
하지만.. 언제나 대각행렬이 존재하는건 아니다.
- 행렬이 정사각이 아니라면?
- $P$가 역행렬이 존재하지 않거나, rank가 부족하다면?
  - 이 상황을 defective matrix(부족 행렬) 이라고 한다.
    - 예시로는 $A = ((1, \frac{1}{2}), (0, 1))$

❔질문 사항

❓ Question

🔗 참고 자료

3.8 Orthogonal Projections

Thu, 20 Aug 2026 15:00:00 +0900

📝 상세 정리

데이터를 압축하는 방법을 알아보자
- 정확히는 원본의 고차원 데이터를 낮은 차원의 feature space로 projection하자는 것이다.
  - 이를 차원 축소라고 한다.
  - 그리고 이 때 압축 손실을 최소화 하기 위해 가장 정보를 많이 담고있는 차원을 찾는 것이 이상적이다.
Vector Space $V$, V의 subspace $U \subseteq V$가 있을 때, linear mapping $\pi$가 $\pi^2 = \pi \circ \pi = \pi$ 를 만족한다면 $\pi$를 projection이라 부른다.
- 이를 직관적으로 이해하자면, $\pi : V -> U \subseteq V$ 의 linear mapping이 있다고 하자.
- 이때 $\pi^2 = \pi$ 를 만족하기 위해서는 $U$ 안의 원소들은 사영 이후에도 $U$ 안에 있어야 한다.
  - $u$가 어떤 벡터 $x$의 사영 결과라고 하면 아래와 같은 식을 만족하게 된다.
    - $\pi(u) = \pi(\pi(x)) = \pi(x) = u$
- 위와 같은 직관으로 이해하면 된다!
Linear Mapping $\pi$는 transformation matrix로 표현 가능하기에 $P_{\pi}$ 로 표현해도 되겠다.

3.8.1 Projection onto One-Dimensional Subspaces (Lines)

한번 직접 1차원 공간 (직선) 으로 사영시켜보자.
원본 데이터로부터 Basis vector $b \in R^N$ 인 1차원 벡터가 주어졌다고 해보자.
- 이 벡터는 $b$에 의해 span되는 1차원 subspace $U \subseteq R^N$ 을 만든다.
$x$를 $U$로 projection할 때, 우리는 $x$에 가장 가까운 벡터 $\pi_{U}(x) \in U$ 를 찾아야한다.
- 이때 사영된 결과 $\pi_U(x)$ 는 $x$와 가장 가깝다.
  - 이는 distance가 최소라는 의미이고, $\pi_U(x) - x$가 $U$에 직교한다는 의미이다.
    - 이에 따라 물론 $b$와도 직교한다.
  - 따라서 $\langle \pi_U(x) - x, b \rangle = 0$ 을 만족해야 한다.
- $\pi_U(x)$는 $U$의 원소여야한다. 따라서 $b$로 표현할 수 있으며, $\lambda \in R$에 대해 $\pi_U(x) = \lambda b$ 이다.
이후 전개 과정은 다음과 같다. $$ \begin{aligned} \langle \pi_U(x) - x, b \rangle &= \langle x - \pi_U(x) , b \rangle \ &= \langle x - \lambda b , b \rangle \ &= \langle x, b \rangle - \lambda \langle b , b \rangle \[1em]

\lambda &= \frac{\langle x, b\rangle}{\langle b, b\rangle} \ &= \frac{\langle x, b\rangle}{||b||^2} \ &= \frac{b^Tx}{||b||^2} \end{aligned} $$

위 식에서 마지막 등호는 내적으로 dot product를 골랐을 때 성립한다.
$$ \begin{aligned} \pi_U(x) &= \lambda b \\ &= b \lambda \\ &= b\frac{\langle x, b\rangle}{||b||^2} \\ &= \frac{bb^T}{||b||^2}x \\[1em] P_{\pi} &= \frac{bb^T}{||b||^2} \end{aligned} $$
위와 같이 Projection Matric을 구할 수 있다.

3.8.2 Projection onto General Subspaces

위의 유도 과정을 1차원이 아닌 $m$차원 subspace에서 시도해보자.
$U$의 basis를 $\langle b_1, b_2, ... b_m \rangle$ 이라고 해보자.
- $\pi_U(x)$는 $U$ 위의 원소여야하므로
  - $\pi_U(x) = \sum_{i = 1}^{m} \lambda_{i} b_i = B\lambda$
- 또한 $\pi_U(x) - x$는 모든 basis와 직교해야하므로
  - $1 \leq i \leq m$ 에 대해 $\langle \pi_U(x) - x, b_i \rangle = 0$
아까와 비슷한 식인데, 다차원이 되면서 조금 더 복잡해졌다. 그래도 같은 방식으로 전개해보자.
$1 \leq i \leq m$ 에 대해 $\langle \pi_U(x) - x, b_i \rangle = \langle b_i, \pi_U(x) - x \rangle = b_i^T(x - \pi_U(x)) = b_i^T(x - B\lambda) = 0$
- 이는 다음과 같이 바꿀 수 있다. $$ \begin{aligned} \begin{bmatrix} b_1^\top \\ \vdots \\ b_m^\top \end{bmatrix} (x - B\lambda) = 0 &\iff B^\top (x - B\lambda) = 0 \\ &\iff B^\top B \lambda = B^\top x \end{aligned} $$
그런데, 여기서 $b_1, b_2, ... b_m$은 $U$의 basis이기 때문에, 선형 독립이다! 따라서 역행렬이 존재한다. 그러므로 $\lambda$를 다음과 같이 구할 수 있다.
- $\lambda = (B^TB)^{-1}B^Tx$
Projection Matrix도 같은 방식으로 구하면 $$ \begin{aligned} \pi_U(x) &= \lambda B \ &= B \lambda \ &= B(B^TB)^{-1}B^Tx \[2em]

P_{pi} &= B(B^TB)^{-1}B^T \end{aligned} $$

❔질문 사항

❓ Question

🔗 참고 자료

3.4 Angles and Orthogonality

Wed, 19 Aug 2026 14:00:00 +0900

📝 상세 정리

inner product는 angle도 정의할 수 있다.
- 코시-슈바르츠 부등식을 사용하면 벡터 $x, y$ 간의 내적에서의 각도 $\omega$를 정의할 수 있다.
- $x \neq 0, y \neq 0$ 임을 가정하면
- $-1 \leq \frac{\langle x, y \rangle}{||x|| ||y||} \leq 1$ 이다. 따라서 유일한 각도 $\omega \in [0, \pi]$ 가 결정 가능함을 알 수 있고,
- $\cos{\omega} = \frac{\langle x, y \rangle}{||x|| ||y||}$ 와 같다.
두 벡터간의 각도는 두 벡터의 방향이 얼마나 유사한지 알려준다.
또한 두 벡터간의 직교(orthogonality)를 도출할 수 있다.
- 만약 $\langle x, y \rangle = 0$ 이라면 두 벡터 $x, y$를 orthological 한다고 한다.
- 이에 더해 $||x|| = ||y|| = 1$ 이라면 $x, y$를 orthonormal 한다고 한다.
정사각 행렬 $A \in R^{N \times N}$ 이 orthonormal할때 아래 식이 성립한다면 $A$를 orthogonal matrix(직교 행렬) 이라고 한다.
- $AA^T = I = A^TA$
  - 여기서 $A^{-1} = A^T$임도 증명 가능하다!
직교 행렬은 다음과 같은 특별함을 가진다.
- 직교 행렬을 사용한 변환에서 $x$의 길이는 변하지 않는다.
  - $||Ax||^2 = ||x||^2$
- 두 벡터의 각도도 변하지 않는다.

❔질문 사항

❓ 직교행렬의 변환에서 x의 길이가 변하지 않는다는건 $det(A) = 1$ 이라는건가?

대충 맞다. 정확히는 $\pm 1$ 이다!

🔗 참고 자료

3.3 Lengths and Distances

Wed, 19 Aug 2026 13:00:00 +0900

📝 상세 정리

내적은 norm을 유도할 수 있다.
- 하지만 모든 norm이 내적에 의해 유도되진 않는다.
  - 대표적으로 맨해튼거리, 체비셰프거리에서는 정의되지 않는다!
  - 유클리드 노름과 그 변형들에서만 가능하다고 한다
  - Jordan-von Neumann 정리를 참고하면 된다는듯!
내적 공간 $(V, \langle ⋅, ⋅ \rangle)$ 에 속하는 $x, y$의 distance는 다음과 같이 정의된다.
- $d(x, y) := ||x-y|| = \sqrt{\langle x-y, x-y \rangle }$
- 내적으로 dot product를 사용할때 이는 유클리드 거리가 된다.
metric은 다음의 mapping으로 정의된다.
- $d: V \times V \rightarrow R$
- $(x, y) \leftrightarrow d(x, y)$

❔질문 사항

❓ Question

🔗 참고 자료

3.2 Inner Product

Wed, 19 Aug 2026 12:00:00 +0900

📝 상세 정리

내적 (Inner Product)를 정의해보자.
고등학교 시절에 배운 내적은 사실 Inner Product중 특수한 한 형태로, Dot Product 라고 한다.
- $x^Ty = \sum_{i=1}^n x_iy_i$
- 하지만 내적에는 더 일반적인 개념이 있다.
Positive definite 이면서 symmetric한 bilinear mapping $\Omega: V \times V \rightarrow R$ 을 $V$에서의 Inner Product라 부른다.
- 각 개념들을 하나하나 이해해보자.
Bilinear mapping $\Omega$ 는 두 arguement에 대해 Linear한 mapping이다.
$\Omega: V \times V \rightarrow R$ 에 대해
- $x, y \in V$ 에서 $\Omega(x, y) = \Omega(y, x)$ 이라면 $\Omega$를 symmetric이라고 부른다.
- $\forall x \in V-\{0\}: \Omega(x, x) > 0, \Omega(0, 0) = 0$ 이라면 $\Omega$를 posiitive definite라고 부른다.
위의 내용을 종합하면, 결국 내적은 Symmetric, positive definite한 행렬 하나로 결정된다.
다시 말해, $⟨x, y⟩ = \hat{x}^T A \hat{y}$로 정리할 수 있겠다.

❔질문 사항

❓ Question

🔗 참고 자료

3.1 Norms

Wed, 19 Aug 2026 11:00:00 +0900

📝 상세 정리

벡터의 크기/길이에 대한 개념을 Norm이라는 개념을 사용해서 논의해보자.
벡터공간 $V$에서 Norm은 다음과 함수와 같다.
- $|| \cdot ||: V \rightarrow R$
- $x \rightarrow ||x||$
위 함수는 각 벡터 $x$를 길이 $||x|| \in R$로 매핑한다. 그리고 이는 다음을 만족시킨다.
- $|| \lambda x || = | \lambda | || x ||$
- $|| x+y || \leq ||x|| + ||y||$ (삼각부등식)
- $|| x || \geq 0, || x || = 0 \leftrightarrow x = 0$
위와 같은 정의 아래에서 다음과 같은 노름들을 생각해보자.
- $||x|| = \sum_{i = 1}^n |x_i|$ (맨해튼 거리)
- $||x|| = \sqrt{\sum_{i = 1}^n {x_i}^2}$ (유클리드 거리)

❔질문 사항

❓ 체비세프거리의 노름 식은 어떻게될까?

$||x|| = max_{i} |x_i|$ 정도면 되지 않을까?

🔗 참고 자료

2.6 Basis and Rank

Wed, 19 Aug 2026 10:00:00 +0900

📝 상세 정리

Basis

2.5장 에서 기저(Basis)를 간단하게 말하긴 했지만, 이것도 조금 더 엄밀하게 정의해보자.
어떤 벡터공간 $V$와 벡터 집합 $A = \{x_1, ..., x_k\} \subseteq V$ 에 대해, $A$의 선형 결합으로 만들 수 있는 집합을 span 이라고 하자.
- 그리고 span이 $V$와 같은 경우 해당 집합을 Generating Set 이라고 하자.
이제 우리는 Basis를 정의할 준비가 되었다.
- $V$의 Generating set $A$에 대해, $A' \subseteq A \subseteq V$ 인 생성집합 $A'$이 존재하지 않다면, 다시말해 $A$가 $V$를 표현할 수 있는 minimal한 집합이라면 $A$를 Basis 라 부르자.
여러가지 추가적인 사항도 알아보자.
- Basis는 유일하지 않다.
- vector space의 차원이 반드시 벡터의 요소 개수이지 않을 수 있다!
  - 둘이 같은경우에 선형독립과 Generaing Set은 같은 의미가 되겠지만
- 가우스 소거법 후 Pivot 열과 관련된 Spanning Vector이 U의 Basis이다.

Rank

$A \in R^{M \times N}$ 의 선형 독립인 열의 수는 선형 독립인 행의 수와 같고, 이를 Rank라 하자.
- 가우스 소거법 이후 Pivot 개수를 셀때를 생각해보면 조금 더 직관적으로 와닿는다.
- 차원이 다름에도 같은 개수의 독립을 가진다는게 신기하다!

❔질문 사항

❓ Question

🔗 참고 자료

2.5 Linear Independence

Mon, 17 Aug 2026 12:00:00 +0900

📝 상세 정리

선형 독립!! 재밌겠다
벡터들을 더하고 스칼라배하는게 이제 가능해졋다.
- 그렇다면 이 두가지 연산들을 진행해서 얻을 수 있는 벡터들의 집합을 정의할 수 있겠다.
- 이들을 basis 라고 부를 것이다.
그러면 각 벡터들을 스칼라배하여 더한 결과를 생각해보자.
- $v = \lambda_{1}x_{1} + \lambda_{2}x_{2} + ... = \sum_{i=1}^k \lambda_{i}x_{i} \in V$
- 이를 선형 결합이라 하자.
선형 결합으로 영벡터 $0$ 을 만드는 상황을 생각해보자.
- 당연하게도 모든 람다에 0을 대입해서 만들 수 있다. (자명한 해)
- 하지만 하나라도 0이 아닌 해가 있다면 이 때 $x_1, x_2, ... x_k$는 선형 종속이라고 한다.
- 그렇지 않다면 선형 독립이라고 한다.
선형 독립과 종속을 구별하는 방법에는 여러가지 방법이 있다.
- 영벡터 유무
- 배수관계 벡터 유무
- 가우스 소거법 후 모든 열이 pivot 열인지 등등…
또 몇개를 확인하고 지나가자.
- 행렬 $B$의 열들이 선형 독립일 때, 계수행렬 $\Lambda = \{\lambda_j\}$가 있어서 $x_j = B\lambda_j$ 인 행렬 $X = B\Lambda$가 있다고 하자.
  - 이 때 $\{\lambda_j\}$ 와 $\{x_j\}$ 의 독립성은 같다. (동치이다)
- $V$ 에서 $k$개의 벡터 $x_1, x_2, ... x_k$ 에서 $m$개의 선형 결합이 있을 때, $m > k$ 라면 $m$개의 선형 결합의 벡터 집합은 선형 종속이다.
  - 가우스 소거법 이후 pivot 열이 없는 상황이 있는 상황과 같다.

❔질문 사항

🔗 참고 자료

2.4 Vector Spaces

Mon, 17 Aug 2026 11:00:00 +0900

📝 상세 정리

(V, +, *)을 벡터공간이라 하자
- 덧셈에 대해서 닫혀있고
  - (V, +)가 아벨군이고
- 스칼라곱에 대해서 닫혀있고
  - 어떤 실수 R에 대해 분배법칙과 결합법칙이 잘 적용되며
  - 스칼라배에 대한 항등원이 잘 정의된
벡터 부분공간 (subspaces)
- 어떤 잘 정의된 벡터 공간 (V, +, *)이 있다고 하자
- 이때 $U \subseteq V$ 이고 영벡터가 아닌 $U$가 있으면, 해당 벡터공간 $U$를 vector subspace 혹은 linear subspace라고 한다.
  - 물론 아벨군 속성, 연산 속성들 다 그대로 물려받는다.
- 자명한 $V$의 벡터 부분공간에는 본인 자체와 $\{0\}$이 있다.
- 위와 같은 그림에서 $R^2$의 부분공간은 $D$뿐이다. (연산에 대해 잘 닫혀있는지 확인해보자!)

❔질문 사항

❓ 예전에 NLP같은데서 차원 낮추는걸 좀 한거같은데, 이게 벡터 부분공간에 가까운걸 잘 찾아가는듯한 동작인가? 나중에 사영을 하면 이것도 벡터부분공간의 정의를 잘 따라가는거일거같고

맞다. 임베딩 차원 축소는 본질적으로 데이터의 분산을 최대한 보존하는 부분공간을 찾는 문제이기 때문