무한서고

특잇값 분해(Singular value decomposition, SVD) - 개념2

0) 서론

저번 포스팅까지 해서 '도대체 왜 특잇값 분해라는 개념이 생겼나'에 대해서 살펴보았습니다.

정확히는 고윳값 분해(EVD)에서 조금 더 확장(n개의 축은 직교하니?)을 하고 싶었으나, 그 확장하고 싶은 개념이 EVD로 해결이 안되니까 이리저리 궁리를 시작한 그 시발점이죠!

저번 포스팅에서 '특잇값 분해가 태동'! 이라고 말했으나, 사실 '개념적 태동'이 여기서 시작된 거지, 아직 특잇값 분해의 개념에 가까이 가려면 아주 조금 더 나아가야 합니다.

그래서 마련한 '개념2'!

1) 비대칭 행렬에서는 왜 안되지...?

저번 포스팅에서 대칭 행렬에서는 EVD로 직교하는 축들을 찾을 수 있는데, 비대칭 행렬에서는 EVD로 직교하는 축들을 찾을 수가 없었다고 했습니다.

그 이유는 EVD는 행렬 자체의 본질적인 축들을 찾아주는 거라, 대칭 행렬에서는 본질적인 축들이 무조건 직교하지만, 비대칭 행렬에서는 본질적인 축들이 직교하지 않기 때문이죠.

그런데 비대칭 행렬에서는 왜 '본질적인 축들이 직교하지 않는지' 생각해 보신 적 있으신가요?

행렬에 의한 선형 변환에서는 가장 크게 나누어서 '확대/축소(scaling)'와 '회전(rotation)'의 두 가지 변환이 있습니다.

여기서 대칭 행렬은 본질적인 축은 직교한 채로 '확대/축소'의 성질만 가지고 있는 행렬이라 EVD시에 나오는 각 축(벡터)이 그대로 직교하게 되죠.

스펙트럼 정리(Spectral Theorem)라고 하는데, "스케일링 성질만 가진 행렬(즉, 대칭 행렬)은, 그 본질적인 축으로 이루어진 '직교하는 세트(Basis)'를 반드시 찾을 수 있다."는 정리죠.

그러나 비대칭 행렬은 '회전'의 성질까지 가지고 있어, 무조건 EVD시에 각 축(벡터)이 직교가 깨지게 됩니다.

쉽게 말해 좌표 축이 비틀리게 되는 거죠.(스케일링과 회전을 동시에 가하기때문에 어떤 특정한 방향으로 분포가 밀리게(shearing)됩니다.)

그리고 비틀린 좌표축은.. 당연히 직교가 깨지게 되겠죠.

따라서 EVD만으로는 절대로 비대칭 행렬에서의 직교 축들을 찾을 수 없습니다.

계속해서 '본질적인 축들'만을 찾으려고 하니까요.

그러면 개념을 바꿔야 합니다.

행렬 $A$가 어떤 선형 변환을 일으킨다고 했을 때, 선형 변환 후에 직교인 축(벡터)들을 찾고 싶다면, 그에 해당하는 선형 변환 전에도 직교인 축(벡터)들을 '같이' 찾아야 한다는 것이죠.

즉, 다시말해

특잇값 분해는 "'선형 변환 후 직교하는 축'을 찾는 것"이며, 이를 위해서는 '변환 전 직교하는 축'을 반드시 함께 찾아야 한다.

로 귀결됩니다!

2) 변환 전 직교 축은 대체 무엇?

일단 우리는 여기서 임의의 행렬 $A$로 변환한 후에도 직교인 축을 찾고 싶습니다. 그리고 이걸 찾으려면 변환 전에도 직교인 축을 찾아줘야한다는 것을 알았습니다.

그런데, 여기서 문제가 발생합니다.

변환 전에 직교 축을 대체 무엇으로 설정할 것인지?

에 대한 아주 큰 문제가 발생하죠.

3) 마무리

자, 여기서 오늘의 포스팅은 끊습니다!

왜냐구요? 바로 다음 장부터 아주 중요한, 말그대로 SVD의 핵심 내용이 시작되니까요!

'개념'파트로써는 여기서 마무리입니다.

뭔가 이제 막 이해가 된 것 같아서 두근두근 하지 않나요?

이제 진짜 왜 SVD가 필요한지 알 것 같지 않나요?