3.1 Norm
- 절대 동질성(Absolutely homogeneous): 모든 스칼라 λ에 대해 ||λx|| = |λ|||x||을 만족한다.
- 삼각 부등식(Triangle inequality): 두 벡터의 합의 노름은 각 벡터의 노름의 합보다 작거나 같다는 것을 의미한다. ||x + y|| ≤ ||x|| + ||y||.
- 양의 정부호(Positive definite): 모든 벡터 x에 대해 ||x|| ≥ 0이며, ||x|| = 0인 경우에만 x = 0이 된다.
맨해튼 노름 (Manhattan Norm) vs 유클리드 거리 (Euclidean Distance)
맨해튼 노름(L1 norm) :
벡터의 각 성분의 절대값의 합으로 계산
유클리드 거리(L2 norm) :
유클리드 거리는 우리가 일반적으로 생각하는 두 점 사이의 '직선 거리'
피타고라스 정리의 일반화한 것으로, 벡터의 각 성분의 제곱을 합한 뒤 제곱근을 취하여 계산 한다.
3.2 Inner Products (내적)
dot product (점곱):
가장 친숙하면서도 두 수열의 해당 항목의 곱의 합을 나타냄
general Inner Products (일반 내적 )
선형대수학에서는 벡터 공간에서 두 벡터를 실수에 매핑하는 함수를 내적이라고 함.
이러한 매핑은 스칼라의 덧셈과 곱셈에 대해 재배열 할 수 있으며 두인자에 대해 선형이다.
여기서 와 는 스칼라이고, 는 벡터 공간 의 벡터입니다. 이것은 가 첫 번째 인자에 대해 선형이며, 두 번째 인자에 대해서도 선형이라는 것을 의미함.
definition of inner Prodct)
내적이란 두 벡터를 받아서 하나의 실수로 매핑하는 이중선형(billnear) 매핑이다. 내적은 다음과 같은 성질을 가진다.
이러한 공간을 내적 공간이라고 하며, 유클리드 벡터 공간의 경우 점곱(dot product)을 내적으로 사용함.
Lengths and Distances( 길이와 거리)
벡터의 길이 계산
벡터 x가 자기 자신과 내적될대의 결과값의 제곱근을 나타낸다. 이를 통해 벡터의 길이를 구할 수 있다.
거리의 개념
두 베거 x와 y 사이의 거리는 내적을 사용하지 않고도 노름으로 계산 할 수 있다.
두 벡터 사이의 "차이" 벡터의 노름을 의미함. 만약 점곱을 내적으로 사용한다면 유클리드 길이가 되는 임.
거리의 성질
코시- 슈바르츠 부등식
내적 공간에서 유도된 노름은 코시- 슈바르츠 부등식을 만족한다.
두 벡터간의 내적의 절대값이 해당 벡터의 노름의 곱을 초과할 수 없다는 것을 나타내는 것임.
메트릭의 개념
벡터 공간에서 메트릭은 두 벡터 사이의 거리를 실수로 매핑하는 함수임.
벡터의 길이와 마찬가지로, 거리를 정의하는 데 내적이 필요하지 않음.
내적에 의해 유도된 노름을 가지고 있다면, 내적의 선택에 따라 거리가 달라질 수 있음.
메트릭은 다음과 같은 성질을 만족한다.
- 양의 정부호: 모든 벡터 에 대해 이며, 이면 입니다.
- 대칭성: 모든 벡터 에 대해 입니다.
- 삼각 부등식: 모든 벡터 에 대해 입니다.
각도와 직교성
내적은 벡터의 길이와 거리를 정의할 수 있을 뿐만 아니라, 벡터 간의 각도 를 정의함으로써 벡터 공간의 기하학적 구조를 포착한다. 코시-슈바르츠 부등식을 사용하여 내적 공간에서 두 벡터 사이의 각도를 정의할 수 있습니다. 두 벡터 �와 가 모두 0이 아닐 때, 다음과 같은 관계가 성립한다:
이는 벡터 사이에 유일한 각도 가 존재함을 의미하며, 다음과 같이 계산할 수 있다.:
여기서 는 벡터 와 사이의 각도로, 두 벡터의 방향이 얼마나 유사한지를 알려주는 역할을 함
예를 들어, dot product를 사용할 때, 두 벡터 사이의 각도가 0이면, 그 방향성은 같다고 할 수 있다.
이러한 수학적 개념들은 머신 러닝에서 벡터 간의 방향성과 위치를 이해하고, 데이터의 구조를 분석하는 데 중요한 역할을 한다.
벡터 간의 각도 계산
벡터 와 의 각도를 계산한다. 내적을 이용한 각도 계산은 다음과 같은 공식으로 수행된다:
c
여기서 는 두 벡터 사이의 각도를 나타낸다.
직교성의 정의
두 벡터 와 가 직교한다는 것은 와 의 내적이 0이라는 의미이다.
즉 . 만약 와 가 단위 벡터라면, 이 두 벡터는 정규직교(orthonormal)한다. 이 개념은 0벡터가 벡터 공간 내 모든 벡터와 직교한다는 것을 의미하기도 한다.
직교성은 점곱에 국한되지 않고, 다양한 이중 선형 형태에 대한 수직성의 일반화이다. 기하학적으로 생각하면, 직교하는 벡터는 특정 내적에 대해 서로 직각을 이루는 것으로 볼 수 있습니다.
직교 벡터 예시
1. 벡터 간의 각도와 직교 행렬
머신 러닝에서 벡터 간의 각도는 데이터 포인트 사이의 관계를 이해하는 데 중요하다. 내적을 통해 이 각도를 계산함으로써, 두 데이터 포인트가 얼마나 비슷하거나 다른지를 수치화할 수 있다. 예를 들어, 와 벡터의 내적을 통해 계산된 각도가 90도라면 이 둘은 서로 직교한다고 할 수 있다.
직교 행렬은 그 자체로 변환을 수행할 때 벡터의 길이와 각도를 보존하는 성질을 가진다. 이러한 성질 덕분에, 직교 행렬은 데이터의 회전과 같은 변환을 수행할 때 원본 데이터의 기하학적 성질을 유지하면서 차원 축소를 하는 데 유용하게 사용된다.
2. 정규직교 기저와 그람-슈미트 과정
기저는 벡터 공간을 구성하는 벡터의 집합으로, 공간의 모든 벡터를 해당 기저 벡터의 선형 결합으로 표현할 수 있다. 특히, 정규직교 기저는 이러한 기저 벡터들이 서로 직교할 뿐만 아니라 길이가 1인 경우를 말한다. 이러한 기저를 구성하기 위한 방법 중 하나가 그람-슈미트 과정이다.
3. 직교 투영
직교 투영은 높은 차원의 데이터를 보다 낮은 차원의 부분공간으로 투영하는 과정이다. 이는 데이터의 중요한 특성을 보존하면서 차원을 줄이기 위해 사용된다. 예를 들어, 주성분 분석(PCA)는 데이터의 분산을 최대한 보존하는 직교 투영을 찾는 방법이다.
4. 함수의 내적과 정규직교 함수 시스템
벡터에 대한 내적 개념을 함수로 확장하면, 연속적인 데이터를 다룰 수 있습니다. 예를 들어, 두 함수 와 의 내적은 정해진 구간에서 두 함수의 곱을 적분한 것으로 정의된다. 이를 통해 함수가 서로 직교하는지를 판단할 수 있으며, 이는 푸리에 시리즈의 기초가 된다.
