[CH2. Linear Algebra]
1. Systems of Linear Equations
연립 일차 방정식은 선형대수학의 중심이 되는 파트로 , 많은 문제들은 연립선형방정식으로 공식화될 수 있고
선형대수학은 이 문제를 풀수 있는 방법을 제공한다.
식 2.3은 연립선형방정식의 general form 이고, x1, ....., xn 은 이 방정식에서 미지의 값이다. 식(2.3)을 만족하는 모든 n-튜플은 이 연립선형방정식의 해이다.
연립선형 방정식을 조금 더 체계적으로 접근하기 위해서 식 2.3을 다음과 같은 형태로 표현하게 된다.
즉 계쑤 aij를 벡터로 표현하고 이러한 벡터들을 모아서 행렬로 표현하는 것이다.
2. Matrices
행렬은 선형대수학에서 매우 중요한 역할을 담당하며, 연립선형방정식을 간결하게 표현하는데 사용 할 수 있다.
Rmxn는 모든(m,n) 행렬의 집합이다. A는 행렬의 모든 열을 일려로 쌓아서 하나의 긴 벡터 a으로 표현 할수 있다.
1) Matrix Addition and Multiplication
두 행렬 A,B의 합은 element-wise sum으로 정의되며, 다음과 같다.
두 행렬 A,B의 곱은 c = AB의 요소로 다음과 같이 계산 된다.
내적이라고도 표현한다(dot product)이라고 한다. 내적이라는 것은 A.B과 같이 표기하여 나타낸다.
2)Identity Matrix
행렬의 성질은 다음과 같다.
Associativity(결합 법칙)
Distributivity(분배법칙)
Multiplication with the identity matrix
3) Inverse and Transpose
inverse matrix
역행렬이 존재하는 행렬을 regular/inverible/ nonsingular 라고 부름. (역행렬이 존재할때는 유일함.)
역행렬이 존재하지 않은 행렬을 singular/ noninvertible이라고 부른다.
2X2 행렬의 determinmant (행렬식이라고) 한다.
이때 행렬식이 존재할 조건은 a11a22-a12a21 != 0 이어야 한다는 것이다.
Transpose
쉽게 말해서 열을 행으로 바꿔서 얻을 수 있는 것이다.
A= AT를 만족할때 행렬 A를 stmmetric 하다고 표현하고 , stmmetrix matrix(대칭 행렬)라고 부른다.
단 대칭 행렬이려면 nxn의 정사각 행렬이어야 한다.
A의 역행령이 존재하면, AT의 역행렬도 존재하며 (A-1)T = (AT)-1 = A-T이 성립힌다.
4)Multiplicaiton by a Scalar
A를 곱하면 그 결과는 다음과 같다.
두 스칼라 값에 대해서 다음의 속성들을 만족한다.
5) Compact representaitons of Sysrems of linear equations
이런 연립선형방정식이 있을때 행렬의 곱셈 법칙을 사용하면 다음과 같이 간략한 형태로 작성할 수 있다.
Ax =b 의 형태로 표현할 수 있게 되는 것이다.
3. Solving Systems of Linear Equations
aij 와 bi는 알고 있는 상수이며 , xj는 미지수일때
연립선형방정식의 풀이에 초점을 맞추고 행렬의 역행렬을 찾는 알고리즘이 있다.
1)particular and general solution
이 시스템에는 두 개의 방정식과 4개의 미지수가 있다. 따라서 우리는 무한히 많은 해가 존재한다는 것을 알 수 있다.
우리의 목적은 x의 값을 구하는 것이다.
이중 1열과 2열로만 구성해서 [42,8,0,0]T로 구성되어 있는 것이 특수해 이다.
그러나 연립 선형방정식의 해는 하나가 아니기 때문에 다른 해를 찾으려면 0벡터를 만드는 방법을 찾아야 한다.
특수해를 이용해서 3번째 열 식을 하나 만들어 줄 수 있다.
마찬가지로 네 번째 열도 만들어줄 수 있다.
앞서 구한 특수해와 방금 구한 것들을 합치면, 연립방정식의 모든 해를 구할 수 있다. 이를 일반해라고 한다.
REMARK . 특수해와 일반해를 구하는 방법
Ax = b에서 특수해를 구한다.
Ax = 0에서 모든 해를 구한다.
1과 2를 통해서 얻은 해를 결합하여 일반해를 구한다.
이것이 아니면 연립 선형방정식을 간단한 형태로 변환한후, 세 단계를 적용시키는 가우스 소거법이 있다.
2) elemetary Transformations
연립선형방정식을 푸는데 핵심은 elemetary transformations이다.
이 세가지를 통해서 연립 방정식을 간단한 형태로 변환 시켜 줄 수 있다.
이런식으로 간단한 형태로 식을 변형 시켜 줄 수 있다.
REMARK1.
행의 선행계수를 피벗이라고 하며, 각 행의 피벗은 위에 있는 행의 피벗의 오른쪽에 위치하게 된다.
따라서, 모든 사다리꼴 형태의 연립방정식은 항상 계단 구조이다.
REMARK2.
사다리꼴 모양에서 피벗에 대응되는 변수들을 basic variables라고 하고, 나머지 변수들을 free variavles라고 한다.
3) minus1 trick
4. Vector Spaces
벡터 공간(vector spaces) 즉, 벡터가 존재하는 구조화된 공간에 대해서 살펴본다.
1) Groups
group은 컴퓨터 공학에서 중요한 역할을 함. 집합에 대한 연산을 제공하는 기본적인 프레임워크를 제공하는 것 이외에도 cryptograhy, coding theory, graphics에서도 많이 사용된다.
위의 조건을 만족해야 group이라고 하며
여기에
만족 하면 Abelian group이라고 한다.
2)Vector Spaces
group은 inner operation(+)에 대해서만 고려했는데, 이번에는 벡터와 스칼라의 곱을 의미하는 outer operation(.)인
.도 포함하는 집합을 살펴본다. inner operation은 G x G -> G와 같이 오직 G 의 요소에 대한 연산을 의미한다.
벡터 공간의 특성
3) vector subspaces
vector subspaces는 직관적으로 이 부분공간 내의 요소들에 대해 벡터 연산을 수행 할때 , 원래의 벡터 공간에 포함되는 집합이다. 따라서 vector subspaces 또한 닫혀 있어야 한다. vector subspaces 는 머신 러닝에서 중요한 개념이다.
U<V이고 V 가 vector space 라면 , U는 자연스럽게 V의 특성을 물려 받는다.
avelian group 속성, 분배법칙, 결합 법칙, 항등원이 포함된다.
(U,+,.)이 V의 subspace인지 확인 하려면 아래의 조건을 만족하는지 확인 하면 된다.
5.Linear Independence
벡터끼리 더하거나 벡터를 스칼라 값을 곱할 수 있는데, closure property로 인해서 결과적으로 같은 vector space의 다른 벡터를 얻을 수 있다. 따라서, vector space의 모든 베턱를 더하고 스케일링하여 표현 할 수 있는 모든 벡터집합을 찾는 것이 가능하다. 이러한 벡터 집합을 basis라고 한다.
1)linear combination(선형 결합)
2) linear independence
람다가 하나라도 0이 아니면 linearly dependent(선형 종속)이라고 한다.
선형 독립은 선형대수학에서 매우 주요한 개념이다. 직관적으로 선형독립인 벡터들의 집합은 중복성이 없는 벡터들로 구성된다.
벡터들이 선형 독립인지 판단하는 방법
벡터 공간 V에서 , k개의 벡터 x1,...,xk에서 m개의 선형 결합이 있을때, m>k라면 m개의 선형 결합의 벡터 집합은 lineary dependent하다.
6. Basis and Rank
벡터 공간 V에서 , 우리는 특히 A에 있는 벡터들의 선형 결합으로 어떤 벡터 를 얻을 수 있다는 속성을 가진 벡터 집합 A에 관심이 있다. 이러한 벡터들은 특수한 벡터들이다.
