[mathematics for Machine Learning] 선형대수 스터디 1주차 (solving ststems of linear Equations , vector space)

2.3 Solving systems of Linear Equations 

선형 방정식을 푸는 방법

 

이런 선형 방정식들은  알려진 상수 a11, a12, a1n 과 알려지지 않는 변수 x1 ,x2,x3 ,,, xn으로 이루어져 있고 

우리는 여러개의 방정식에서 변수들의 값을 찾아야 한다. 

 

 

2.3.1 Particular and General Solution  특이해 과 일반해 

이런 해를 구하려고 생각해보자.  2개의 방정식과 변수 4개가 존재 한다. 

그러므로 당연히 무수히 많은 해가 존재 한다. 하지만 그럼에도 불구 하고 그 중 하나의 특정 해를 구하는 방법을 

생각 해보자. 

 

우선, 방정식의 앞 두 개만을 가지고  [42, 8] 해를 구할 수 있다.  

 

 

 

[42,8,0,0]을 특이해 라고 한다. 그러나 이 선형 방정식에서 유일한 해가 아니다. 이 선형방정식의 모든 해를 표현하기 위해서 처음에 사용했던 방정식의 앞 두개를 사용해서 다른  방정식들을 0을 만드는 형태로 만들어 줘야 한다.. 

 

이렇게  표현해줄 수 있다. 

그래서  앞선 과정들을 방정식의 변수 형태로 표현해주면 다음과 같은 해를 가지게 된다. 

마찬가지로 방정식의 4번째 부분도 앞의 2개로 표현해준다.  그러면 해는 이렇게 나오게 된다. 

 

 

 

앞의 과정을 정리 하면 다음과 같다. 

 

1. Ax = b의 특이해를 하나 찾는다. 

2. Ax = 0 의 모든 해를 찾는다. 

3.  step1과 step 2를 합쳐서 일반해를 갖도록 한다. 

 

 

2.3.2 Elemetary Transformations 기본 변환 

선형 방정식 시스템을 푸는 열쇠는 기본 변환이다.

해를 동일하게 유지하지만 시스템을 변환하는 변환 더 간단한 형태로 변환한다는 것이다. 

그래서 일반적으로 총 3가지 방법을 사용 해줄 수있다. 

 

1. 두 방정식을 교환하는 것이다. (즉, 행렬의 행을 교환해주는 것이다. ) 

2. 한 방정식을 상수배 해주는 것이다. ( 즉, 행렬의 행 전체를 상수배 한다. ) 

3. 두 방정식을 더한다.  (즉, 행렬의 행 끼리 합을 해주는 것이다.) 

 

 

기본 변환 3개를 적절히 활용해서  방정식의 행렬을 최대한 간단히 만들어 주는 것이다. 

 

 

그래서 기본행 변환으로 얻은 해로 특이해를 구하고 그 다음 일반해를 구할 수 있게 되는 것이다. 

특히, pivot의 형태로 만들어 주면 해를 구하는데 편하게 구할 수 있다. !! 

 

pivot을 만들어주기 위해서  행 사다리꼴로 변환해주는 것이 좋다. 

 

&행사다리꼴로 변하기& 

 모든 열에 0이 존재한다면  맨 아래 행으로 옮긴다. 

 pivot 열에서 pivot 보단 밑에 있는 것들은  0 이 되도록 옮긴다.

 

 

 

2.4 Vector Spaces 벡터 공간 

 선형 방정식의 해를 구할 때 matrix -vector space로 해결 했었다. 

이장에서는  vector가 무엇 인지 공식화하는 챕터였다.  

 

2.4.1 Groups 그룹 

그룹을 정하는 조건 

 

1. 닫힘 성질: 모든 x와 y에 대해, 만약 x와 y가 G에 속한다면, x⊗y도 G에 속한다.
2. 결합 법칙: 모든 x, y, z에 대해, 만약 x, y, z가 G에 속한다면, (x⊗y)⊗z=x⊗(y⊗z) 이다.
3. 항등 원소: 적어도 하나의 e가 G에 존재해서 모든 x에 대해 x⊗e=x이고 e⊗x=x이다.
4. 역원: 모든 x에 대해, 적어도 하나의 y가 G에 존재해서 x⊗y=e이고 y⊗x=e인 것, 여기서 e는 항등 원소이다. 우리는 종종 −1x−1로 역원을 나타낸다.

 

2.4.2 vector space 벡터 공간 

벡터 공간이란?

수학에서 벡터 공간은 벡터들의 집합으로 구성된 공간을 의미한다.

벡터들은 덧셈과 스칼라(실수) 곱셈이라는 두 가지 연산을 통해 결합된다. 이러한 벡터 공간을 이해하기 위해서는 몇 가지 기본적인 성질을 알아야 한다.

1. 아벨 군(Abelian Group):

벡터 공간의 첫 번째 구성 요소는 덧셈에 대해 아벨 군을 형성하는 벡터들의 집합이다. 아벨 군이란 모든 벡터가 덧셈 연산에 대해 결합법칙, 항등법칙, 역원법칙, 교환법칙을 만족하는 구조이다.

2. 분배법칙(Distributivity):

스칼라와 벡터의 곱셈에 대해서는 분배법칙이 성립해야 한다. 즉, 스칼라의 합에 벡터를 곱하는 것은 각 스칼라를 따로 벡터에 곱한 후 그 결과를 더하는 것과 같다.

3. 결합법칙(Associativity):

스칼라의 곱셈이 벡터에 적용될 때는 순서에 상관없이 같은 결과가 나와야 한다. 스칼라들을 먼저 곱한 다음 벡터에 적용하는 것과 벡터에 스칼라를 하나씩 차례로 적용하는 것이 같은 결과를 가져야 한다.

4. 항등원(Identity Element):

벡터 공간에는 항등원이 존재해야 한다. 이는 스칼라 1이 벡터에 곱해져도 벡터가 변하지 않는 것을 의미한다.

벡터 공간의 이러한 성질들은 벡터를 다루는 데 있어 근본적인 규칙을 제공하며, 이는 선형대수학의 기본적인 구조이다.

 

벡터 공간의 기본 연산

1. 벡터 덧셈:  두 벡터의 덧셈은 각 성분별로 이루어집니다. 예를 들어, 두 벡터 x와 y의 덧셈은 x+y=(x1​+y1​,...,xn​+yn​)으로 계산된다.
2. 스칼라 곱셈: 스칼라와 벡터의 곱셈도 성분별로 이루어지며, 벡터 x에 스칼라 λ를 곱하면 λx=(λx1​,...,λxn​)이 된다.

행렬 공간의 연산

1. 행렬 덧셈: Rm×n에서 두 행렬의 덧셈은 각 원소별로 정의된다. 행렬 A와 B의 덧셈은 A+B로 표현되며, 각 원소의 합으로 구성된다.
2. 스칼라와 행렬의 곱셈: 스칼라와 행렬의 곱셈 역시 원소별로 이루어지며, 행렬 A에 스칼라 λ를 곱하면 λA가 된다.

벡터 공간의 표기법

• 벡터는 보통 열 벡터로 나타내며, x로 표기합니다.
• 행 벡터는 xT, 즉 벡터 x의 전치로 표현됩니다

2.4.3 Vector Subspaces 벡터 부분 공간 

 

벡터 부분공간에 대한 이해

벡터 부분공간은 복잡한 데이터를 이해하는 데 필수적인 개념이다. 이들은 원래 벡터 공간의 세트에 포함되면서, 그 안에서의 연산을 통해 공간을 벗어나지 않는 성질을 가진 부분집합이다. 이는 부분공간이 '닫혀있다(Closed)'는 개념을 나타낸니다.

벡터 부분공간의 정의: 벡터 공간 V에 대해, U가 V의 벡터 부분공간이 되려면 U는 빈 집합이 아니어야 하며, 벡터 덧셈과 스칼라 곱셈에 대해 닫혀 있어야 한다. 즉, U 내의 모든 벡터는 V의 연산을 만족해야 한다.

부분공간의 성질 확인:

1. U는 영벡터를 포함한다.
2. U는 다음에 대해 닫혀 있다:
   • 스칼라 곱셈에 대해: 모든 λ∈R과 x∈U에 대해, λx도 U에 속한다.
   • 벡터 덧셈에 대해: U 내의 모든 벡터 x와 y에 대해, x+y도 U에 속한다.

벡터 부분공간의 예시:

• 모든 벡터 공간 V에 대해, 가장 단순한 부분공간은 V 자체와 영벡터만을 포함하는 집합
• 동차 선형 방정식Ax=0의 해집합은 Rn의 부분공간입니다.
• 비동차 선형 방정식 Ax=b의 해집합은 b≠0일 때, 부분공간이 아니다.
• 부분공간들의 교집합은 또한 부분공간이다.