Linear Regression(2) - multi variable

 본 게시글은 필자가 강의, 책 등을 통해 개인적으로 학습한 것으로

본문의 모든 정보는 최하단 출처를 기반으로 작성되었습니다.

 

 이번에는 linear regression을 구성하는 변수가 여러개인 경우를 살펴보자.

 

Hypothesis

$H(x_{1},x_{2},x_{3}) = w_{1} x_{1} + w_{2} x_{2} + w_{3} x_{3} + b$

 

Cost

$cost(W,b) = \frac{1}{m}*\sum_{i=1}^{m}(H(x_{1i},x_{2i},x_{3i})-y_{i})^2$

 

만약 $w_{n}$까지 존재한다면 수식은 $n$까지 늘어날 것이다.

이를 어떻게 보기 쉽고, 또 효율적으로 계산할 수 있을까? 

 

Matrix

 행렬 곱을 이용하자.

$H(X) = WX (대문자 w, x는 행렬을 뜻함)$

$= \begin{pmatrix}x_{1}&x_{2}&x_{3}\end{pmatrix} \begin{pmatrix}w_{1}\\w_{2}\\w_{3}\end{pmatrix} = (x_{1} w_{1} + x_{2} w_{2} + x_{3} w_{3})$

 

행렬 곱을 이용해야 하는 가장 큰 이유는 $x_{1}, x_{2},x_{3},\ldots,x_{n}$에 대한 instance, 즉 data set의 수가

많을 경우 계산에 용이하기 때문이다.

 

$\begin{pmatrix}x_{11}&x_{12}&x_{13}&\cdots\\x_{21}&x_{22}&x_{23}&\cdots\\x_{31}&x_{32}&x_{33}&\cdots\\\vdots&\vdots&\vdots\end{pmatrix} \begin{pmatrix}w_{1}\\w_{2}\\w_{3}\\\vdots\end{pmatrix} = \begin{pmatrix}x_{11}w_{1} + x_{12}w_{2} + x_{13}w_{3} + \cdots\\x_{21}w_{2} + x_{22}w_{2} + x_{23}w_{2} + \cdots\\x_{31}w_{3} + x_{32}w_{3} + x_{33}w_{3} + \cdots\\\vdots\end{pmatrix}$

(이 때 W는 [input 개수, output 개수]행렬이 될 것이다.)

 

 

참고 문헌 및 자료

1. Sung Kim Youtube channel : https://www.youtube.com/channel/UCML9R2ol-l0Ab9OXoNnr7Lw

Sung Kim

2. Andrew Ng Coursera class : https://www.coursera.org/learn/machine-learning

3. 조태호(2017). 모두의 딥러닝. 서울: 길벗