다중선형 회귀분석 (multiple linear regression analysis)

배경지식

행렬

행렬의 곱

• $A_{ij}=\mathrm{\Sigma }{B}_{ik}{C}_{kj}$
  • 앞에 놈의 행을 $\to$ 로 훑고, 뒤에 놈의 열을 $\downarrow$ 로 훑어서 곱한다.
    • 행이 i, 열이 j가 됨

전치 행렬

• $A^T$ 혹은 $A^{\prime }$ 와 같이 표현
• $A_{ij}$ -> $A_{ji}$ 로 바꾸게됨
  • 행렬로 볼 경우, 왼쪽 위에서 시작하는 대각선을 축으로 데이터를 전부 대칭이동을 했다고 생각가능

벡터의 제곱합

• $a^{\prime }a$와 같이 표현가능
  • a' : [a1, a2, ..., an] (가로)
  • a : [a1, a2, ..., an] (세로)
  • a'a : $a_1^2+a_2^2+...a_n^2$
• cf) 행렬일 경우
  • $A^{\prime }A$ 처럼 표현가능
    • 각 원소의 내용 $a_{ij}$ 는 $a_{ik}^{\prime }\times a_{kj}$ 와 같이 표현이 됨
    • $c_{ij}=\mathrm{\Sigma }{a}_{ki}\times a_{kj}$ 로 표현가능 ($a_{ik}^{\prime }$는 $a_{ki}$와 같음)
    • i = j 일때는, $c_{ii}=a_{1i}^2+a_{2i}^2+...+a_{ni}^2$
      • i열의 모든 데이터를 제곱합
    • i != j 일때는, $c_{ij}=a_{1i}\cdot a_{1j}+a_{2i}\cdot a_{2j}+...$
      • i열과 j열의 데이터를 곱하여 더함 -> i열과 j열의 공분산과 비슷함
      • 후술할 T 행렬을 통과했다면, n-1로나누면 그게 공분산 행렬임

역행렬

• $A^{-1}$과 같이 표현하고, 곱해서 단위행렬(대각선만 1인)이 되는 행렬
  
  • 분모가 0이면 안됨에 주의

T 행렬

• 중심화 행렬
• $T=I-\frac{1}{n}J$
  • J 행렬은 모든 원소가 1인 $n\times n$ 행렬
  • Jy 를 구하게 되면 (벡터일때), 각 원소가 모두 $\mathrm{\Sigma }{Y}_i$ 로 벡터 원소의 합이 됨
  • 1/n 을 이때 곱해주게되면, 모든 원소가 $\overline{Y}$ 가 됨 (즉 평균의 벡터)
  • Iy 에서 이를 빼주면, $Y_i-\overline{Y}$ 즉 모든 원소가 편차가 되게됨
• 이는 기존 벡터에서 평균을 빼주게 되므로, 벡터의 차의 성질에 의해 시작점이 평균이되고 크기는 편차인 그런 벡터로 변함
  • cf) 벡터를 평균 벡터의 수직 보공간(Orthogonal Complement)으로 투영시킨다. "평균이라는 성분"을 가위로 싹둑 잘라내 버리는 행위.
• T는 대칭이다. $T^{\prime }=T$ (T의 수식 참조)
• T는 멱등이다. $T\times T=T$ (평균이 0 일테니)

양말과 신발의 법칙

$(ABC{)}^{\prime }=C^{\prime }{B}^{\prime }{A}^{\prime }$
$(ABCD{)}^{\prime }=D^{\prime }{C}^{\prime }{B}^{\prime }{A}^{\prime }$
$(ABC{)}^{-1}=C^{-1}{B}^{-1}{A}^{-1}$
$(ABCD{)}^{-1}=D^{-1}{C}^{-1}{B}^{-1}{A}^{-1}$

• 원래는 양말을 신고(A) -> 신발을 신음(B)
• 되돌리려면 $B^{-1}$ 신발을 벗고, $A^{-1}$ 양말을 벗음
• 선형변환으로 바꾸면 그대로 적용이 됨

벡터/행렬의 미분

• 증명 생략

다중선형 회귀분석

• 복잡한 관계를 수식과 숫자로 요약가능하게함
  • 삼성전자 주가($y$)에 영향을 주는 요인이 환율($x_1$), 금리($x_2$), 반도체가격($x_3$)라고 하자
    • 환률이 1%오를 때 주가는 몇 % 변할까?
    • 금리와 환율 중 주가에 더 치명적인 것은 뭘까?
• 종속변수 $Y$와 $p-1$개의 독립변수 존재(상수항 제외)
  • $Y={\beta }_0+{\beta }_1{X}_1+...+{\beta }_{p-1}{X}_{p-1}+e$
    • e는 표준정규분포를 따른다 가정
  • $Y$를 n개로 확장시,
    • $y_{n\times 1}=X_{n\times p}{\beta }_{p\times 1}+e_{n\times 1}$
      

F-value 의 유도

• SST와 SSR과 SSE의 관계를 나타내면 아래와 같음
  

잔차를 최소화하는 최소제곱법

• 잔차는 실제값(y)와 예측값 (Xb)의 차이임
  • $SSE=e^{\prime }e=(y-Xb{)}^{\prime }(y-Xb)$
  • 양말 법칙을 이용해 유도하면 $SSE=(y^{\prime }-b^{\prime }{X}^{\prime })(y-Xb)=y^{\prime }y-y^{\prime }Xb-b^{\prime }{X}^{\prime }y-b^{\prime }{X}^{\prime }Xb$
    • ${\mathbf{y}}^{\prime }\mathbf{Xb}$와 ${\mathbf{b}}^{\prime }{\mathbf{X}}^{\prime }\mathbf{y}$ 는 계산해보면 같은 스케일러라 두개를 합침
  • $SSE=y^{\prime }y-2b^{\prime }{X}^{\prime }y+b^{\prime }{X}^{\prime }Xb$
• 위에서 구한 잔자제곱합을 최소화하기 위해 b로 미분을 진행
  • y'y 는 상수, -2X'y, 2X'Xb (2차항이라 2가 튀어나옴)
  • $-2X^{\prime }y+2X^{\prime }Xb=0$
  • 즉, $X^{\prime }y=X^{\prime }Xb$
    • cf) 수식을 다시 쓰면 ${\mathbf{X}}^{\prime }(\mathbf{y}-\mathbf{Xb})=0$, 즉 ${\mathbf{X}}^{\prime }\mathbf{e}=0$
      • 오차가 최소화가 될때, 에러는 우리가 가진 데이터(평면)와 수직이다.
      • 그러면 X라는 평면위에서 $y^2={\hat{y}}^2+e^2$ 가 성립함
        • 통계적으로는 (전체 변동 $SST$) = (모델이 설명한 변동 $SSR$) + (오차 변동 $SSE$) 이됨
      • 이게 무슨말이야!
        • X는 p차원 평면임, y는 그 공간위에 떠있는 점임, 이때 원점에서 그점까지 이어, 하나의 벡터를 간주함
          • 그리고 그 선를 X에 투영시킬때 벡터 가중치 $\beta$ 를 사용함, 그 투영된 선을 $\hat{y}$ 라고 함
            • $\beta$ 로 조금 튜닝해서 박아넣는것
        • 우리가 원하는 것은 오차를 최소화 하며 투영을 하는 $\beta$를 찾는것
          • 오차란 무엇이냐? 오차는 y와 $\beta$를 통해 투영된 $\hat{y}$의 끝점 끼리의 거리임
          • 오차를 최소화하려면, 평면에 수직하게 y를 투영해야함, 그것을 만들어주는 $\beta$ 를 찾는것임
            • Xb 를 해서, 그 벡터($\hat{y}$)를 찾는것임, 그 벡터와 e가 수직하는 순간, 그때의 e는 최소화 된다.
• 아무튼, 리마인드
  • $X^{\prime }y=X^{\prime }Xb$
  • 즉, $b=(X^{\prime }X{)}^{-1}{X}^{\prime }y$

Hat Matrix

• 우리의 예측값
  • $\hat{\mathbf{y}}=\mathbf{X}\mathbf{b}$
• 위에서 구한 수식을 대입
  • $\hat{y}=Xb=X(X^{\prime }X{)}^{-1}{X}^{\prime }y$
• y를 예측값으로 바꾸어주니, $X(X^{\prime }X{)}^{-1}{X}^{\prime }$ 를 hat matrix(H)라고 부름
  • 대칭성: $H^{\prime }=H$
  • 멱등성: $HH=H$

SST의 정리

• 총제곱합은 아래와 같이 정리 가능 ($\frac{\mathrm{\Sigma }{Y}_i}{n}=\bar{Y}$ 를 이용)
  
• $Y_i$와 그의 제곱합을 행렬로 표현하면
  • $\mathrm{\Sigma }{Y}_i^2=y^{\prime }y,\mathrm{\Sigma }{Y}_i=1^{\prime }y$
  • 추가로 $(\mathrm{\Sigma }{Y}_i{)}^2=(1^{\prime }y{)}^{\prime }{1}^{\prime }y=y^{\prime }{11}^{\prime }y=yJy$
• SST에 대입을 하면
  
  • ($y^{\prime }y=y^{\prime }Iy$ 로 간주하여 유도)
• 결론: $SST=y^{\prime }Ty$

SSR의 정리

• b는 hat beta 즉 $\beta$의 추정값 $\hat{\beta }$ 를 의미함
• 우리가 정의한 다중선형회귀식에서
  • $\mathrm{\Sigma }\widehat{Y_i}=X\beta =\hat{y}$, 하나의 예측 벡터의 합은 종속행렬과 회귀계수 벡터의 곱
  • $\mathrm{\Sigma }{\widehat{Y_i}}^2={\hat{y}}^{\prime }\hat{y}=(X\beta {)}^{\prime }(X\beta )$ , 제곱의 합은 벡터의 전치행렬의 곱으로 표현이되고 이를 풀면 마지막 항과 같이 유도가능
  • $X^{\prime }y=X^{\prime }Xb$ 에서 $b=(X^{\prime }X{)}^{-1}{X}^{\prime }y$
  • 또한 $\mathrm{\Sigma }{Y}_i=1^{\prime }y$
• SSR은 아래와 같이 표현가능
  
  • $SSR=(Xb{)}^{\prime }(Xb)-\frac{1}{n}{y}^{\prime }{11}^{\prime }y$
    • $b=(X^{\prime }X{)}^{-1}{X}^{\prime }y$ 를 대입하고 뒤집기를하면
  • $=y^{\prime }X(X^{\prime }X{)}^{-1}{X}^{\prime }X(X^{\prime }X{)}^{-1}{X}^{\prime }y-\frac{1}{n}{y}^{\prime }{11}^{\prime }y$
    • 역행렬이 상쇄되면
  • $=y^{\prime }X(X^{\prime }X{)}^{-1}{X}^{\prime }y-\frac{1}{n}{y}^{\prime }{11}^{\prime }y$
    • $y^{\prime }$으로 묶으면
  • $=y^{\prime }(X(X^{\prime }X{)}^{-1}{X}^{\prime }-\frac{1}{n}J)y$
    • H (예측 배열) - 1/n J 평균배열($\overline{y}$) 를 하니, 회귀다! (회귀 제곱합)
  • $=y^{\prime }Ry$
    • R은 Regression: 정답에 가까우면 커지는 값 (평균에서 멀어짐, 모델이 의미 있어짐)
    • R은 모델의 성적표라고 볼 수 있음

SSE의 정리

• 이전에 설명한것은 빼고 빠르게 진행
  
• 잔차는 I - H 이라고 볼 수 있음 (아래서 두번째 equation)
  • $e=y-\hat{y}$
  • $e=Iy-Hy$
  • $e=(I-H)y$
  • y라는 실제 데이터에 I - H 를 곱하니 오차가 등장함 -> 오차행렬

정리

분산분석표

• 자유도를 나누어 F-value를 얻도록하자
  

F-value와 변수 선택

• 유의한 독립변수를 추가할때 사진과 같은 방식 사용
  • 실제로 사용해보고 추후 다시 정리
• X를 많이 추가하면 e가 최소화 되긴함, 하지만 오버피팅의 가능성이 있으므로, F-value가 유의하게 만드는 X만 추가하여 모델의 퀄리티를 올리기 위함