본문 바로가기
반응형

분류 전체보기

 (369)
Regression - 다항식을 이용한 비선형 회귀 지난 포스트에서 수행한 선형 회귀는 독립 변수들의 선형 결합으로 종속 변수를 표현하기 때문에 변수들이 선형으로 분포하지 않거나 구간 별로 기울기가 다르게 적용되는 경우 설명에 한계가 있습니다. 이를 해결하기 위한 가장 간단한 방법으로는 각 독립 변수에 대한 고차원의 다항식을 적용하여 비선형적으로 종속 변수를 표현하는 방법이 있습니다. Examples Simple example 간단한 numpy array를 선언하여 종속 변수에 대해 독립 변수를 다항식으로 구성하여 설명해 보겠습니다. 독립 변수의 다항식화는 sklearn.preprocessing 모듈의 PolynomialFeatures 함수를 사용해 쉽게 구현할 수 있으며 2차원의 데이터 [a,b]를 가지고 있을 때 디폴트로 [1,a,b,a^2,ab,b^..
Self-Supervised Learning - MoCo v2 이전 포스트 [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - MoCo (1) [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - MoCo (2) 이번 포스트에서는 SimCLR에서 사용된 요소를 MoCo에 적용하여 MoCo의 성능을 향상시킨 방법에 대해 살펴보려 합니다. 특히 SimCLR 에서의 MLP projection head와 더 강한 augmentation 방법을 사용해서 성능을 향상시켰다고 합니다. 먼저 지난 MoCo 포스트에서도 살펴보았듯이 SimCLR은 대표적인 end-to-end constrastive learning 메커니즘으로 negativ..
Self-Supervised Learning - MoCo (2) 이전 포스트 [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - MoCo (1) Experiments MoCo 에서는 1) 1000 개의 클래스에 대해 백만 여개의 이미지를 포함한 ImageNet-1M (IN-1M), 2) 인스타그램의 공개된 1억여개의 이미지르 구성된 Instagram-1B (IG-1B) 를 이용하여 비지도 pre-training을 수행합니다. Linear classification 일반적인 비지도 pre-training 의 성능 측정 방법으로 고정된 representation에 fully-connected layer/softmax 로 구성된 linear classifier를 올려 놓고 지도 학습을 수행하는 lin..
Regression - 다중공선성 (Multicollinearity) 다중 선형 회귀에서의 전제는 독립 변수간 상관 관계가 없이 서로 독립이어야 한다는 점입니다. 만약 독립 변수간에 선형 관계가 존재한다면 이는 다중 선형 회귀에서 다중공선성 (multicollinearity)가 존재한다고 하며 이는 회귀 분석에 악영향을 끼치기 때문에 모델 훈련 전 미리 제거해야 합니다. 선형 회귀는 기본적으로 다음 수식에서 $X^T X$의 역행렬을 구하는 문제입니다. 만약 하나의 독립 변수가 다른 독립 변수에 대해 선형적으로 설명된다면 $X$의 한 열이 다른 열의 선형 결합으로 표현되므로 행렬의 rank가 줄어들어 invertible 해지지 않습니다. 물론 완벽히 선형 결합으로 표현되지는 않을테니 역행렬 자체는 구할 수 있겠으나 수치계산상으로 불안정해지고 회귀 계수의 표준오차와 p-val..
Regression - 다중 선형 회귀 in Python 이번 포스트에서는 지난 포스트에서 다룬 다중 선형 회귀 모델을 파이썬으로 실험해보려 합니다. 지난번 보스톤 주택 가격 데이터로부터 $X, y$를 설정하고 훈련/테스트 데이터를 sklearn.model_selection 모듈의 train_test_split 함수를 통해 구성합니다. import pandas as pd df = pd.read_csv('/content/drive/MyDrive/Posco/Regression/Data/housing_data.txt', sep='\s+') df.columns = ['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT', 'MEDV'] df.head()..
Self-Supervised Learning - MoCo (1) 이번 포스트에서 다룰 내용은 대가 Kaiming He 저술한 비지도 학습 기반의 representation learning 알고리즘 MoCo 입니다. 지난 여러 포스트에서 다루었던 비지도 학습 기반의 representation learning 방법 중 하나로 NLP의 비지도 representation learning 방법인 BERT/GPT 의 성공을 컴퓨터 비젼 분야로 확장하려는 시도입니다. 최근 이미지 분야에서도 대조학습 (contrastive learning) 을 기반으로 한 representation learning 이 큰 성공을 거두고 있습니다. MoCo가 주목한 것은 contrastive learning 의 다양한 방법론들이 기본적으로 dictionary look-up 이라는 것입니다. 즉, 매..
Regression - 다중 선형 회귀 지난 포스트에서 살펴봤던 단순 선형 회귀에 이어 이번 포스트에서는 다중 선형 회귀에 대해 살펴보도록 하겠습니다. 독립 변수 1개만으로 종속 변수를 설명했던 단순 선형 회귀와 달리 다중 선형 회귀는 $k$개의 독립 변수로 종속 변수를 예측하는 것으로 다음과 같이 모델링 할 수 있습니다. $Y = \beta_0 + \beta_1 X_1 + ... + \beta_k X_k + \epsilon$ 단순 선형 회귀와 거의 비슷하나 다중 회귀 분석에서는 추가하여 고려해야할 사항 1) 다중공선성 (multicollinearity), 2) F-통계량 이 있습니다. Multiple linear regression 다중공선성 (Multicollinearity) 단순 선형 회귀에서 7가지 가정을 살펴보았는데, 다중 선형 회귀..
Regression - R-square Fitting 한 회귀 모델이 데이터에 얼마나 잘 맞는지 정량적으로 어떻게 판단할 수 있을까요? $R^2$, 결정계수는 회귀모형의 설명력을 측정하는 데 사용하는 대표적인 회귀모델 성능측정 지표입니다. 위와 같이 4개의 표본이 있고 $b_0+b_1 X$ 회귀직선을 그렸습니다 우상단의 한 점을 봤을 때 해당 $Y_i$는 평균 $\bar{Y}$로부터 $Y_i-\bar{Y}$ 만큼 떨어져 있고 이 값은 회귀직선으로부터 $\hat{Y}_i-\bar{Y}$ 만큼 설명되고 $Y_i-\hat{Y}_i$ 부분이 설명이 되지 않습니다. 즉, 다음과 같이 $Y_i-\bar{Y}$ 를 풀어쓸 수 있고 $Y_i-\bar{Y}$ $=$ $(\hat{Y}-\bar{Y}) + (Y_i-\hat{Y}_i)$ $=$ $(\hat{Y}_..
반응형

티스토리툴바