본문 바로가기

반응형

regression

(3)
Smooth L1 Loss vs Huber Loss 일반적인 회귀 (regression) 훈련에는 예측값과 실제값 차이의 절댓값인 L1 loss나 예측값과 실제값 차이의 제곱인 L2 loss를 목적 함수로 사용하게 됩니다. 잘 알려져 있다시피 L2 loss는 모든 구간에서 안정적으로 미분이 가능하지만 제곱이 들어가는만큼 아웃라이어 (이상치)에 민감하게 반응하고, L1 loss는 아웃라이어에 L2 loss 대비 강건한 대신 미분이 불가능한 지점이 존재하고 평균 대신 중앙값 (median)을 추정하는 만큼 부정확한 요소가 존재합니다. 따라서 L1, L2 loss을 합친 Smooth L1 loss나 Huber loss가 제안되었습니다. Huber loss, Smooth L1 loss 모두 L1과 L2의 장점 만을 합치고자 제안된 목적 함수로 공통적으로 예측값과..
Regression - 다중 선형 회귀 in Python 이번 포스트에서는 지난 포스트에서 다룬 다중 선형 회귀 모델을 파이썬으로 실험해보려 합니다. 지난번 보스톤 주택 가격 데이터로부터 $X, y$를 설정하고 훈련/테스트 데이터를 sklearn.model_selection 모듈의 train_test_split 함수를 통해 구성합니다. import pandas as pd df = pd.read_csv('/content/drive/MyDrive/Posco/Regression/Data/housing_data.txt', sep='\s+') df.columns = ['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT', 'MEDV'] df.head()..
Regression - 단순 선형 회귀 회귀 분석 (Regression) 이란 어떤 변수가 다른 변수에 어떻게 영향을 주는지 설명하는 분석 방법으로 영향을 주는 변수 (독립 변수, independent variable) 와 영향을 받는 변수 (종속 변수, dependent/response variable) 로 구성되어 종속 변수 1개, 독립 변수가 1개일 때는 단순 회귀 분석 (simple regression), 독립 변수가 2개 이상일 때는 다중 회귀 분석 (multiple regression) 이라 불립니다. 이번 포스트에서 살펴볼 내용은 회귀 분석에서 가장 기본적인 단순 선형 회귀 모델 (simple linear regression) 입니다. Simple linear regression 단순 회귀 분석은 일반적으로 Classical Li..

반응형