Machine Learning Tasks (67) 썸네일형 리스트형 Self-Supervised Learning - MoCo (2) 이전 포스트 [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - MoCo (1) Experiments MoCo 에서는 1) 1000 개의 클래스에 대해 백만 여개의 이미지를 포함한 ImageNet-1M (IN-1M), 2) 인스타그램의 공개된 1억여개의 이미지르 구성된 Instagram-1B (IG-1B) 를 이용하여 비지도 pre-training을 수행합니다. Linear classification 일반적인 비지도 pre-training 의 성능 측정 방법으로 고정된 representation에 fully-connected layer/softmax 로 구성된 linear classifier를 올려 놓고 지도 학습을 수행하는 lin.. Self-Supervised Learning - MoCo (1) 이번 포스트에서 다룰 내용은 대가 Kaiming He 저술한 비지도 학습 기반의 representation learning 알고리즘 MoCo 입니다. 지난 여러 포스트에서 다루었던 비지도 학습 기반의 representation learning 방법 중 하나로 NLP의 비지도 representation learning 방법인 BERT/GPT 의 성공을 컴퓨터 비젼 분야로 확장하려는 시도입니다. 최근 이미지 분야에서도 대조학습 (contrastive learning) 을 기반으로 한 representation learning 이 큰 성공을 거두고 있습니다. MoCo가 주목한 것은 contrastive learning 의 다양한 방법론들이 기본적으로 dictionary look-up 이라는 것입니다. 즉, 매.. Self-Supervised Learning - SimCLRv2 (2) 이전 포스트 [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - SimCLRv2 (1) Experiment Settings Semi-supervised learning 실험을 위해 ImageNet 데이터셋에서 랜덤하게 뽑힌 1%/10% 데이터를 일부분의 labeled data로 사용합니다. 다른 representation learning 성능 측정 방식과 마찬가지로 고정된 representation위에 linear classifier를 탑재해 훈련시키는 linear evaluation을 수행하였으며 배치 사이즈가 크기 때문에 LARS 옵티마이저를 사용합니다. Self-supervised pretraining을 위해서 4096의 배치.. Self-Supervised Learning - SimCLRv2 (1) Semi-supervised learning은 일부의 labeled data와 매우 많은 unlabeled data를 함께 활용하는 것으로 대부분의 현실 상황과 맞물려 있어 중요한 문제로 다루어져 왔습니다. 이번 포스트에서 다룰 내용은 SimCLR에서 연장된 SimCLRv2로 self-supervised learning으로 뽑아낸 representation을 이용하여 semi-supervised learning을 수행합니다. 기본적인 방법은 대량의 unlabeled data를 task specific하지 않은 task agnostic한 방법으로 self-supervised learning으로 수행한 후 적은 labeled data로 fine-tuning을 하는 것입니다. 이 방법은 NLP 분야에서 BER.. Self-Supervised Learning - BYOL (2) 이전 포스트 [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - BYOL (1) Experiment Self-supervised pretraining으로 뽑아낸 representation의 성능을 파악하기 위해 classification, segmentation, object detection, depth estimation 등의 컴퓨터 비젼 태스크를 수행합니다. Linear evaluation on ImageNet 먼저 encoder로부터 추출된 representation에 대해 linear classifier를 훈련시킵니다. 결과는 Table 1과 같고 Top-1 (일반적인 accuracy)와 Top-5 (해당 확률이 5등 안에.. 파이썬에서 SARIMA 실행하기 - SARIMAX 파이썬의 statsmodels 패키지는 ARIMA, SARIMA 시계열 선형 모델을 지원합니다. 이번 포스트에서는 statsmodels의 SARIMAX 함수를 이용하여 시계열 데이터의 패턴을 학습하고 예측하는 걸 해보도록 하겠습니다. 먼저, SARIMAX 함수를 import 합니다. SARIMAX의 X는 외부 변수를 나타내는 eXogeneous의 줄임말로 자기 자신 (endogeneous) 뿐만 아니라 외부 변수까지 학습과 예측에 포함할 수 있다는 것입니다. from statsmodels.tsa.statespace.sarimax import SARIMAX SARIMAX의 주요 파라미터는 다음과 같습니다. 파라미터 Description endog 관측된 시계열 데이터 (endogeneous 데이터를 말합니.. Augmented Dickey-Fuller Test - Stationary 확인 시계열 데이터를 처리하기 위해서는 데이터를 stationary 하게 만든 이후에 AR, MA, ARMA, ARIMA 모델 등을 적용해야 합니다. 지난 포스트에서 알아봤듯이 stationary 하기 위해서는 시계열 데이터의 평균, 분산이 시간에 따라 일정해야 하고 래그 $h$에 따른 공분산이 일정해야 합니다. Stationary를 그림으로 그려서 판단할 수 있지만 통계적인 정량적 방법으로 검증할 수 있는 방법이 바로 Augmented Dickey-Fuller Test (ADF Test) 입니다. 먼저 Dickey-Fuller Test는 1979년에 David Dickey와 Wayne Fuller에 의해 개발된 autoregressive 모델의 단위근 (unitroot) 통계 검정 방법으로 대표적인 stat.. Self-Supervised Learning - BYOL (1) Self-supervision을 이용한 이미지 representation을 추출하는 분야는 그 포텐셜로 인해 Google, Facebook을 필두로 깊게 연구되고 있습니다. 이미지의 자가 라벨을 이용한 self-supervision의 여러 방법론 중에서 같은 이미지의 다르게 augmented 된 positive pair의 거리를 줄이고 다른 이미지의 augmented 이미지인 negative pair의 거리를 늘리는 contrastive learning이 높은 성능으로 인해 대세로 자리잡았는데요, contrastive learning은 효과적인 학습을 위한 많은 negative pair가 필요하고 (일반적으로 큰 batch size를 잡습니다) image augmentation 종류에 영향을 많이 받습니.. 이전 1 ··· 3 4 5 6 7 8 9 다음
