Machine Learning Tasks/Self-Supervised Learning (11) 썸네일형 리스트형 Self-Supervised Learning - SwAV (2) 이전 포스트 [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - SwAV (1) Experiments SwAV 의 기본 실험 세팅은 SimCLR 과 거의 비슷합니다. 배치 사이즈는 4096을 사용하고 $\tau=0.1$, $\epsilon=0.05$를 사용합니다. 또한, LARS 옵티마이저를 사용하며 SimCLR 처럼 learning rate를 초반에 4.8로 높게 선택하고 일정 epoch 이후 cosine learning rate decay에 의해 감소시킵니다. 마지막으로 2-layer MLP projection head를 사용합니다. 실험 전체적으로는 ResNet-50 모델을 400 epoch 만큼 훈련시키며 2개의 일반적인 r.. Self-Supervised Learning - SwAV (1) SimCLR, MoCo 포스트에서 살펴봤듯이 대조 학습 (contrastive learning)을 통한 비지도 representation 추출은 지도학습 성능에 거의 근접해가고 있습니다. 이러한 방법은 보통 학습이 진행되면서 타겟이 변하는 online (on-the-fly) 형태의 학습 방법을 취하고 positive/negative 샘플 간 비교를 위해 매우 큰 배치 사이즈가 필요하게 됩니다. 대조 학습을 위한 contrastive loss는 같은 이미지로부터 파생된 representation 쌍의 유사도를 높이고 다른 이미지로부터 파생된 쌍의 유사도를 낮추는 방향으로 진행됩니다. 원론적으로 이 방법을 큰 데이터셋에 대해 모두 적용하기에는 구현 상의 문제가 따르므로 큰 배치 사이즈를 설정하게 됩니다. S.. Self-Supervised Learning - MoCo v2 이전 포스트 [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - MoCo (1) [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - MoCo (2) 이번 포스트에서는 SimCLR에서 사용된 요소를 MoCo에 적용하여 MoCo의 성능을 향상시킨 방법에 대해 살펴보려 합니다. 특히 SimCLR 에서의 MLP projection head와 더 강한 augmentation 방법을 사용해서 성능을 향상시켰다고 합니다. 먼저 지난 MoCo 포스트에서도 살펴보았듯이 SimCLR은 대표적인 end-to-end constrastive learning 메커니즘으로 negativ.. Self-Supervised Learning - MoCo (2) 이전 포스트 [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - MoCo (1) Experiments MoCo 에서는 1) 1000 개의 클래스에 대해 백만 여개의 이미지를 포함한 ImageNet-1M (IN-1M), 2) 인스타그램의 공개된 1억여개의 이미지르 구성된 Instagram-1B (IG-1B) 를 이용하여 비지도 pre-training을 수행합니다. Linear classification 일반적인 비지도 pre-training 의 성능 측정 방법으로 고정된 representation에 fully-connected layer/softmax 로 구성된 linear classifier를 올려 놓고 지도 학습을 수행하는 lin.. Self-Supervised Learning - MoCo (1) 이번 포스트에서 다룰 내용은 대가 Kaiming He 저술한 비지도 학습 기반의 representation learning 알고리즘 MoCo 입니다. 지난 여러 포스트에서 다루었던 비지도 학습 기반의 representation learning 방법 중 하나로 NLP의 비지도 representation learning 방법인 BERT/GPT 의 성공을 컴퓨터 비젼 분야로 확장하려는 시도입니다. 최근 이미지 분야에서도 대조학습 (contrastive learning) 을 기반으로 한 representation learning 이 큰 성공을 거두고 있습니다. MoCo가 주목한 것은 contrastive learning 의 다양한 방법론들이 기본적으로 dictionary look-up 이라는 것입니다. 즉, 매.. Self-Supervised Learning - SimCLRv2 (2) 이전 포스트 [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - SimCLRv2 (1) Experiment Settings Semi-supervised learning 실험을 위해 ImageNet 데이터셋에서 랜덤하게 뽑힌 1%/10% 데이터를 일부분의 labeled data로 사용합니다. 다른 representation learning 성능 측정 방식과 마찬가지로 고정된 representation위에 linear classifier를 탑재해 훈련시키는 linear evaluation을 수행하였으며 배치 사이즈가 크기 때문에 LARS 옵티마이저를 사용합니다. Self-supervised pretraining을 위해서 4096의 배치.. Self-Supervised Learning - SimCLRv2 (1) Semi-supervised learning은 일부의 labeled data와 매우 많은 unlabeled data를 함께 활용하는 것으로 대부분의 현실 상황과 맞물려 있어 중요한 문제로 다루어져 왔습니다. 이번 포스트에서 다룰 내용은 SimCLR에서 연장된 SimCLRv2로 self-supervised learning으로 뽑아낸 representation을 이용하여 semi-supervised learning을 수행합니다. 기본적인 방법은 대량의 unlabeled data를 task specific하지 않은 task agnostic한 방법으로 self-supervised learning으로 수행한 후 적은 labeled data로 fine-tuning을 하는 것입니다. 이 방법은 NLP 분야에서 BER.. Self-Supervised Learning - BYOL (2) 이전 포스트 [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - BYOL (1) Experiment Self-supervised pretraining으로 뽑아낸 representation의 성능을 파악하기 위해 classification, segmentation, object detection, depth estimation 등의 컴퓨터 비젼 태스크를 수행합니다. Linear evaluation on ImageNet 먼저 encoder로부터 추출된 representation에 대해 linear classifier를 훈련시킵니다. 결과는 Table 1과 같고 Top-1 (일반적인 accuracy)와 Top-5 (해당 확률이 5등 안에.. 이전 1 2 다음
