unsupervised (2) 썸네일형 리스트형 Clustering - Learning Discrete Representations via Information Maximizing Self-Augmented Training Deep neural networks 는 데이터의 복잡한 비선형 관계를 잘 모델링할 수 있다는 점에서 머신러닝의 다양한 분야에 채택되어 왔고 clustering 이나 hash learning 과 같은 discrete representation이 필요한 태스크에도 응용되어 왔습니다. 하지만 deep neural networks은 모델의 복잡도가 크고 clustering과 같은 비지도학습은 타겟 단에서의 라벨이 없기 때문에 모델에 대한 적절한 정규화 (regularization)이 필수적입니다. 이번 포스트에서 다룰 내용은 데이터를 discrete representation 으로 매핑하는 deep neural networks를 data augmentation 에 대해서도 결과가 변하지 않도록 (invaria.. Self-Supervised Learning - MoCo v2 이전 포스트 [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - MoCo (1) [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - MoCo (2) 이번 포스트에서는 SimCLR에서 사용된 요소를 MoCo에 적용하여 MoCo의 성능을 향상시킨 방법에 대해 살펴보려 합니다. 특히 SimCLR 에서의 MLP projection head와 더 강한 augmentation 방법을 사용해서 성능을 향상시켰다고 합니다. 먼저 지난 MoCo 포스트에서도 살펴보았듯이 SimCLR은 대표적인 end-to-end constrastive learning 메커니즘으로 negativ.. 이전 1 다음
