BYOL (2) 썸네일형 리스트형 Self-Supervised Learning - BYOL (2) 이전 포스트 [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - BYOL (1) Experiment Self-supervised pretraining으로 뽑아낸 representation의 성능을 파악하기 위해 classification, segmentation, object detection, depth estimation 등의 컴퓨터 비젼 태스크를 수행합니다. Linear evaluation on ImageNet 먼저 encoder로부터 추출된 representation에 대해 linear classifier를 훈련시킵니다. 결과는 Table 1과 같고 Top-1 (일반적인 accuracy)와 Top-5 (해당 확률이 5등 안에.. Self-Supervised Learning - BYOL (1) Self-supervision을 이용한 이미지 representation을 추출하는 분야는 그 포텐셜로 인해 Google, Facebook을 필두로 깊게 연구되고 있습니다. 이미지의 자가 라벨을 이용한 self-supervision의 여러 방법론 중에서 같은 이미지의 다르게 augmented 된 positive pair의 거리를 줄이고 다른 이미지의 augmented 이미지인 negative pair의 거리를 늘리는 contrastive learning이 높은 성능으로 인해 대세로 자리잡았는데요, contrastive learning은 효과적인 학습을 위한 많은 negative pair가 필요하고 (일반적으로 큰 batch size를 잡습니다) image augmentation 종류에 영향을 많이 받습니.. 이전 1 다음
