분류 전체보기 (369) 썸네일형 리스트형 Convolution 의 종류 이번 포스트에서는 convolution 의 기능을 유지하면서 소요되는 파라미터 수와 연산량을 줄이기 위한 다양한 convolution 기법들에 대해 살펴보도록 하겠습니다. 먼저 W,H,C,K,M을 각각 입력의 너비, 높이, 채널, 커널 사이즈, 출력 채널 수로 정의하고 stride가 1인 일반적인 상황을 가정하여 입력, 출력 사이즈가 동일하다고 전제합니다. Standard convolution 일반적인 convolution 수행을 위해 몇 개의 파라미터가 필요할까요? 먼저 커널의 사이즈가 K이고 입력 채널 수가 C이므로 하나의 커널이 가지는 파라미터 수는 K2⋅C가 됩니다. 이 하나의 커널이 출력의 하나의 채널을 형성하므로 총 K2⋅C⋅M개의 파라미.. Transformer 2017년 NIPS 에서 발표된 구글의 Transformer 구조는 language modeling, neural machine translator 등의 NLP 계에 혁신을 불어일으킨 논문으로 BERT, GPT 등의 구조의 기반이 되었고 다양한 분야로의 접목이 활발히 연구되고 있는 매우 중요한 neural networks 구조 중 하나입니다. Transformer 가 등장하기 전에는 RNN (LSTM / GRU), Convolution 등으로 sequence 모델링을 수행했었는데요, Transformer 는 recurrence, convolution 의 개념을 아예 배제하고 순수히 attention 으로 구성되어 기존 RNN, CNN 계열에 비해 속도와 성능이 모두 우월한 모델입니다. Overview M.. [문법] Could 와 Would 의 이해 Could / Would는 영어 표현에서 굉장히 많이 쓰이는 단어이지만 직관적으로 이해하기 어렵습니다. 단순히 could는 can의 과거형, would는 will의 과거형이라고 잘못 알고 있는 경우가 대부분이죠. 하지만 could / would 는 동사가 아니라 조동사이므로 시제의 개념이 없습니다. 조동사이기 때문에 동사가 없이는 의미를 가질 수 없고 시제는 동사에만 적용되기 때문입니다. 즉, 조동사는 시제 변환이 있을 수가 없습니다. 예를 들어 "I could get up early"는 우리나라 사람이라면 일반적으로 "나는 일찍 일어날 수 있었어"라고 해석할 겁니다. 하지만 "~을 할 수 있었어"라는 표현은 영어로는 "was able to", "managed to"를 사용합니다. 과거 시점에 대한 얘기.. Face Recognition - ArcFace (2) 지난 포스트 [Machine Learning/기타] - Face Recognition - ArcFace (1) Experiments Implementation details ArcFace 저자들은 Table 1에 나와있는 다양한 얼굴 인식 데이터셋에 굉장히 빡세게 실험을 수행했습니다. CASIA, VGGFace2, MS1MV2, DeepGline-Face 데이터셋을 훈련 데이터셋으로 사용했습니다. (MS1MV2 는 MS-Celeb-1M 데이터셋을 자체적으로 정제한 버젼입니다.) SphereFace, CosFace 에서 LFW, YTF, MegaFace 데이터셋에 대해서만 실험을 수행한 것과 달리 기존의 LFW, YTF 에다가 나이 / 포즈에 따른 CPLFW, CALFW 데이터셋에 대해서도 테스트를 수행하.. Face Recognition - ArcFace (1) 대용량 얼굴 이미지를 기반한 얼굴 인식을 위해서 같은 클래스의 feature 들이 뭉치고 (minimize intra-class variation) 다른 클래스의 feature 들이 펼쳐지는 (maximize inter-class variation) discriminative feature 학습 방법이 많이 제안되었고 대표적으로 1) softmax loss 기반의 방법들과, 2) triplet loss 기반의 방법론이 있습니다. (Figure 1에서의 geodesic 거리란 일반적으로 공간 상에서 가장 짧 표면 거리를 말합니다. 쉽게 예를 들면 지구라는 구 위에서 서울-뉴욕사이의 geodesic 거리는 지구 표면상에서 서울-뉴욕의 최단거리가 되는 것이죠. ) Softmax loss 기반의 방법론은 마지막.. Face Recognition - CosFace (2) 지난 포스트 [Machine Learning/기타] - Face Recognition - CosFace (1) Theoretical analysis for LMCL Discriminative feature 학습을 위한 cosine 마진 m의 최적값을 무엇일까요? 먼저 m을 가함으로써 얻는 decision boundary 의 변화를 알아보겠습니다. 이진 분류의 경우에 Wi,x는 정규화되고 θi는 Wi,x와의 각도라 할때, NSL의 decision boundary 는 cos(θ1)−cos(θ2)=0 이 됩니다. 즉, W1,W2의 중간 지점이 되는데요, 지난 포스트에서도 언급했듯이 마진이 아예 존재하지 않으므로 중간 지점에 존재하는 x에.. Face Recognition - CosFace (1) 지난 포스트에의 SphereFace 는 기존의 softmax loss 에서 W를 정규화시켜 angular 공간을 통해 feature 를 구분하고 angular margin m을 통해 intra-class variance 를 최소화하고 inter-class variance 를 최대화함으로써 기존 얼굴 인식 알고리즘에 비해 높은 성능을 거두었습니다. 이번 포스트에서 살펴볼 CosFace 는 SphereFace 개념에서 더 나아가 feature x까지 정규화하고 angular margin 을 cosine 값 자체에 더함으로써 SphereFace 에 비해 더 높은 성능을 거두었습니다. 먼저 얼굴 인식을 위한 CosFace 의 훈련 / 테스트 과정을 (Figure 1) 살펴보면 SphereFace 와 .. [영어 표현] It's just that ~ It's just that ~: 그냥 ~ I know how to do it. It's just that I'm not really sure if I want to do it. 어떻게 하는지는 알아. 그냥, 내가 정말 그걸 하고 싶은 건지를 몰라서 그래. 여기서 "It's just that~" 은 조건은 다 갖춘 듯 하지만 왜 그냥 할 수 없는 것인지를 표현. A: Hey, do you hate your sister or something? 너 누나를 싫어해? B: What? What makes you think that? 뭐? 왜 그렇게 생각하는데? A: Well, it's just that I see you guys argue all the time. 그냥, 보면 항상 다투길래.. 여기서 "It's .. 이전 1 ··· 21 22 23 24 25 26 27 ··· 47 다음 목록 더보기
