depthwise separable convolution (2) 썸네일형 리스트형 MobileNet (1) MobileNet 은 저전력/저용량 디바이스인 모바일에 deep neural networks 를 디플로이하기 위해 설계된 대표적인 lightweight model 중 하나입니다. MobileNet V1, V2가 2018년도에 제안되었고 최근에는 NAS와 (Neural Architecture Search) 결합된 MobileNet V3까지 발표되었습니다. 이번 포스트에서는 MobileNet V1, V2 에서 사용된 모델의 경량화를 달성하기 위한 설계 기법들에 대해 살펴보도록 하겠습니다. MobileNet V1 MobileNet V1 은 기존 convolution 을 depth-wise separable convolution 으로 치환한 것으로 요약할 수 있습니다. Depth-wise separable co.. Convolution 의 종류 이번 포스트에서는 convolution 의 기능을 유지하면서 소요되는 파라미터 수와 연산량을 줄이기 위한 다양한 convolution 기법들에 대해 살펴보도록 하겠습니다. 먼저 $W, H, C, K, M$을 각각 입력의 너비, 높이, 채널, 커널 사이즈, 출력 채널 수로 정의하고 stride가 1인 일반적인 상황을 가정하여 입력, 출력 사이즈가 동일하다고 전제합니다. Standard convolution 일반적인 convolution 수행을 위해 몇 개의 파라미터가 필요할까요? 먼저 커널의 사이즈가 $K$이고 입력 채널 수가 $C$이므로 하나의 커널이 가지는 파라미터 수는 $K^2\cdot C$가 됩니다. 이 하나의 커널이 출력의 하나의 채널을 형성하므로 총 $K^2\cdot C\cdot M$개의 파라미.. 이전 1 다음
