분류 전체보기 (369) 썸네일형 리스트형 Pytorch - scatter Pytorch 에는 새롭게 구성한 텐서에 원하는 인덱스에 맞게 값을 할당해주는 scatter 함수가 존재합니다. (Tensorflow 에도 존재합니다.) 이번 포스트에서는 scatter 함수의 동작원리에 대해 알아보도록 하겠습니다. 먼저 Pytorch 공식 문서에는 scatter 함수가 다음과 같이 in-place 함수로 정의되어 있습니다. scatter_(dim, index, src, reduce=None) → Tensor 언더바가 붙었으므로 "tensor.scatter_()" 형태로 동작하며, 파라미터로 주어진 "index" 에 맞게 "src" 의 값을 새로운 "tensor" 로 할당합니다. 예를 들어 3차원 텐서라면 다음과 같이 업데이트 됩니다. tensor[index[i][j][k]][j][k] .. [영어 표현] Otherwise 활용 1. 안 그러면, 그렇지 않으면, 안 그랬으면 You'd better write that down. Otherwise, you're going to forget. 너 그거 적어두는 게 좋을 거야. 안 그러면 까먹어. We had to leave early. Otherwise, we wouldn't have made it on time. 일찍 출발해야 했었어. 안 그랬으면 제시간에 도착 못했을 거야. 2. (앞서 언급된 것과는) 다르게, 다른 식으로 We generally assume that higher education leads to higher success and while that is ture to a certain degree, there are plenty of cases that sugg.. [영어로] ~ 치고는 어떻다 A: Wow.. It's pretty big for a 3 month old. 3개월 된 것 치고는 꽤 큰 편이다. B: Yeah. My vet said the same thing. He said he had never seen a 3 month old husky this big. 우리 수의사도 같은 말 하더라. 이렇게 큰 3개월짜리 허스키는 처음 본다고 했어. Wow.. It's pretty good for a 10 thousand pizza. 만 원짜리 피자 치고는 꽤 맛있다. It's better than I thought: 생각보다 맛있다. For a public pathroom in a park of this size, it's a pretty good bathroom. 뭐, 이 정도 크기의 공.. Object Detection - YOLO v2 이번 포스트에서는 YOLO (You Only Look Once) 후속작 YOLO v2 에 대해서 다뤄보도록 하겠습니다. Better YOLO 가 다른 detection 모듈에 비해 대표적으로 안좋은 점은 적은 수의 bounding box 로 인해 재현율이 (recall) 낮다는 점입니다. 특히, 컴퓨터 비젼에서는 점점 더 깊고 큰 neural networks 를 사용하는 추세이지만 object detection 은 정확하고 충분히 빨라야하기 때문에 YOLO v2 에서는 모델을 더 크게 구성하는 대신 모델의 구성요소를 바꾸어 성능을 향상시킵니다. Batch normalization 먼저 모든 convolution layer 에 batch normalization 을 적용합니다. 이를 통해 2% 정도의 mA.. [영어 표현] take on it / make of it / come down on it 1. What's your take on it? (What's your opinion on it?) 어떤 상황에 대한 나름의 분석을 요구. "take" 는 동사가 아닌 명사. I'd like to hear your take on it. 2. What do you make of it? 그게 뭐라고 생각하나요? / 그게 뭘 의미한다고 생각하나요? / 그것의 의도가 뭐라고 생각하나요? I don't know what to make of it: 이것의 의도를 모르겠어요. I can't make heads or tails of it: 앞뒤조차 가리지 못할 정도로 아무것도 모르겠다. 3. Where do you come down on it? 갈려있는 의견이 있는 상황에서 어느 의견에 동의하는지 / 어느 편을 sup.. MobileNet (2) 이전 포스트 [Machine Learning/Architecture] - MobileNet (1) Model architecture MobileNet V2의 전체 구조는 Table 와 같습니다. 첫 번째 layer 에서는 32 사이즈 필터의 convolution 을 수행하고 19개의 residual bottlenect 구조로 이루어집니다. 또한, 계산속도를 바르게 하기 위해 연산에 소요되는 bit 수를 줄인 low-precision 을 위해 ReLU6을 사용했고 expansion factor t는 6을 사용했다고 합니다. ShuffleNet, MobileNet V1 등의 다른 경량화 모델과의 비교는 Figure 4와 같습니다. ShuffleNet 은 point-wise group convolution.. MobileNet (1) MobileNet 은 저전력/저용량 디바이스인 모바일에 deep neural networks 를 디플로이하기 위해 설계된 대표적인 lightweight model 중 하나입니다. MobileNet V1, V2가 2018년도에 제안되었고 최근에는 NAS와 (Neural Architecture Search) 결합된 MobileNet V3까지 발표되었습니다. 이번 포스트에서는 MobileNet V1, V2 에서 사용된 모델의 경량화를 달성하기 위한 설계 기법들에 대해 살펴보도록 하겠습니다. MobileNet V1 MobileNet V1 은 기존 convolution 을 depth-wise separable convolution 으로 치환한 것으로 요약할 수 있습니다. Depth-wise separable co.. Transformer 구현 지난 포스트 [Machine Learning/Architecture] - Transformer 이번 포스트에서는 Transformer Pytorch 구현에 대해 알아보도록 하겠습니다. 먼저, 이번 포스트에서 다룰 코드는 고현웅님의 Transformer github 레파지토리에서 발췌한 것임을 미리 밝힙니다. (Transformer 의 각 구성 요소별로 코드 정리가 잘 되어있습니다.) Scaled dot product attention Figure 1을 구현하는 블락입니다. 이때, multi-head attention 을 위해 Q,K,V가 head 개수만큼 분리되어 [batch size, head, length (입력 길이), d (차원)] 의 4차원 텐서입니다. 코드에서 "@" 은 pytorch .. 이전 1 ··· 20 21 22 23 24 25 26 ··· 47 다음 목록 더보기
