Machine Learning Tasks (67) 썸네일형 리스트형 불확실성, Aleatoric and Epistemic Uncertainty (2) 불확실성, Aleatoric and Epistemic Uncertainty (1) Combining aleatoric and epistemic uncertainty in one model Aleatoric/epistemic uncertainty를 하나의 모델에 적용할 수 있는 framework를 제안합니다. 이를 위해 aleatoric uncertainty model인 Equation 5에 Bayesian neural networks의 파라미터에 따른 확률 분포를 삽입합니다. 따라서 우리는 입력/출력 $x,y$에 대한 파라미터의 posterior distribution을 추정하면서 aleatoric uncertainty를 반영한 $\sigma$를 측정하여야 합니다. 이전 포스트에서 언급한 대로 파라미터의.. 불확실성, Aleatoric and Epistemic Uncertainty (1) 우리가 모델링할 수 있는 불확실성, uncertainty는 크게 두 가지 종류가 있습니다. 첫 번째는 데이터 자체에 담겨 있는 고유 노이즈로 인한 aleatoric uncentainty이고 두 번째는 모델이 데이터를 충분히 설명하지 못하는 epistemic uncertainty입니다. 딥러닝 모델이 강력한 성능으로 여러 분야에서 다양하게 활용되고 있지만 오히려 그 강력한 성능으로 인해 결과가 무작정 신뢰되는 오류를 초래합니다. 최근에 일어난 자율주행 자동차의 판단 오류로 인한 사망사고나 흑인을 고릴라로 잘못 판단한 사고 등 딥러닝 모델 결과에 대한 신뢰성을 확보하는 요구는 점차 커지고 있습니다. 이번 포스트는 NIPS 2017에 발표된 Bayesian Neural Networks 분야의 거두 Yarin .. Self-Supervised Learning - SimCLR (2) 이전 포스트 [Machine Learning/Unsupervised Learning] - Self-Supervised Learning - SimCLR (1) Data augmentation for Contrastive representation learning 다양한 transformation을 통한 이미지 augmentation은 supervised/self-supervised/semi-supervised 를 막론하고 다양한 분야에서 사용되지만 이를 contrastive learning에 적용하기 위해서는 특수한 architecture나 과정을 거쳐야 했습니다. SimCLR에서는 random cropping을 통해 특수한 구조 없이도 augmentation의 다양한 view를 반영하는데 성공했습니다. .. Self-Supervised Learning - SimCLR (1) 최근 대용량의 라벨링이 필요한 supervised learning을 보완하는 self-supervised learning이 각광받고 있습니다. Self-supervised learning 이란 입력의 해당하는 라벨 없이 입력 그 자체만으로 만든 라벨에 대해 discriminative하게 훈련시켜 데이터의 representation을 학습하는 방법입니다. 대표적으로 이미지에 적용한 geometric transformation의 종류를 예측하는 방법으로 이미지의 representation을 얻는 방법이 있습니다. 기존의 이러한 방법들은 데이터를 통해 해결하고자 하는 본래의 task 이전에 자가 라벨을 이용한 pretask를 수행하여 데이터의 representation을 학습하지만 이러한 pretask는 논문.. Deep State Space Models for Time Series Forecasting 시계열 데이터 예측은 각종 산업의 의사 결정 단에서 두루 사용되는 분야로 비용 감소, 재고 관리 등의 업무에 사용됩니다. 기존에는 예측 모델의 구조를 미리 가정하고 추세나 계절성 등의 패턴을 예측하는 state space models (SSM)이 주로 사용되었습니다만, 사용가능한 시계열 데이터의 수와 feature가 많아짐에 따라 적절한 모델과 입력/출력 구조를 정의하는데 오랜 시간이 걸립니다. 또한, 각 시계열 데이터마다 별도로 모델링되다 보니 비슷한 시계열 데이터들의 공통된 패턴을 활용하지 못하는 단점도 있습니다. 이에 반해 deep neural networks를 사용한 예측은 deep neural networks의 강력한 feature extraction에 힘입어 raw 데이터로부터 복잡한 패턴을 .. Classification-based Anomaly Detection for General Data 이 논문은 classification 기반의 이상 탐지를 수행한 GEOM (Geometric-transformation classification) 을 확장하여 이미지 이외의 tabular 등의 다른 데이터 타입에도 적용 가능한 이상 탐지 알고리즘을 (GOAD) 제안한 논문입니다. 훈련 데이터에 정상 데이터만 포함된 semi-supervised 시나리오를 가정하였고 open-set classification 에서 영감을 받아 inter-class separation (각 클래스 간의 거리)은 늘리고 intra-class separation (한 클래스 안의 거리) 줄어들도록 GEOM 알고리즘을 개선했습니다. 또한, 이미지가 아닌 데이터에 대해서도 일반화가 가능하도록 기존의 기하학적인 transformat.. Deep Anomaly Detection Using Geometric Transformations 이 논문은 이미지의 geo-transformation을 이용한 이상 탐지 알고리즘을 제안합니다. 입력 이미지에 대해 flipping, rotation 등의 transformation을 통해 얻은 self-labeled (자가 라벨) 데이터를 이용해 일반적인 classifier를 학습시키고 classifier의 score로부터 정상, 비정상 여부를 판단합니다. 이 방법은 classifier가 정상 데이터에 대한 geo-transformed 된 이미지를 어떠한 transformation을 적용하였는지 잘 구분하게 학습하게 되면 정상 데이터의 도드라지는 공통된 feature를 얻을 수 있게 되리라는 동기에서 출발하였습니다. Methods Problem statement 먼저 문제를 정의하겠습니다. 주어진 정상.. Deep Semi-Supervised Anomaly Detection 일반적으로 anomaly detection은 비지도 학습을 가정합니다. 무엇이 정상이고 비정상인지 모르지만 대부분의 데이터가 정상일 것이다라고 가정하고 학습을 진행합니다. 하지만 이상 탐지 문제에서 도메인 전문가들에 의한 라벨 데이터가 주어지는 경우도 많습니다. 즉, 라벨이 되어 있지 않은 데이터 이외에도 정상, 비정상 라벨이 되어 있는 데이터도 존재하는 것이죠. 이 논문은 정상, 비정상으로 라벨링된 데이터를 포함한 semi-supervised 이상 탐지 방법론을 제안하여 라벨링된 데이터를 이용해 기존 비지도 학습 기반 이상 탐지보다 더 높은 성능을 보였습니다. 먼저 semi-supervised (준지도) 의 개념을 먼저 짚고 넘어가야합니다. 준지도 학습은 라벨링되지 않은 데이터와 라벨링된 데이터 모두 .. 이전 1 ··· 4 5 6 7 8 9 다음
