-
meta learning - Matching Network
시작하기 저번 시간에 meta learning 학습 방법 중 하나인 Few Shot learning 에 대해 설명하였습니다. 이번에는 이러한 meta learning 학습 방법 중의 하나인 Matching Network에 대해 설명하고자 합니다.
seujung's profile imageseujung
2018-07-25 01:07
-
meta learning - Few Shot Learning
시작하기 최근에 가장 많이 연구되고 있는 분야 중 하나가 바로 meta learning 입니다. meta learning 은 learning-to-learning 이라고도 불리고 있습니다. 이런 meta learning을 학습하는 방법 중 하나가 few-shot learning이라는 방법이 있습니다. 이 few-shot learning의 경우에는 classification과는 다른 방법으로 문제 및 데이터 샛을 정의 합니다. 저도 기존의 방법과 다른 형태다 보니 이해하는데 많은 시간이 소요 되었습니다. 이번 post에서는 few-shot learning에 대해 소개해드리고자 합니다. Few-Shot Learning 이란 Few-Shot Learning이란 해당 용어가 말하는 대로 아주 적은 데이터르도 데이터의...
seujung's profile imageseujung
2018-06-29 23:12
-
WaveNet Review
논문 개요 딥마인드에서 오디오 시그널에 대한 모델로 제시한 network 입니다. 해당 논문이 가지는 가장 큰 장점은 오디오의 waveform 자체 데이터를 활용해서 모델링을 수행한 점입니다. 또한 이를 통해 생성한 TTS는 기존의 결과보다 많이 나은 성능을 보여주고 있습니다. 최근에는 Google Home에 해당 네트워크가 탑제되었으며 wav 파일 관련해서 reference network로 많이 활용되고 있습니다. Paper Deepmind blog Network Architecture 설명 네트워크를 이해하기 위해서는 해당 내용에 대한 개념을 먼저 이해해야 합니다. stack of dilated casual convolution Residual and skip connection...
seujung's profile imageseujung
2018-06-03 05:21
-
Relational Network Review
논문 개요 Visual QA 문제에서 관계형 추론 (relational reasoning) 이란 방법을 제시하여서 높은 성능을 보인 Deep Mind 논문에 대해서 설명하고자 합니다. 상당히 간단한 구조의 알고리즘을 통해 기존 방법과 확연한 차이를 보인 점이 가장 큰 장점입니다. 또한 해당 논문에서 제시한 방법은 QA 문제를 넘어서 다양한 Domain에서도 활용할 수 있다는 점이 또 하나의 큰 장점 입니다. https://arxiv.org/pdf/1706.01427.pdf 문제 사항 설명 해당 논문에서 주요 다룬 데이터는 CLEVR data set을 사용 하였습니다. 해당 데이터의 주요 구조는 다음과 같습니다. Original...
seujung's profile imageseujung
2018-05-29 19:11
-
pytorch - gluon 함수 Mapping
목적 Deep learning 관련 Open Framework 중 mxnet(gluon) 으로 구현 시에 보통은 pytorch 코드를 참조하여서 구현을 많이 하고 있음(gluon user 부족으로 인해…) 대부분의 구조가 거의 비슷하지만 일부 함수의 경우에는 내용이 달라서 pytorch 함수를 gluon 함수로 변환하는 과정이 필요함 함수 mapping 표 (update 진행 중) Function Pytorch Gluon 비고 Dimension 삽입 torch.unsqueeze(data,1) data.expand_dims(1) Reshape x.view(1,2,3) x.reshape(shape=(1,2,3)) Swap shape x.permute(0,2,1) x.swapaxes(1,2) F.swapaxes(x,1,2)는 deprecated 됨 Data Copy x.repeat(1,25,1,1) F.repeat(x,repeats=25,axis=1) Concat data torch.cat([a,b],3) F.concat(a,b,dim=3) Return...
seujung's profile imageseujung
2018-04-01 19:41
-
gradient를 활용한 DNN 해석 방안
목적 Deep learning의 경우에는 일반적으로 결과에 대한 해석이 black-box 인 것으로 알려져 있음 최근에 이미지 데이터의 경우에는 gradient 기반으로 class 산출 결과에 대한 해석 방안이 언급되고 있음(Ex. grad-CAM 등) gradient 값을 활용하여 class 예측에 주요 영향을 주는 input variable을 찾고자 함 가정 사항 및 접근 방법 deep learning 학습 시 weight matrix 의 경우에는 input data에서 주요 의미가 있는 feature에 대해 추상화 작업을 하는 것으로 의미적으로 해석이 가능함 학습된 deep learning 모형을 대상으로 하여 feature...
seujung's profile imageseujung
2017-12-19 17:43