Back to Simplicity: How to Train Accurate BNNs from Scratch? author: Joseph Bethge∗, Haojin Yang∗, Marvin Bornstein, Christoph MeinelHasso Plattner Institute, University of Potsdam, Germany paper: https://arxiv.org/pdf/1906.08637.pdf code: https://github.com/hpi-xnor/BMXNet-v2 핵심정리: BNN을 train할 시에 어떠한 방법을 써야 Accuracy를 보존할 수 있을까? 에 대한 연구 Introduction 메모리 사용과 추론 속도를 높이기 위한 2가지 접근법이 존재 compact network…
ConvNet ImageNet top1 acc ImageNet top5 acc Published In Vgg 76.3 93.2 ICLR2015 GoogleNet – 93.33 CVPR2015 PReLU-nets – 95.06 ICCV2015 ResNet – 96.43 CVPR2015 PreActResNet 79.9 95.2 CVPR2016 Inceptionv3 82.8 96.42 CVPR2016 Inceptionv4 82.3 96.2 AAAI2016 Inception-ResNet-v2 82.4 96.3 AAAI2016 Inceptionv4 + Inception-ResNet-v2 83.5 96.92 AAAI2016 RiR – – ICLR Workshop2016 Stochastic Depth ResNet…
간단하게 이전에 읽은 논문 정리 아주 간단간단 논문은 링크에서 볼 수 있다. What? activation quantization을 accuracy degradation 없이하는 방법에 관한 논문이다. When? Training time How? activation quantization에 적합한 함수를 학습시점에 학습한다. Why? Quantization of weights is equivalent to discretizing the hypothesis space of the loss function with respect to the weight variables 결과 we achieve…
ICLR2018에 발표된 논문입니다. 이 논문은 분산 학습에서 gradient를 압축하여 보내어 통신 비용을 줄여 그 속도를 높이고자 하는 시도를 담은 논문입니다. 저자는 Yujun Lin, Song Han, Huizi Mao, Yu Wang, William J. Dally입니다. 공개된 공식코드는 없으며 논문은 링크에서 확인 가능합니다. 들어가기 전에 Model Parallelism 모델이 하나의 디바이스에서 동작이 힘들시에 모델을 머신별로 짤라서 사용하는 방법(왼쪽) Data Parallelism…
인텔에서 발표한 Action Recognition 에 대한 논문 리뷰입니다. 특징을 요약하면 실시간 (대략 60fps) 실행이 가능하며 sota와 비교시에도 큰 성능 차가 나지 않는 성능을 보여주는 연산량이 적은 Action Recognition 네트워크 입니다. 공식 코드 공개 되어 있으며 링크에서 확인 가능합니다. 논문 또한 arxiv 에서 확인 가능합니다. Action recognition 이란? Action recognition 은 video clips 에서각기다른행동을식별하는작업입니다. 왼쪽…
To answer this question, lets revisit the components of an MDP, the most typical decision making framework for RL. An MDP is typically defined by a 4-tuple (𝑆,𝐴,𝑅,𝑇)(S,A,R,T) where 𝑆S is the state/observation space of an environment𝐴A is the set of actions the agent can choose between𝑅(𝑠,𝑎)R(s,a) is a function that returns the reward received for taking action 𝑎a in state 𝑠s𝑇(𝑠′|𝑠,𝑎)T(s′|s,a) is a…
딥러닝 서버의 사용률을 분석하기 위하여 실시간으로 시각화가 가능하며 간단하게 만들 수 있는 페이지를 만들 필요성이 생겼다. grafana나 ELK로 직접 개발을 할 시간은 부족하니 오픈소스 프로그램을 사용하기로 결정 netdata 프로젝트를 사용하기로 최종결정 여러 노드에서 간단하게 사용하기 위하여 이를 도커에서 사용가능하며 gpu의 사용량도 보여줄 수 있도록 약간의 수정을 가함 요구사항에 맞는 딱 맞는 도커를 허브에서 찾음(d34dc3n73r/netdata-glibc) 아래는…
UnityML을 사용하기 위해서 Unity3D를 설치하려고 헀으나 공식홈페이지에 Mac 과 windows만을 지원한다.. 그러나 설치법을 아래 블로그에서 찾았다. 2가지 방법이 존재한다. UnityHub 를 설치하는 방법 혹은 Unity3d를 바로 설치하는 방법 다운로드 링크는 이곳이다. 가장 아래서 최신버젼을 다운로드 하자. 다운로드 chmod +x 를 이용하여 실행권한을 준 후 실행하여 설치를 진행하면 된다. TIP : Unity3D 의 에서 preference 에…
jetson TX2 에 이어서 xavier 를 사용할 기회가 있어서 개봉 및 초기 세팅을 정리하고자 합니다. 먼저 구성품은 아래와 같습니다. (tx2에 비하여 조금 더 컴팩트해진 느낌입니다) xavier의 외관상 보이는 특징으로는 usb 포트가 c타입 뿐입니다. 따라서 동봉된 c 타입 변환 젠더를 이용하여 1개의 usb 포트를 입력을 만들 수 있습니다. (ssh 를 이용하지 않을시에 usb 허브가 필요할 것…
register_forward_hook 을 이용하여 torchvison의 vgg19 모델의 feature map에 대한 연산을 수행합니다.
