[논문리뷰]PACT: PARAMETERIZED CLIPPING ACTIVATION FOR QUANTIZED NEURAL NETWORK

간단하게 이전에 읽은 논문 정리 아주 간단간단 논문은 링크에서 볼 수 있다. What? activation quantization을 accuracy degradation 없이하는 방법에 관한 논문이다. When? Training time How? activation quantization에 적합한 함수를 학습시점에 학습한다. Why? Quantization of weights is equivalent to discretizing the hypothesis space of the loss function with respect to the weight variables 결과 we achieve…

더 보기

[논문리뷰]Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training

ICLR2018에 발표된 논문입니다. 이 논문은 분산 학습에서 gradient를 압축하여 보내어 통신 비용을 줄여 그 속도를 높이고자 하는 시도를 담은 논문입니다. 저자는 Yujun Lin, Song Han, Huizi Mao, Yu Wang, William J. Dally입니다. 공개된 공식코드는 없으며 논문은 링크에서 확인 가능합니다. 들어가기 전에 Model Parallelism 모델이 하나의 디바이스에서 동작이 힘들시에 모델을 머신별로 짤라서 사용하는 방법(왼쪽) Data Parallelism…

더 보기

[논문리뷰]Lightweight Network Architecture for Real-Time Action Recognition 리뷰

인텔에서 발표한 Action Recognition 에 대한 논문 리뷰입니다. 특징을 요약하면 실시간 (대략 60fps) 실행이 가능하며 sota와 비교시에도 큰 성능 차가 나지 않는 성능을 보여주는  연산량이 적은 Action Recognition 네트워크 입니다. 공식 코드 공개 되어 있으며 링크에서 확인 가능합니다. 논문 또한 arxiv 에서 확인 가능합니다.    Action recognition 이란? Action recognition 은 video clips 에서각기다른행동을식별하는작업입니다. 왼쪽…

더 보기

What is the difference between model-based and model-free reinforcement learning

To answer this question, lets revisit the components of an MDP, the most typical decision making framework for RL. An MDP is typically defined by a 4-tuple (𝑆,𝐴,𝑅,𝑇)(S,A,R,T) where 𝑆S is the state/observation space of an environment𝐴A is the set of actions the agent can choose between𝑅(𝑠,𝑎)R(s,a) is a function that returns the reward received for taking action 𝑎a in state 𝑠s𝑇(𝑠′|𝑠,𝑎)T(s′|s,a) is a…

더 보기

linux-gpu서버 실시간 로그 분석 페이지(netdata)

딥러닝 서버의 사용률을 분석하기 위하여 실시간으로 시각화가 가능하며 간단하게 만들 수 있는 페이지를 만들 필요성이 생겼다. grafana나 ELK로 직접 개발을 할 시간은 부족하니 오픈소스 프로그램을 사용하기로 결정 netdata 프로젝트를 사용하기로 최종결정 여러 노드에서 간단하게 사용하기 위하여 이를 도커에서 사용가능하며 gpu의 사용량도 보여줄 수 있도록 약간의 수정을 가함 요구사항에 맞는 딱 맞는 도커를 허브에서 찾음(d34dc3n73r/netdata-glibc) 아래는…

더 보기

리눅스에 Unity3D 설치하기

UnityML을 사용하기 위해서 Unity3D를 설치하려고 헀으나 공식홈페이지에 Mac 과 windows만을 지원한다.. 그러나 설치법을 아래 블로그에서 찾았다. 2가지 방법이 존재한다. UnityHub 를 설치하는 방법 혹은 Unity3d를 바로 설치하는 방법 다운로드 링크는 이곳이다. 가장 아래서 최신버젼을 다운로드 하자. 다운로드 chmod +x 를 이용하여 실행권한을 준 후 실행하여 설치를 진행하면 된다. TIP : Unity3D 의 에서 preference 에…

더 보기

Jetson agx xavier 설치 및 세팅

jetson TX2 에 이어서 xavier 를 사용할 기회가 있어서 개봉 및 초기 세팅을 정리하고자 합니다. 먼저 구성품은 아래와 같습니다. (tx2에 비하여 조금 더 컴팩트해진 느낌입니다) xavier의 외관상 보이는 특징으로는 usb 포트가 c타입 뿐입니다. 따라서 동봉된 c 타입 변환 젠더를 이용하여 1개의 usb 포트를 입력을 만들 수 있습니다. (ssh 를 이용하지 않을시에 usb 허브가 필요할 것…

더 보기

pytorch hook을 사용해서 vgg19 feature map 출력해보자!

register_forward_hook 을 이용하여 torchvison의 vgg19 모델의 feature map에 대한 연산을 수행합니다.

더 보기

파이썬 이미지 뷰어 만들기

데이터셋을 구글에서 크롤링 했는데 생각보다 중간중간 쓰레기 값들이 끼여져 있어서 이것을 폴더에서 미리보기로 지우려니 힘들어서 뷰어을 만들어서 삭제를 하기로 마음을 먹었다. 4개의 버튼이 존재한다. Open File Directory  .jpg .jpeg .png .JPEG .JPG .gif .GIF .PNG 파일을 전부 읽어서 순서대로 보여준다. Prev,Next 는 이전, 다음사진을 보여준다. 방향키 <-,-> 를 가지고 조작이 가능하다. Remove 버튼을 누르면 해당…

더 보기

Ubuntu 18.04 conky widget(cpu,ram,gpu,network)

위와 같은 위젯을 우분투에서 만들어 보려고 한다.  평소에 Docky 에서 있는 위젯을 사용하진 하였는데 이번에 포멧을 하면서 위젯이 있으면 좋겠다고 생각하여 위젯을 설치하였다. apt-get updateapt-get install conky-allsudo sed -i ‘s/left/right/’ /etc/conky/conky.confcp /etc/conky/conky.conf ~/.conkyrc 위 까지 실행후 conky를 bash 에서 실행한다. 그러면 좌측 상단에 conky widget이 생기는 것을 볼 수 있다.  이것을 시작프로그램에 등록한후  vim .conkyrc를 다음과…

더 보기