What is the difference between model-based and model-free reinforcement learning

To answer this question, lets revisit the components of an MDP, the most typical decision making framework for RL. An MDP is typically defined by a 4-tuple (𝑆,𝐴,𝑅,𝑇)(S,A,R,T) where 𝑆S is the state/observation space of an environment𝐴A is the set of actions the agent can choose between𝑅(𝑠,𝑎)R(s,a) is a function that returns the reward received for taking action 𝑎a in state 𝑠s𝑇(𝑠′|𝑠,𝑎)T(s′|s,a) is a…

더 보기

linux-gpu서버 실시간 로그 분석 페이지(netdata)

딥러닝 서버의 사용률을 분석하기 위하여 실시간으로 시각화가 가능하며 간단하게 만들 수 있는 페이지를 만들 필요성이 생겼다. grafana나 ELK로 직접 개발을 할 시간은 부족하니 오픈소스 프로그램을 사용하기로 결정 netdata 프로젝트를 사용하기로 최종결정 여러 노드에서 간단하게 사용하기 위하여 이를 도커에서 사용가능하며 gpu의 사용량도 보여줄 수 있도록 약간의 수정을 가함 요구사항에 맞는 딱 맞는 도커를 허브에서 찾음(d34dc3n73r/netdata-glibc) 아래는…

더 보기

리눅스에 Unity3D 설치하기

UnityML을 사용하기 위해서 Unity3D를 설치하려고 헀으나 공식홈페이지에 Mac 과 windows만을 지원한다.. 그러나 설치법을 아래 블로그에서 찾았다. 2가지 방법이 존재한다. UnityHub 를 설치하는 방법 혹은 Unity3d를 바로 설치하는 방법 다운로드 링크는 이곳이다. 가장 아래서 최신버젼을 다운로드 하자. 다운로드 chmod +x 를 이용하여 실행권한을 준 후 실행하여 설치를 진행하면 된다. TIP : Unity3D 의 에서 preference 에…

더 보기

Jetson agx xavier 설치 및 세팅

jetson TX2 에 이어서 xavier 를 사용할 기회가 있어서 개봉 및 초기 세팅을 정리하고자 합니다. 먼저 구성품은 아래와 같습니다. (tx2에 비하여 조금 더 컴팩트해진 느낌입니다) xavier의 외관상 보이는 특징으로는 usb 포트가 c타입 뿐입니다. 따라서 동봉된 c 타입 변환 젠더를 이용하여 1개의 usb 포트를 입력을 만들 수 있습니다. (ssh 를 이용하지 않을시에 usb 허브가 필요할 것…

더 보기

pytorch hook feature map 출력하기

register_forward_hook 을 이용하여 torchvison의 vgg19 모델의 feature map에 대한 연산을 수행합니다.

더 보기

파이썬 이미지 뷰어 만들기

데이터셋을 구글에서 크롤링 했는데 생각보다 중간중간 쓰레기 값들이 끼여져 있어서 이것을 폴더에서 미리보기로 지우려니 힘들어서 뷰어을 만들어서 삭제를 하기로 마음을 먹었다. 4개의 버튼이 존재한다. Open File Directory  .jpg .jpeg .png .JPEG .JPG .gif .GIF .PNG 파일을 전부 읽어서 순서대로 보여준다. Prev,Next 는 이전, 다음사진을 보여준다. 방향키 <-,-> 를 가지고 조작이 가능하다. Remove 버튼을 누르면 해당…

더 보기

Ubuntu 18.04 conky widget(cpu,ram,gpu,network)

위와 같은 위젯을 우분투에서 만들어 보려고 한다.  평소에 Docky 에서 있는 위젯을 사용하진 하였는데 이번에 포멧을 하면서 위젯이 있으면 좋겠다고 생각하여 위젯을 설치하였다. apt-get updateapt-get install conky-allsudo sed -i ‘s/left/right/’ /etc/conky/conky.confcp /etc/conky/conky.conf ~/.conkyrc 위 까지 실행후 conky를 bash 에서 실행한다. 그러면 좌측 상단에 conky widget이 생기는 것을 볼 수 있다.  이것을 시작프로그램에 등록한후  vim .conkyrc를 다음과…

더 보기

Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections

denoising and superresolution 에 적용 가능한 모델 특징 symmetric convolution (convolution-deconvolution) encode-decode 구조 skip connections 을 이용 (U-Net구조) 더 깊은 모델을 생성 가능 구조  input image size 243×243 n개 layer 3×3 stride conv layer n개 deconv layer skip connection 학습 Adam 사용 lr 1e-4 50 × 50 patch Berkeley Segmentation Dataset (BSD)300 이미지를 사용denoise를 위해서는 gaussian…

더 보기

Floating point

위키 피디아의 내용을 살짝 정리 IEEE754 (fp32) 으로  fixed point decimal 을 floating point binary로 변환하는 방법 −118.625 (십진법)을 IEEE 754 (32비트 단정도)로 표현해 보자. 음수이므로, 부호부는 1이 된다. 그 다음, 절댓값을 이진법으로 나타내면 1110110.101이 된다. (이진기수법을 참조) 소수점을 왼쪽으로 이동시켜, 왼쪽에는 1만 남게 만든다. 예를 들면 1110110.101=1.110110101×2⁶ 과 같다. 이것을 정규화된 부동소수점 수라고 한다.((가수)×(밑수)(지수)표현법에서 가수의…

더 보기