[논문리뷰]Back to Simplicity: How to Train Accurate BNNs from Scratch?

Back to Simplicity: How to Train Accurate BNNs from Scratch? author: Joseph Bethge∗, Haojin Yang∗, Marvin Bornstein, Christoph MeinelHasso Plattner Institute, University of Potsdam, Germany paper: https://arxiv.org/pdf/1906.08637.pdf code: https://github.com/hpi-xnor/BMXNet-v2 핵심정리: BNN을 train할 시에 어떠한 방법을 써야 Accuracy를 보존할 수 있을까? 에 대한 연구 Introduction 메모리 사용과 추론 속도를 높이기 위한 2가지 접근법이 존재 compact network…

더 보기

[논문리뷰]PACT: PARAMETERIZED CLIPPING ACTIVATION FOR QUANTIZED NEURAL NETWORK

간단하게 이전에 읽은 논문 정리 아주 간단간단 논문은 링크에서 볼 수 있다. What? activation quantization을 accuracy degradation 없이하는 방법에 관한 논문이다. When? Training time How? activation quantization에 적합한 함수를 학습시점에 학습한다. Why? Quantization of weights is equivalent to discretizing the hypothesis space of the loss function with respect to the weight variables 결과 we achieve…

더 보기