논문리뷰2 StyleGAN-V 논문리뷰 Introduction 이미지 생성에 비해 비디오생성은 성공이 없었고 실제 데이터셋에 맞추기 힘들었다. 일반적으로 비디오를 이산적 이미지로 다뤘는데, 고화질로 오랜기간 뽑기 힘듬 → 비디오 그 자체, 연속 signals x(t)로 다룸 gan base synthesis framework sin/cos positional embedding → 비디오는 주기성 x 알맞지 x → positional embedding with time-varying wave parameters (depend on motion information, sampled uniquely for diffrent video) → padding less conv1d-based model (장기기억 문제 완화) 적절한 샘플링이 필요 → ext.. 2022. 3. 19. I-Bert 논문리뷰 용어정리 Quantization : 실수형 변수를 정수형 변수로 변환하는 과정. weight 나 activation fuction이 어느정도 범위안에 있다는 것을 가정하는 모델 경량화 방법 성능 RoBERTa-Base/Large를 사용한 GLUE downsteram task에서 I-BERT가 비슷한 성능을 보였으며, inference speedsms 2.4~4배 빨랐다 배경 컴퓨팅 자원의 한계나 real time inference, edge device를 위해서 경량화 할 필요가 있다. 방법 quantization이전의 방법들은 일부에서만 quantization한 fake → floating point를 지원하지 않는 기기에서는 사용 불가 linear 한 layer 에만 적용 가능해서 CNN, Batch.. 2022. 3. 19. 이전 1 다음
