륵늘

이 논문은 요즘 이슈가 많은 Deepfake 관련한 논문으로 2023년에 CVPR에 Accept 되었으며, 10월 10일 기준 Citation의 수는 49회이다. Boundary Unlearning을 알아보기 위해서는 Machine Unleaning에 대해서 알아야 된다.Machine Unlearning이란, 특정 데이터를 학습한 모델에서 해당 데이터를 기반으로 한 학습 기록을 지우는 것이다. 위 논문에서는 특정 데이터를 학습한 모델에서 해당 데이터를 기반으로 한 학습 기록을 지우는 이유로 2가지를 설명하고 있다. 첫 번째로는 "잊혀질 권리" 이다.유럽 연합(EU)가 제정한 법에 따라 개인은 잊혀질 권리를 가지며, 개인의 데이터를 삭제 요청할 경우 기업은 해당 데이터를 삭제해야 한다. 특히나 요즘과 같이..

이 논문은 우리가 CAM(Class Activation Mapping)이라고 부르는 기법에 대해서 설명을 하는 논문이다. 2016년 CVPR에 Accept 된 논문으로 7월 2일 기준 Citation 수는 11288회이다.   CAM(Class Activation Mapping) 이란 학습에서 이루어지는 내부 사항은 우리는 알 수가 없는데 모델이 어떠한 곳에 집중을 해서 예측을 하는지에 대한 것을 시각화 한 것이라고 생각하면 된다. 이 CAM(Class Activation Mapping) 은 어떠한 과정으로 우리가 시각화를 할 수 있는 지 이제부터 알아보도록 하자.    CAM(Class Activation Mapping)은 일반적인 Convolution model architecture에 GAP(Glo..

이 논문을 간단요약하면, Transformer의 기능들을 CNN에 하나씩 단계적으로 접목시키는 논문으로 FackBook에서 만든 논문으로 2020년 CVPR에 Accept 된 논문이고, Citation의 수는 6월 10일 기준으로 4344회이다.  2020년 VIT는 함께 기존의 State-of-the-art였던 ConvNeXt 기반의 모델들을 뛰어넘었다.VIT는 일반적인 Computer vision task에 적용하기 힘들다는 어려움이 있었는데, ConvNet의 Sliding window strategy를 통해서 Transformer도 Computer vision 분야의 Backbone으로 사용 가능하다는 것을 보이면서 많은 Vision 분야에서 좋은 성능을 보여주게 된다.  하지만 Tranformer..

이 논문은 SimCLR(Simple Framework for Contrastive Learning of visual Representations)이라고 불리는 논문이다. 2020년 ICML에 Accept 된 논문으로 24년 3월 11일 기준으로 Citation의 수는 15423회이다. Abstract 이 논문에서 제안한 simple framework인 SimCRL는 많은 Architecture 수정과 Memory bank 없이 사용 가능하다고 말하고 있다. (SimCLR의 더 자세한 이야기는 Introduction부터 시작된다.) Introduction SimCLR의 contribution으로는 크게 4가지로 볼 수 있다. Composition of multiple data augmentation ope..

KAIST에서 2018년에 나온 논문인 CBAM에 대해서 정리를 해보고자 한다. 2018 ECCV에 Accept 된 논문으로 2024년 3월 4일 기준으로 Citation의 수는 16848회이다. 위 논문은 기존에 있던 연구인 SENet과 BAM보다 성능이 향상된 방법으로 2가지의 Module(Channel, Spatial)을 이용해서 CNN의 효과를 보다 더 좋은 성능을 이끌 수 있게 도와주는 방법론을 설명한다. 오늘은 이에 대해서 자세하게 알아보고자한다. 방법론 설명에 앞서 위 논문의 Contribution은 3가지로 이루어져 있는데, 첫 번째로는 간단하지만 효과적인 Attention moudule인 CBAM은 CNN에서의 표현능력을 향상시키기 위해서 넓게 적용 될 수 있다고 말한다. 두 번째로는 여..

오늘은 Facebook AI Research에서 2021년 12월 19일을 마지막으로 제출 완료한 논문인 Masked Autoencoders Are Scalabel Vision Learners에 대해서 알아보고자 한다. 이 논문의 주요 키워드는 Masked AutoEncoder(MAE), Self-Supervised Learning, Reconstruction, Mask token 등이 있다. 오늘도 정리를 시작해보자 ~~~!!! Abstract 이 논문에서는 Masked autoencoder(MAE)를 computer vision을 위한 확장가능한 Self-Supervised learners라고 보여주고 있다. 이 논문의 MAE approach는 간단한데, 입력이미지의 랜덤한 patch들에 대해서 ma..

오늘 ~~~!! 정리 해볼 논문은 Apple에서 작성한 MAEEG(MAsked Auto-encoder for EEG)에 대해서 정리 해볼 예정이다. Sleep 관련 논문이고, Self Supervised Learning을 이용하는 이야기로 주로 이루어져 있다. 그럼 요약정리 시작해보자~~~!!! Abstract EEG과 같은 bio-signal에서는 Dataset이 작고 label을 얻기 어렵기 때문에 기계학습을 통한 정보를 복원하는데 어려웠었다. 그래서 이 논문에서는 Self Supervised Learning model을 기반으로한 reconstruction을 제안하는데 그게 바로 Masked auto-endocer for EEG이다.(MAEEG) Transformer architecture를 이용해..

정말 오랜만에 다시 글을 쓰려고 하는데 읽었던 논문들에 대해서 다시 천천히 정리를 해보려고 한다. 꾸준히 정말 열심히 해야겠따.. 다시 돌아와서 처음으로 정리하게 된 논문은 자연어처리 부분의 논문인 BERT이다. 정리를 시작해보자~~~~~!!!!! Abstract 새로운 Language representation model로 BERT라고 불린다. BERT는 Bidirectional Encoder Representations from Transformers의 약자이다. 최근 Language representaion model 들과 달리 BERT만의 특이한 특징이 있는데, 그는 바로 라벨링 되지 않은 텍스트로부터 pre-train deep bidirectinoal representations을 하고, 모든 ..