비전 트랜스포머 모델은 기존의 컨볼루션 신경망(Convolutional Neural Network, CNN) 아키텍처 대신에 트랜스포머의 셀프 어텐션(Self-Attention) 메커니즘을 사용하여 이미지를 처리하는 모델임.
특징
트랜스포머 구조 적용: 비전 트랜스포머는 트랜스포머 아키텍처와 유사한 구조를 사용. 이미지를 처리하기 위해 2D 그리드로 나타낸 후, 각 위치의 정보를 셀프 어텐션으로 처리하며, 이를 통해 이미지 내의 전역 및 지역적인 패턴을 파악할 수 있음.
패치 표현: 이미지는 작은 패치(patch)로 나뉘어 표현되는데, 패치는 1D 벡터로 펼쳐진 후, 트랜스포머의 입력값으로 사용함. 이렇게 사용하면 이미지의 공간 정보(Spatial Information)가 유지되면서 효율적인 처리가 가능함.
포지셔널 인코딩(Positional Encoding): 기존 트랜스포머와 마찬가지로 위치 정보를 표현하기 위한 포지셔널 인코딩이 사용되며, 이미지 내의 각 패치 위치에 대한 위치 정보를 추가하여 모델이 공간적인 관계를 학습할 수 있음.
셀프 어텐션: 이미지 내의 각 패치에 대한 정보를 처리하기 위해 셀프 어텐션 메커니즘이 사용되는데, 패치 간의 상호 작용과 패턴 인식이 이루어짐.
클래스 토큰(Class Token): 입력 이미지에 대한 클래스 정보를 나타내는 클래스 토큰이 추가됨. 이 클래스 토큰은 이미지 분류 작업을 위해 사용된다.
선형 레이어: 셀프 어텐션의 출력은 선형 레이어를 통해 최종적인 예측 또는 출력으로 변환됨.
비전트랜스포머의주요이점은이미지내의글로벌패턴및로컬패턴을동시에처리할수있다는것인데, CNN과달리이미지크기에상관없이잘 적용되고 큰이미지도처리할수있다. 뿐만 아니라,사전훈련(Pre-trained)된언어모델(Ex: BERT)의아이디어를활용하여비전작업에도전이학습을수행할 수 있음.
하지만, 기존 SOTA 였던 CNN 의 성능보다 높게하기 위해서는 많은 양의 데이터셋이 필요하다는 점이 있다. 이러한 문제를 해결하기 위해 데이터셋이 적어도 학습이 가능한 CNN을 Teacher Model로 하고, Transformer 모델을 Student Model 로 해서 학습시키는 Knowledge Distillation 과 같은 모델도 나오고 있음. (CNN 이 예측한 결과의 분포를 Transformer 와의 Loss 계산한 Soft Distillation 혹은 예측한 결과 자체를 Transformer와의 Loss 로 계산한 Hard Distillation 이 있음.)
ViT : 트랜스포머(Transformer) 아키텍처를비전작업에적용한것으로, 셀프어텐션(Self-Attention) 메커니즘을기반으로이미지를작은패치로나눈후, 각패치를처리하여이미지 정보를 처리함. (Encoder-Decoder 방식)
패치기반 처리
CNN : 이미지를작은컨볼루션커널을사용하여지역적으로처리하는데, 이러한 결과로공간정보를유지하면서특징을추출하는데효과적임.
ViT :이미지를패치 단위로분할하고(Ex: 1장의 이미지를 16x16 으로 분할), 이러한패치를 Sequential하게 일렬로나열하여 모델의입력으로사용함. 기존 NLP에서 사용하던 Transformer에서 입력값이 sequence한 문장이 들어간 것과 동일함. 또한, 패치기반처리는이미지크기에무관하게모델을적용할수 있음. (이미지가 커도 무관함)
Positional Encoding
CNN :공간정보를컨볼루션연산을통해유지하므로,위치정보를 알 수 있는 Positional Encoding 적용되지 않음.
ViT : 패치의위치정보를포지셔널인코딩(Positional Encoding)을사용하여모델에제공하며, 모델이이미지의공간적인구조를이해할수있음. (CNN 과 다르게 Locality 가정이 없으므로, sequence의 position을 모델에게 알려줘야 함.)
활용
CNN : 이미지분류, 객체검출, 세그멘테이션등다양한비전작업에널리사용함. 특히, 공간적인구조가중요한작업에서효과적이며, Transformer가 나오기 전까지 SOTA 모델로 사용됨. (Ex: ResNet 152)
ViT :주로이미지분류작업에사용되지만, 객체검출및세그멘테이션과같은다른비전작업에도적용되고 있음.
