Representation Learning

• 표현 학습(Representation Learning)은 기계 학습의 한 분야로, 원시 데이터를 더 유용하거나 의미 있는 형태로 변환하는 과정임.
• 주로 고차원이고 복잡한 데이터를 저차원이면서유용한 형태의 데이터로 변환하는 과정을 포함
• 표현 학습의 목표는 원시 데이터로부터 더 유용한 특징이나 속성을 추출하여 해당 데이터에 내재된 패턴이나 구조를 더 잘 파악할 수 있도록 하는 것임
• Representation Learning은 지도 학습과 비지도 학습 모두에 적용될 수 있음.
• 활용 사례
  • Feature Extraction : 이미지, 텍스트 또는 음성과 같은 데이터에서 의미있는 특징을 추출하여 해당 데이터의 표현을 개선
  • Auto Encoder : 인코더와 디코더로 구성되며, 입력을 저차원의 표현으로 압축하고 다시 복원함으로써 학습
  • VAE (Variational Auto Encoder) : 확률적으로 변하는 인코딩과 디코딩을 수행하는 신경망. 확률적 표현으로 더 다양한 데이터를 학습할 수 있음.
  • Word2Vec : 단어를 벡터로 매필하는 모델. CBOW(Continuous Bag of Words)와 Skip-gram 이 주로 사용됨.
  • BERT(Bidirectional Encoder Representations from Tranformers) : Transformer 아키텍처를 사용한 양방향 언어 모델. 문장 내 모든 단어를 고려하여 문맥에 따른 단어 표현을 학습
• Limiatations
  • Lack of Labels : 레이블이 부족한 경우가 많아 표현학습의 성능이 제한적일 수 있음.
  • Lack of Interpretability : 내재된 표현이 해석하기 어려울 수 있어서, 어떻게 특징이 추출되었는지 이해하기 어려울 수 있음.
  • Overfitting : 복잡한 데이터에 과적합되어 일반화 성능이 떨어질 수 있음.
  • Data Dependency : 사용된 데이터의 품질과 양에 매우 의존적이며, 다양한 데이터에 적용할 때 일반화가 어려울 수 있음.
  • Calculation Cost : 학습과 추론에 큰 계산비용이 필요할 수 있으므로, 대규모 데이터셋이나 실시간 응용에 어려울 수 있음.