Local Minimum

• 우리가 목표로 하는 최적해를 찾아야하는데, n차 곡선에서 미분하다 특정 구간에서 머무르는 현상
• 딥러닝에서 문제점이 된다고는 하지만... 2014년 작성된 한 논문을 보면, 모델링 할 때 크게 신경쓰지 않아도 된다고 함. 
  • 논문 링크 : https://arxiv.org/pdf/1406.2572.pdf
  • 고차원 데이터를 사용할 때 Local minimum 현상이 발생하기 어려움.
  • 딥러닝 구조의 모든 weight 값이 Local minimum 이 되면 가중치 업데이트가 중단되는데, 사실상 모든 weight가 그럴 확률이 매우 낮음.

Local minimum과 Global minimum

 

• Local Minimum을 해결하는 방법은 ? 
  • Optimizer 를 Momentum/Adagrad/Adam 같은걸 써본다.
  • 적절한 Optimizer 선정시에는 아래 그림을 참고해서 여러가지 시도를 해본다. 
    • 거의 Adam만 써봤는데, 제일 좋은 것 같고 많이 쓰는덴 이유가 있는 것 같다.(데이터에 따라 다르겠지만 일반적으로..)

- 그림 출처 : https://www.slideshare.net/yongho/ss-79607172#49