- 머신러닝 모델에서 사용할 변수를 선택하는 방법으로, 특징 중요도에 따라 변수를 추가하거나 제거하면서 반복 수행하여 최종 변수 선택
- 방법
- Forward Selection : 빈 모델로 시작해서 가장 중요한 변수를 하나씩 추가하면서 성능 측정
- Backward Selection : 모든 변수를 사용한 모델로 시작해서 중요도가 가장 낮은 변수를 제거하면서 성능 측정
- Bidirectional : Forward 와 Backward를 결합한 방식으로, 중요한 변수를 추가하면서 동시에 덜 중요한 변수를 제거하면서 성능을 측정
- 평가기준 : P-value (보통 0.05나 0.01 사용)
- 장점
- 불필요한 변수 제거는 모델을 간소화 하고 복잡도를 줄임
- 계산비용 줄어듬
- 과적합 방지
- 단점
- 모든 경우의 수를 고려하지 못하므로, 최적조합을 찾지 못할 수 있음.
- 특징간 상호작용이 고려되지 않을 수 있음.
- 데이터에 따라 불안정할 수 있음.
'Deep Learning' 카테고리의 다른 글
| Optimizer 종류 (0) | 2023.09.17 |
|---|---|
| 딥러닝 모델종류 (0) | 2023.09.14 |
| Learning Curve (Learning Rate 조정) (0) | 2023.08.25 |
| Local Minimum (0) | 2023.08.25 |
| Pytorch 기본 (0) | 2023.08.23 |