Optimization: Stochastic Gradient Descent 1. 개요머신러닝에서 최적화는 모델의 성능을 향상시키는 핵심 과정입니다. 이 글에서는 이미지 분류 문제를 예시로 들어 최적화 과정을 설명하겠습니다. 핵심 구성요소점수 함수(Score Function): 입력 이미지를 클래스 점수로 매핑 (예: 선형 함수)f(xi,W) = Wxi손실 함수(Loss Function): 예측값과 실제값의 차이를 측정L = (1/N) * ∑i∑j≠yi[max(0,f(xi;W)j−f(xi;W)yi+1)] + αR(W)최적화(Optimization): 손실 함수를 최소화하는 매개변수 W를 찾는 과정 2. 손실 함수 시각화고차원 공간에서 정의되는 손실 함수CIFAR-10의 경우: 가중치 행렬 W는 [10 x ..