Machine Learning/2024winter (1) 썸네일형 리스트형 [Machine Learning] Gradient와 Steepest Direction의 원리 (편미분 설명 추가) 선형 회귀(Linear Regression)의 최적화(Optimizer) 알고리즘 중 처음 배우는 것이 경사 하강법(Gradient Descent)이다. 경사 하강법 (Gradient Descent)의 핵심 개념은 기울기(Gradient)의 방향이 함수의 값이 가장 크게 증가하는 방향(Steepest Direction)을 나타내며, 이 기울기(Gradient)의 반대 방향으로 이동하면 손실함수(Loss Function)를 효과적으로 최소화할 수 있다는 점이다.기울기(Gradient)의 개념을 정확히 이해하기 위해 먼저 편미분(Partial Derivative)의 개념을 살펴보고, 이를 바탕으로 기울기(Gradient)를 정의하겠다. 마지막으로 Gradient가 항상 함수의 값이 가장 크게 증가하는 방향(.. 이전 1 다음
