study

그리디 알고리즘 : 어떠한 문제가 있을 때 단순 무식하게, 탐욕적으로 문제를 푸는 알고리즘이다. 여기서 탐욕적이라는 말은 현재 상황에서 지금 당장 좋은 것만 고르는 방법을 의미한다. 그리디 알고리즘을 이용하면 매 순간 가장 좋아 보이는 것을 선택하며, 현재의 선택이 나중에 미칠 영향에 대해서는 고려하지 않는다. 예제 - 거슴름돈 당신은 음식점의 계산을 도와주는 점원이다. 카운터에는 거스름돈으로 사용할 500원, 100원, 50원, 10원짜리 동전이 무한히 존재한다고 가정한다. 손님에게 거슬러 줘야 할 돈이 N원일 때 거슬러줘야 할 동전의 최소 개수를 구하라, 단 거슬러 줘야 할 돈 N은 항상 10의 배수이다. 문제 해설 이 문제는 그리디 알고리즘을 이용해 풀 수 있는 대표적인 문제로 간단한 아이디어만 떠..

gradient를 이용하여 어떻게 가중치를 업데이트 시키는지 자세히 배울 것인데요. 이장에서는 역전파(Backpropagation)에 대해 배울 것입니다 역전파의 경우 미분을 활용하기 때문에 미분 개념을 간단하게 설명하겠습니다 미분을 간략하게 표현하면 한 점의 기울기를 구하기 위해 사용되는 개념입니다 제가 정리한 미분공식을 바탕으로 역전파 과정을 직접 계산해보겠습니다 f = qz의 경우 미분하면 서로 반대의 값이 나옵니다(미분 규칙) 빨간 네모 박스와 파란 네모 박스는 우리는 이미 알고 있습니다. 우리가 궁금한 것은 Want에 해당하는 값들입니다 이 값들을 이제 직접 계산하는 과정에 데해 설명하겠습니다 f는 자기 자신을 미분하기 때문에 f의 기울기는 1이 됩니다 z의 기울기는 이미 주어져 있습니다(파란색..

손실 함수 학습을 통해 얻은 데이터의 추정치가 실제 데이터와 얼마나 차이 나는지 평가하는 지표로 쓰인다. 이 값이 크면 클수록 많이 틀렸다는 의미고, 이 값이 0 이라는 것은 '무손실' 즉 완벽하게 추정할 수 있다는 의미가 된다. 해당 강의에서는 SVM loss, Crosentcross entropy 두 가지 손실함수를 소개한다. Hinge loss(SVM loss) : Score을 구하는 함수로 식은 사진과 같다( j와 yi가 같다면 0으로 처리해서 계산을 한다) Sj : 잘못된 lable의 score Syi : 제대로 된 lable score 1 : safety margin Loss가 0이 나오는 W의 값이 한개가 아니다 그러므로 학습시 Weight 값이 크게 학습되서 과적합의 문제가 발생할 수 있다..