신경망에서는 데이터 간의 연관 관계를 기억하는 능력을 가지고 있고, 데이터로부터 연관관계를 표현할 수 있는 특정한 수식을 자동으로 찾아내는 동작을 수행합니다. 그러면 어떤 동작을 수행하기에 신경망에서는 자동으로 수식을 찾아낼 수 있는 걸까요. 바꿔 말해 신경망은 어떻게 학습을 수행하는 것일까요. 해당 글에서는 신경망의 학습이라는 주제로 해당 궁금증을 해결해보도록 하겠습니다. 해당 그림은 간단한 형태의 뉴럴 네트워크입니다. 뉴럴 네트워크는 가장 왼쪽에 입력 데이터가 들어오면, 가장 오른쪽에 출력 데이터를 내보내게 됩니다. 그 사이에는 다양한 선들과 동그라미가 보입니다. 이떄 선들은 각자 고유한 값을 가지게 되며, 선들은 자신의 왼쪽 동그라미의 값과 자신이 가진 값을 곲아여 오른쪽 동그라미로 넘겨줍니다. 동..

1) CNN의 장점 Grid가 있는 데이터에 유리하다 (이미지, 시계열 데이터) 다른 뉴럴 네트워크에 비해 paramter의 수가 적어 시간이 적게 걸리고, 오버피팅의 가능성도 상대적으로 낮다. input의 크기에 비교적 영향을 덜 받는다. 2) CNN의 단점 Pooling 과정에서 정보 손실이 발생할 수 있다. 파라미터 수의 감소로 인해 연산량은 감소가 있으나, 촘촘한 convolution 연산 수행을 위해서는 큰 연산량이 요구된다. 3) 필터는 왜 필요한가 필터는 이미지의 특징을 추출하기 위한 공용 파라미터이다. Filter를 Kernel이라고도 하며, convolution 과정에서 필터를 거치지 않고 곧바로 flatten layer로 들어가게 되는 경우 spatial or tolopological ..

1. 합성곱 신경망 (CNN, Convolution Neural Networks) CNN은 Convolution Neural Network의 약자로 딥러닝에서 주로 이미지나 영상 데이터를 처리할 때 쓰이며 이름에서 알 수 있듯 Convolution이라는 전처리 작업이 들어가는 뉴럴 네트워크 모델입니다. 1.1 일반적인 DNN 방식의 뉴럴 네트워크와의 비교 합성곱 신경망 CNN은 일반적인 뉴럴 네트워크와 아주 유사합니다. 뉴런과 학습가능한 가중치와 편향으로 구성되어 있다는 점, 각 뉴런은 입력값을 받아 곱(dot product)연산을 수행하며 비선형성을 따릅니다. 또 마지막 층에는 손실함수(Loss function)이 있으며, 일반적인 뉴럴 네트워크를 학습하기 위해 고안한 팁과 트릭들도 여전히 적용 가능합..