컴퓨터/딥러닝 (2) 썸네일형 리스트형 N neurons 라는 말은? N개의 neuron이라는 말은 무슨 말일까? A “small” network was used to evaluate the influence of different components of the augmentation procedure on classification performance. It consists of two convolutional layers with 64 filters each followed by a fully connected layer with 128 neurons. This last layer is succeeded by a softmax layer, which serves as the network output. 위에서 128 neurons 라는 말은 무엇일까? 뉴런이라는건 .. Attention is all you need Attention is all you need 순수한 RNN은 gradient vanishing 문제가 심각했다. 따라서 입력 문장이 길어지면 성능이 떨어졌다. 그것을 해결하기 위해 gating mechanism을 도입한 LSTM과 GRU가 만들어졌다. 그리고 attention mechanism이 등장했다. LSTM에 어텐션을 적용하는 식이다. 그러다 "Attentioin is all you need"에서 recurrent한 특성은 완전히 빼버리고 어텐션 메커니즘만 사용한 새로운 모델인 Transformer로도 좋은 성능이 나온다는 것을 알아내게 된다. Attention Scaled Dot-Product Attention Scaled dot-product attention은 매우 간단하다. Query와 .. 이전 1 다음
