[딥러닝 with Python] Dense Model과 FFN(Feed Forward Network)

 

 

이번에는 딥러닝 논문을 읽다가 많이 등장하는 개념이 Dense Model과 FFN(Feed Forward Network) 개념에 대해 간단히 정리해보는 시간을 가져보고자 합니다.

 

1. Dense Model이란?

- Dense Model은 모든 뉴런이 이전 층의 모든 뉴런과 연결된 신경망을 말합니다. 

- 완전 연결 신경망(Fully Connected Neural Network / FCN)이라고도 불립니다.

- 이는 가장 기본적인 신경망 구조이며, MLP(Multi Layer Perceptron)에서 사용됩니다.

 

- Dense Model은 여러 개의 Dense Layer로 구성되며 각 층에서 모든 입력 뉴런이 모든 출력 뉴런과 연결되며 아래와 같은 식으로 표현할 수 있습니다.

 

 

2. FFN이란? (Feed Forward Network란?)

- FFN은 Dense Layer의 확된 개념으로, 딥러닝 모델의 핵심적인 구성 요소를 말합니다.

- 즉

 * Dense Layer가 여러 개 연결된 구조이며

 * 입력이 한 방향으로 흐르며 순차적으로 처리되고

 * 특히, Transformer 모델에서 FFN이 주요한 역할을 합니다.

 

- FFN은 두 개이상의 Dense Layer로 구성된 구조가 일반적이며, 두 개의 Dense Layer로 구성된 예시를  식으로 표현하면 아래와 같습니다.

 

 

 

Dense Layer와 FFN의 관계를 정리해보면 아래 표와 같습니다.