Differences

This shows you the differences between two versions of the page.

--- data:analysis:attention [2024/07/04 05:20] – created prgram
+++ data:analysis:attention [2025/07/07 14:12] (current) – external edit 127.0.0.1
@@ Line 1: / Line 1: @@
 ====== Attention ======
+셀프어텐션은 입력 시퀀스 내의 각 토큰이 ‘자신을 포함한’ 다른 ‘모든 토큰과 상호작용’하며, 상호 간의 관계를 파악하는 메커니즘. 인코더(Encoder)와 디코더(Decoder) 내부의 각 층에서 사용되며, 입력 시퀀스 내의 문맥 정보를 파악하는 데 도움.
+크로스 어텐션은 입력 시퀀스와 목표 시퀀스(예: 인코더에서 디코더로 전달된 시퀀스) 사이의 상호 작용을 파악하는 메커니즘. 트랜스포머의 디코더 층에서 사용. 인코더에서 전달된 정보에다가 디코더의 현재 상태를 조합하여 문맥 정보를 파악하고 예측을 수행. 즉, 인코더가 처리한 입력 시퀀스를, 디코더가 처리하고 있는 다른 시퀀스와의 관련성을 찾기 위해 사용. 이로써 더 나은 ‘출력을 생성’할 수 있음.
+요약하면, 셀프 어텐션은 동일한 시퀀스 안에서의 토큰 간의 관계를 파악하는 데 사용되며, 크로스 어텐
+션은 서로 다른 시퀀스(예: 인코더와 디코더의 시퀀스) 간의 관계를 파악하는 데 사용
+[20230331_Everything Everywhere All at Once AI가 불러온 신산업 혁명_미래에셋증권]