Differences
This shows you the differences between two versions of the page.
| data_analysis:statistics_and_machine_learning [2024/07/05 05:48] – [유사도 Encoder] prgram | data_analysis:statistics_and_machine_learning [2025/07/07 14:12] (current) – external edit 127.0.0.1 | ||
|---|---|---|---|
| Line 828: | Line 828: | ||
| [[data_analysis: | [[data_analysis: | ||
| - 디코더만 사용 | - 디코더만 사용 | ||
| + | - Large model이면 디코더만 있어도 decoder-only models can internally encode necessary context from prior tokens, reducing the need for an explicit encoder. | ||
| + | - Decoder-only models still leverage self-attention (though in a causal form), allowing them to capture dependencies efficiently. | ||
| + | - Many tasks that traditionally required encoder-decoder architectures can now be handled end-to-end with a sufficiently large decoder-only model. | ||
| + | - With enough training data, a decoder-only model learns latent representations of input text similar to an encoder but in a more flexible, autoregressive way. | ||
| === 유사도 Encoder === | === 유사도 Encoder === | ||
| Line 850: | Line 854: | ||
| [4] https:// | [4] https:// | ||
| [5] https:// | [5] https:// | ||
| + | |||
| + | 실제 응용에서는 두 방식을 결합하여 사용하는 경우도 많습니다. 예를 들어, 대규모 검색에서는 Bi-Encoder를 사용하여 초기 검색을 수행한 후, 상위 결과에 대해 Cross-Encoder를 적용하여 더 정확한 순위를 매기는 방식을 사용할 수 있습니다. 이렇게 함으로써 Bi-Encoder의 효율성과 Cross-Encoder의 정확성을 모두 활용할 수 있습니다. | ||