data_analysis:statistics_and_machine_learning

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

data_analysis:statistics_and_machine_learning [2024/07/05 05:42] – [LLM] prgramdata_analysis:statistics_and_machine_learning [2025/07/07 14:12] (current) – external edit 127.0.0.1
Line 828: Line 828:
 [[data_analysis:GPT]] [[data_analysis:GPT]]
 - 디코더만 사용 - 디코더만 사용
 +- Large model이면 디코더만 있어도 decoder-only models can internally encode necessary context from prior tokens, reducing the need for an explicit encoder.
 +- Decoder-only models still leverage self-attention (though in a causal form), allowing them to capture dependencies efficiently.
 +- Many tasks that traditionally required encoder-decoder architectures can now be handled end-to-end with a sufficiently large decoder-only model.
 +- With enough training data, a decoder-only model learns latent representations of input text similar to an encoder but in a more flexible, autoregressive way.
  
 === 유사도 Encoder === === 유사도 Encoder ===
-Cross-Encoder:+**Cross-Encoder:**
 1. 구조: 두 문장을 동시에 하나의 인코더에 입력하여 처리합니다[1]. 1. 구조: 두 문장을 동시에 하나의 인코더에 입력하여 처리합니다[1].
 2. 성능: 일반적으로 더 높은 정확도를 보입니다. 문맥을 고려하므로 더 나은 검색 성능을 제공할 수 있습니다[2]. 2. 성능: 일반적으로 더 높은 정확도를 보입니다. 문맥을 고려하므로 더 나은 검색 성능을 제공할 수 있습니다[2].
Line 836: Line 840:
 4. 단점: 계산 비용이 높고 처리 시간이 많이 소요됩니다. 특히 큰 데이터셋에서는 사용하기 어렵습니다[2]. 4. 단점: 계산 비용이 높고 처리 시간이 많이 소요됩니다. 특히 큰 데이터셋에서는 사용하기 어렵습니다[2].
  
-Bi-Encoder:+**Bi-Encoder:**
 1. 구조: 두 문장을 별도의 인코더로 독립적으로 처리합니다[1]. 1. 구조: 두 문장을 별도의 인코더로 독립적으로 처리합니다[1].
 2. 성능: Cross-Encoder보다 정확도가 다소 낮을 수 있지만, 실제 사용에 더 유리합니다[3]. 2. 성능: Cross-Encoder보다 정확도가 다소 낮을 수 있지만, 실제 사용에 더 유리합니다[3].
Line 850: Line 854:
 [4] https://acdongpgm.tistory.com/353 [4] https://acdongpgm.tistory.com/353
 [5] https://velog.io/%40tobigs-nlp/Poly-Encoder [5] https://velog.io/%40tobigs-nlp/Poly-Encoder
 +
 +실제 응용에서는 두 방식을 결합하여 사용하는 경우도 많습니다. 예를 들어, 대규모 검색에서는 Bi-Encoder를 사용하여 초기 검색을 수행한 후, 상위 결과에 대해 Cross-Encoder를 적용하여 더 정확한 순위를 매기는 방식을 사용할 수 있습니다. 이렇게 함으로써 Bi-Encoder의 효율성과 Cross-Encoder의 정확성을 모두 활용할 수 있습니다.
  
  
  • data_analysis/statistics_and_machine_learning.1720158154.txt.gz
  • Last modified: 2025/07/07 14:12
  • (external edit)