Differences

This shows you the differences between two versions of the page.

--- data_analysis:shrinkage_methods [2020/04/09 06:35] – [cons] prgram
+++ data_analysis:shrinkage_methods [2025/07/07 14:12] (current) – external edit 127.0.0.1
@@ Line 1: / Line 1: @@
 ====== shrinkage methods ======
+[[blog:easy_lasso_logistic_regression]]
 [[https://www.stat.cmu.edu/~ryantibs/papers/bestsubset.pdf|best subset vs LASSO]]
+<<ELS>>
+subset selection
+  * discrete process : variables are either ratained or discarded
+  * often exhibits high variance, and so doesn't reduce the prediction error of the full model
+Shrinkage methods are more continuous, and don't suffer as much from high variability
 constrains or regularize
@@ Line 11: / Line 19: @@
 Again speaking roughly, unbiasedness는 수많은 parameters를 추정해야 하는 때에는 unaffordable luxury가 될 수 있음
 ~James-Stein Estimator
 =====6.2.1 Ridge Regression =====
+<<CASI>>
+Ridge regression
+standardize -> $ \beta_i $ comparable scales.
+$ \hat{\beta}(\lambda) = ( S + \lambda I)^{-1} X' y = ( S + \lambda I)^{-1} S \hat{\beta} $, $ S = X'X, \hat{\beta} = S^{-1} X' y $ (*)
+penaliazed least squares; penalized likelihood; maximized a-posteriori probability(MAP); regularization
+<<ESL>>
+(*) => linear function of y
+The solution adds a positive constant to the diagonal of $ X^TX $ before inversion.
+=> X'X가 full rank 아니라도 problem을 nonsingular 로 만들어줌.
 shrinkage panelty는 절편 $ \beta_0 $ 에는 적용X - 수축하고자 하는 것은 반응변수에 대한 각 변수의 추정된 연관성이지, $ x_{ij} = 0 $ 일 때 단순히 평균 반응변수 값의 측또인 절편을 수축하고자 하는 것은 아님. X의 열들을 평균이 0이 되도록 중심화하면 추정된 절편은 $ \hat{\beta_0} = \bar{y} = \sum y_i/n $의 형태가 된 것.
@@ Line 28: / Line 46: @@
 p개 설명변수 모두를 포함함.
-<<CASI>>
-Ridge regression
-standardize -> $ \beta_i $ comparable scales.
-$ \hat{\beta}(\lambda) = ( S + \lambda I)^{-1} X' y = ( S + \lambda I)^{-1} S \hat{\beta} $, $ S = X'X, \hat{\beta} = S^{-1} X' y $ (*)
-penaliazed least squares; penalized likelihood; maximized a-posteriori probability(MAP); regularization
 ====Bayesian rationale====
@@ Line 39: / Line 51: @@
 $ \hat{\beta} \sim N_p(\beta, \sigma^2S^{-1} ) $
 bayesian prior $ \beta \sim N_p (0, {\sigma^2\over\lambda}I) $ makes $ E\{\beta|\hat{\beta}\} = (S+\lambda I)^{-1}S\hat{\beta} $
-<<ESL>>
-(*) => linear function of y
-The solution adds a positive constant to the diagonal of $ X^TX $ before inversion.
-=> X'X가 full rank 아니라도 problem을 nonsingular 로 만들어줌.
@@ Line 66: / Line 73: @@
 정확히 0이됨. - sparse model(변수의 일부만 포함하는 모델)  - 해석하기 쉬움
-best subset 문제 : minimize $ { \sum ( y_i - \beta_0 - \sum \beta_j x_{ij} )^2 } s.t. \sum I(\beta_j \neq 0 ) \leq s $ s개의 계수만이 0이 아닌 값이 될 수 있다는 제한조건.
+====best subset 문제====
+minimize $ { \sum ( y_i - \beta_0 - \sum \beta_j x_{ij} )^2 } s.t. \sum I(\beta_j \neq 0 ) \leq s $ s개의 계수만이 0이 아닌 값이 될 수 있다는 제한조건.
 ridge : s.t. $ \sum \beta_j^2 \leq s $
 lasso : s.t. $ \sum |\beta_j| \leq s $
-( $ \lambda $ 에 대해 s가 존재 )
+( $ \lambda $ 에 대해 s가 존재, 1-1 correspondence )
 => ridge와 lasso 는 best subset의 풀기 힘든 문제를, 풀기 쉬운 문제로 대체한 계산 가능한 대안.
-{{:data_analysis:pasted:20200403-221625.png?300}}
+{{:data_analysis:pasted:20200409-171304.png}}
-https://godongyoung.github.io/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D/2018/02/07/ISL-Linear-Model-Selection-and-Regularization_ch6.html
+그림 출처 : ESL
+{{:data_analysis:pasted:20200403-221625.png?500}}
+[[https://godongyoung.github.io/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D/2018/02/07/ISL-Linear-Model-Selection-and-Regularization_ch6.html|그림출처]]
 변수가 2개일 때. 오차의 등고선(동일한 RSS)과 constraint function. $ \hat{\beta} $는 LSE.
 일반적으로 lasso는 비교적 적은 수의 설명변수가 상당히 큰 계수를 가지고 나머지 변수들은 계수가 아주 작거나 0일 설정에서 성능이 더 나을 것이라 기대할 수 있음
@@ Line 91: / Line 103: @@
 Cross Validation
+※ elestic net penalty
+$ \lambda \sum (\alpha \beta_j^2 + (1-\alpha)|\beta_j|) $