수리통계학 통계적 추론 요약

II. 통계적 추론

A. 포인트 추정 포인트 추정 방법 포인트 추정기의 속성 최대 가능성 추정

B. 간격 추정 신뢰 구간 가설 테스트 유의 수준 및 p-값

C. 베이지안 추론 베이지안 정리 및 사후 분포 사전 분포 및 사후 추론 베이지안 모델 선택

D. 적합도 테스트 카이제곱 검정 콜모고로프-스미르노프 테스트 내용을 요약하면 다음과 같다.

 

통계적 추론

 

A. 포인트 추정

1. 포인트 추정 방법: 포인트 추정이란 모집단에서 추출된 표본을 이용하여 모집단의 특성치인 모수(parameter)의 값을 추정하는 것을 말합니다. 대표적인 포인트 추정 방법으로는 표본평균, 표본비율 등이 있습니다.
2. 포인트 추정기의 속성: 포인트 추정기의 성질은 불편성, 일치성, 효율성 등이 있습니다. 불편성이란 추정량의 기댓값이 모수와 같은 성질을 말하며, 일치성이란 표본의 크기가 커질수록 추정량이 모수에 근접해진다는 성질을 말합니다. 효율성은 모수를 추정하는 데 가장 효율적인 추정량을 의미합니다.
3. 최대 가능성 추정: 최대 가능성 추정(Maximum Likelihood Estimation, MLE)은 표본을 관측한 후에 모수의 값을 찾는 데 사용되는 방법 중 하나입니다. MLE는 주어진 표본에서 얻을 수 있는 가능도(likelihood)를 최대로 하는 모수를 찾아내는 방법입니다. 가능도는 주어진 표본에서 모수가 얼마나 잘 맞는지를 나타내는 확률밀도함수입니다.

B. 간격 추정

1. 신뢰 구간: 신뢰 구간(Confidence Interval, CI)은 모수가 포함될 가능성이 높은 구간으로, 표본에서 계산된 통계량을 중심으로 하나의 구간을 만들어서 모수를 추정하는 방법입니다. 신뢰 수준(confidence level)은 신뢰 구간이 모수를 포함할 확률로, 일반적으로 95% 또는 99%를 사용합니다.
2. 가설 테스트: 가설 테스트(Hypothesis Testing)는 모집단의 특성을 추론하기 위한 방법 중 하나입니다. 가설이란 모집단에 대한 어떤 주장을 의미하며, 가설 테스트는 표본을 이용하여 가설이 맞는지 틀리는지를 검정하는 방법입니다.

유의 수준 및 p-값: 유의 수준(significance level)은 가설 검정에서 기각 영역(rejection region)을 결정하기 위한 임계값으로, 보통 0.05 또는 0.01을 사용합니다. p-값은 귀무가설(Null Hypothesis)을 가정했을 때, 표본에서 관찰된 결과 이상으로 귀무가설을 기각할 확률을 의미합니다. p-값이 유의 수준보다 작으면 귀무가설을 기각하고, 유의 수준보다 크면 귀무가설을 기각하지 않습니다.

 

 

C. 베이지안 추론

1. 베이지안 정리 및 사후 분포: 베이지안 추론(Bayesian Inference)은 확률론적인 방법으로, 사전 정보(prior)를 바탕으로 데이터를 관측하여 사후 분포(posterior)를 추정하는 방법입니다. 베이지안 정리(Bayes' Theorem)는 사전 분포와 가능도(likelihood)를 곱해서 정규화 상수로 나눈 값을 계산하여 사후 분포를 구하는 공식입니다.
2. 사전 분포 및 사후 추론: 사전 분포는 사전 지식을 바탕으로 모수에 대한 확률분포를 설정하는 것을 말하며, 데이터를 관측한 후에는 사후 분포를 구하게 됩니다. 사후 분포는 데이터를 바탕으로 모수에 대한 확률분포를 업데이트한 것으로, 이를 바탕으로 모수에 대한 추론을 수행할 수 있습니다.
3. 베이지안 모델 선택: 베이지안 모델 선택(Bayesian Model Selection)은 여러 개의 모델 중에서 어떤 모델이 데이터에 가장 적합한지를 결정하는 방법입니다. 베이지안 모델 선택은 사후 확률을 이용하여 모델의 성능을 비교하고, 모델 복잡도와 데이터의 적합도를 고려하여 최적의 모델을 선택합니다.

 

D. 적합도 테스트

 

1. 카이제곱 검정: 카이제곱 검정(Chi-Square Test)은 범주형 데이터에 대한 가설 검정 방법 중 하나입니다. 카이제곱 검정은 표본에서 관찰된 빈도와 모집단에서 기대되는 빈도의 차이를 이용하여 가설을 검정합니다. 카이제곱 검정은 독립성 검정과 적합도 검정으로 나뉘며, 각각 범주형 변수 간의 독립성 검정과 모집단 분포에 대한 적합도 검정을 수행합니다.
2. 콜모고로프-스미르노프(Kolmogorov-Smirnov Test): 콜모고로프-스미르노프 테스트(Kolmogorov-Smirnov Test)는 두 개의 분포를 비교하는 비모수적인 방법 중 하나입니다. 콜모고로프-스미르노프 테스트는 누적 분포 함수(CDF)의 차이를 이용하여 두 분포가 같은지 검정합니다. CDF는 확률 변수가 특정 값보다 작거나 같을 확률을 나타내는 함수로, 콜모고로프-스미르노프 테스트는 이를 이용하여 두 분포를 비교합니다. 콜모고로프-스미르노프 테스트는 샘플 크기가 작은 경우에도 적용이 가능하며, 다양한 분포에 대해서도 적용이 가능합니다.      

 

콜모고로프-스미르노프 테스트의 검정 통계량은 두 분포 간의 최대 차이(maximum difference)를 계산합니다. 이 최대 차이가 충분히 작다면 두 분포가 같은 것으로 간주하며, 이를 기각할 경우에는 두 분포가 다른 것으로 간주합니다. 이때, 유의 수준을 지정하여 검정을 수행할 수 있습니다.

콜모고로프-스미르노프 테스트는 일반적으로 두 분포가 정규 분포를 따르는지 검정하는 데에 많이 사용됩니다. 이 때, 표본 크기가 크고, 분포의 모양이 대략적으로 알려져 있을 때 가장 정확한 결과를 얻을 수 있습니다. 또한, 비모수적인 방법이기 때문에 분포의 모양에 대한 가정을 하지 않아도 되므로, 다양한 분포에 대해서도 적용이 가능합니다.

 

하지만, 콜모고로프-스미르노프 테스트는 모든 분포에 대해서 적용이 가능하다는 장점이 있지만, 표본 크기가 작을 때는 검정력이 낮아지는 단점이 있습니다. 따라서, 표본 크기가 작을 때는 다른 방법을 고려해야 할 수도 있습니다.