물어봐
BETA
공통수학 1 확률 심화 탐구 주제 추천해줘
IT 지식이 풍부한 고양이 ‘요고’가 답변해 드려요.
확률과 통계를 심화해서 탐구하는 주제로는 "지식 증류 기법"이 있습니다. 이 방법은 작은 모델의 로짓이 큰 모델의 로짓과 유사하도록 만드는 방식으로, 확률 분포를 복사하는 대신에 사용됩니다. T가 높은 설정이라면, 이 방법은 수학적으로 ‘표준적인 증류’의 경우와 비슷해질 수 있습니다. 이 방법은 교사 모델에서 학생 모델로 어떤 지식이 전달되는지에 따라 다양한 방식으로 적용할 수 있습니다. 이에 대한 자세한 내용은 'Knowledge Distillation: A Survey'라는 논문에서 확인할 수 있습니다.
