한양과기고 에듀테크 수업도구 대시보드

섀넌 정보 엔트로피 — 놀라움을 비트로 재기

뉴스가 "내일도 해가 뜬다"면 아무도 놀라지 않는다. 정보가 없기 때문이다. 반대로 결과를 예측할 수 없을수록 그 소식은 더 많은 정보를 담는다. 1948년 클로드 섀넌은 이 "놀라움의 평균량"을 비트(bit) 단위로 정확히 재는 공식을 만들었다 — 바로 정보 엔트로피다. 압축의 이론적 한계, 비밀번호 강도, 결정 트리의 정보 이득까지 전부 이 하나의 공식에서 출발한다.

1. 동전 하나로 느끼는 엔트로피

앞면 확률 p p=0.50, H(p)=1.000 bit

2. 텍스트로 계산해보기

–

엔트로피 H (bit/글자)

–

균등분포였다면 log₂k

–

이론적 최소 전체 비트

섀넌의 원천 부호화 정리(Source Coding Theorem): 어떤 무손실 압축도 평균적으로 H bit/글자 아래로는 줄일 수 없다. 허프만 코딩은 실제로 이 한계에 가장 가깝게 다가가는 실용적 알고리즘이다.

3. 스무고개로 이해하는 엔트로피

네 글자 A, B, C, D가 각각 확률 1/2, 1/4, 1/8, 1/8로 나온다고 하자. "예/아니오" 질문만으로 어떤 글자인지 맞히는 가장 효율적인 전략은 아래 트리처럼 자주 나오는 글자부터 먼저 물어보는 것이다. 이때 평균 질문 수가 정확히 엔트로피 H = 1.75 bit와 같아진다.

4. 공식 (의사코드)

# 1. 각 글자 g가 나올 확률 p(g) 계산 p = { g: count[g] / total for g in count } # 2. 각 글자의 "놀라움" = -log2(p(g)) (확률이 낮을수록 값이 커짐) surprise = { g: -log2(p[g]) for g in p } # 3. 엔트로피 = 놀라움의 확률 가중 평균 H = sum(p[g] * surprise[g] for g in p) # bit/글자

5. 어디에 쓰일까?

압축의 이론적 한계

ZIP, PNG, MP3 같은 무손실 압축이 얼마나 더 줄일 수 있는지의 하한선이 바로 엔트로피다. 데이터가 균등할수록(예측 불가능) 압축 여지가 줄어든다.

비밀번호 강도

"비밀번호 엔트로피 60비트"라는 표현은 공격자가 평균 2⁵⁹번을 시도해야 맞힐 확률이 반반이라는 뜻이다. 문자 종류와 길이가 늘수록 비트 수가 커진다.

결정 트리의 정보 이득

결정 트리는 매 분기마다 엔트로피(불순도)를 가장 많이 줄이는 질문을 고른다. "정보 이득 = 분기 전 엔트로피 − 분기 후 가중 평균 엔트로피"다.

균등 분포일 때 최대

가능한 결과가 k개일 때 엔트로피는 모두가 똑같은 확률(1/k)일 때 최댓값 log₂k를 갖는다. 한쪽으로 쏠릴수록 엔트로피는 줄어든다.

1948년 클로드 섀넌의 논문 "A Mathematical Theory of Communication"에서 처음 정의됨 — 정보이론의 출발점.