9차시: 통신 채널의 한계 - 샤논 법칙과 채널 용량¶
학습 목표¶
- 엔트로피, 정보량, 채널 용량의 개념을 이해하고 샤논 법칙(C = B log₂(1 + S/N))을 해석할 수 있다
- 신호대잡음비(SNR)와 대역폭의 트레이드오프를 분석하고 채널 용량 계산 문제를 풀 수 있다
- 무손실 부호화와 손실 부호화의 차이를 설명하고 허프만 부호 등 기본 부호화를 적용할 수 있다
🧠 핵심 개념 1: 샤논 법칙과 채널 용량¶
대역폭과 SNR이 결정하는 통신의 물리적 한계
🧠 핵심 개념 2: 정보 부호화¶
엔트로피 기반의 무손실·손실 부호화 원리
🔧 실습 활동¶
채널 용량 계산과 허프만 부호 구성
📝 형성 평가¶
기출 유사 문제로 개념 점검
⏱️ 수업 흐름¶
1단계: 도입 — 통신 채널의 한계란 무엇인가 (5분)¶
일상 비유를 통해 "통신 채널에 최대 전송량이 왜 존재하는가"에 대한 직관을 형성합니다.
2단계: 핵심 개념 1 — 정보량, 엔트로피, 샤논 법칙 (18분)¶
정보량과 엔트로피의 정의를 학습한 뒤, 샤논 법칙의 구조를 수식과 함께 분석합니다. SNR과 대역폭의 트레이드오프를 이해합니다.
3단계: 핵심 개념 2 — 정보 부호화 (12분)¶
무손실 부호화(허프만 부호)와 손실 부호화의 원리를 학습하고, 부호화 효율 개념을 이해합니다.
4단계: 실습 — 계산 문제 풀이 (10분)¶
채널 용량 계산, 허프만 부호 구성 등 기출 유사 문제를 직접 풀어봅니다.
5단계: 평가 및 성찰 (5분)¶
형성 평가 문제를 풀고 자기점검 체크리스트로 학습 달성도를 확인합니다.
🔍 왜 이걸 배우나요?¶
여러분이 Wi-Fi로 영상을 스트리밍할 때, 화질을 올리면 버퍼링이 걸리는 경험을 한 적이 있을 것입니다. 이것은 단순히 "인터넷이 느려서"가 아닙니다. 모든 통신 채널에는 물리적으로 전송할 수 있는 정보량의 상한선이 존재합니다.
1948년, 클로드 샤논(Claude Shannon)은 이 상한선을 수학적으로 정의했습니다. 이 이론은 현재까지 Wi-Fi, LTE, 5G 등 모든 무선통신 시스템의 설계 기준으로 사용됩니다. 공공기관 통신이론 시험에서도 샤논 법칙과 채널 용량 계산은 핵심 출제 영역입니다.
이번 차시에서는 "주어진 채널에서 오류 없이 보낼 수 있는 최대 정보량은 얼마인가?"라는 질문에 답하는 방법을 학습하겠습니다.
📚 핵심 개념 1: 정보량, 엔트로피, 샤논 법칙¶
🔸 1-1. 정보량이란 무엇입니까?¶
비유로 시작하기¶
동전을 던져서 "앞면"이 나왔다고 알려주는 것과, 주사위를 던져서 "3이 나왔다"고 알려주는 것 중 어느 쪽이 더 많은 정보를 전달하는 것일까요?
직관적으로 예측하기 어려운 결과일수록 더 많은 정보를 담고 있습니다. 동전은 2가지 경우 중 하나이므로 비교적 예측이 쉽고, 주사위는 6가지 경우 중 하나이므로 더 불확실합니다. 정보이론에서는 이 "불확실성의 크기"를 수학적으로 정량화합니다.
정의¶
어떤 사건이 발생할 확률이 P(x)일 때, 그 사건이 전달하는 정보량(Information Content) I(x)는 다음과 같습니다.
$$I(x) = \log_2 \frac{1}{P(x)} = -\log_2 P(x) \quad \text{[단위: bit]}$$
| 사건 | 확률 P(x) | 정보량 I(x) | 해석 |
|---|---|---|---|
| 동전 앞면 | 1/2 | 1 bit | 2가지 중 1가지 확정 |
| 주사위 3 | 1/6 | 약 2.585 bit | 6가지 중 1가지 확정 |
| 확실한 사건 | 1 | 0 bit | 이미 알고 있으므로 정보 없음 |
| 거의 불가능한 사건 | 1/1024 | 10 bit | 매우 높은 정보량 |
핵심 원리는 명확합니다. 확률이 낮을수록 정보량이 크고, 확률이 1이면 정보량은 0입니다.
🔸 1-2. 엔트로피 — 정보원의 평균 정보량¶
비유로 이해하기¶
서울의 날씨 예보를 생각하겠습니다. 만약 서울이 365일 맑기만 한 도시라면, "내일 맑음"이라는 예보에는 정보가 거의 없습니다. 반면 날씨가 수시로 바뀌는 도시라면, 매일의 예보에는 높은 정보가 담기게 됩니다. 엔트로피(Entropy) 는 정보원(소스)이 평균적으로 얼마나 많은 정보를 생성하는지를 나타내는 지표입니다.
정의¶
정보원이 n개의 심볼 {x₁, x₂, ..., xₙ}을 각각 확률 P(xᵢ)로 출력할 때, 엔트로피 H는 다음과 같습니다.
$$H = -\sum_{i=1}^{n} P(x_i) \log_2 P(x_i) \quad \text{[단위: bit/심볼]}$$
엔트로피의 핵심 성질¶
| 성질 | 설명 | 예시 |
|---|---|---|
| 최대 엔트로피 | 모든 심볼의 확률이 같을 때(균등 분포) | 공정한 동전: H = 1 bit |
| 최소 엔트로피 | 하나의 심볼만 나올 때(확정적) | H = 0 bit |
| 항상 양수 | H ≥ 0 | 확률은 0~1 사이 |
| 상한값 | n개 심볼이면 H ≤ log₂n | 4개 심볼 → H ≤ 2 bit |
계산 예제¶
4개의 심볼 {A, B, C, D}가 각각 확률 1/2, 1/4, 1/8, 1/8로 발생한다고 가정하겠습니다.
$$H = -\left(\frac{1}{2}\log_2\frac{1}{2} + \frac{1}{4}\log_2\frac{1}{4} + \frac{1}{8}\log_2\frac{1}{8} + \frac{1}{8}\log_2\frac{1}{8}\right)$$
$$H = -\left(\frac{1}{2} \times (-1) + \frac{1}{4} \times (-2) + \frac{1}{8} \times (-3) + \frac{1}{8} \times (-3)\right)$$
$$H = \frac{1}{2} + \frac{1}{2} + \frac{3}{8} + \frac{3}{8} = 1.75 \text{ bit/심볼}$$
만약 4개 심볼이 모두 균등 확률(1/4)이었다면 H = 2 bit/심볼이 됩니다. 위 예제에서는 A의 확률이 높아 불확실성이 줄어든 만큼 엔트로피가 2보다 작은 1.75가 된 것입니다.
🔸 1-3. 채널 용량과 샤논 법칙¶
이제 이번 차시의 핵심입니다. 정보를 통신 채널로 보낼 때, 채널에는 항상 잡음(Noise) 이 존재합니다.
비유로 이해하기¶
시끄러운 카페에서 친구와 대화하는 상황을 떠올리겠습니다. 여러분이 전달할 수 있는 정보의 양은 두 가지에 의해 결정됩니다.
- 목소리의 주파수 범위(대역폭): 속삭이듯 단조로운 톤보다 다양한 높낮이를 사용하면 더 많은 내용을 전달할 수 있습니다.
- 목소리 크기 대 소음 크기의 비율(SNR): 카페 소음이 클수록, 그리고 여러분의 목소리가 작을수록 전달 가능한 정보는 줄어듭니다.
샤논 법칙은 이 두 요소가 채널의 최대 정보 전송 능력을 어떻게 결정하는지를 수학적으로 표현합니다.
샤논 법칙 (Shannon's Channel Capacity Theorem)¶
$$\boxed{C = B \log_2(1 + S/N) \quad \text{[단위: bps]}}$$
| 기호 | 의미 | 단위 |
|---|---|---|
| C | 채널 용량 (최대 전송률) | bps (bits per second) |
| B | 채널 대역폭 | Hz |
| S/N | 신호대잡음비 (Signal-to-Noise Ratio) | 무차원 (비율) |
여기서 S/N은 선형 비율입니다. dB 단위로 주어진 경우 반드시 선형 비율로 변환해야 합니다.
dB와 선형 비율의 변환¶
시험 문제에서 SNR이 dB로 주어지는 경우가 많으므로, 변환 공식을 반드시 숙지해야 합니다.
$$SNR_{dB} = 10 \log_{10}\left(\frac{S}{N}\right)$$
$$\frac{S}{N} = 10^{SNR_{dB}/10}$$
| SNR (dB) | S/N (선형 비율) | 의미 |
|---|---|---|
| 0 dB | 1 | 신호 = 잡음 |
| 10 dB | 10 | 신호가 잡음의 10배 |
| 20 dB | 100 | 신호가 잡음의 100배 |
| 30 dB | 1,000 | 신호가 잡음의 1,000배 |
샤논 법칙의 핵심 해석¶
다음 다이어그램은 샤논 법칙에서 채널 용량을 결정하는 요소의 관계를 보여줍니다.
세 가지 핵심 해석을 정리하겠습니다.
① C는 이론적 상한입니다 샤논 법칙이 제시하는 C는 "오류 확률을 0에 가깝게 만들 수 있는 최대 전송률"입니다. 실제 시스템은 이 값에 도달할 수는 있지만 초과할 수는 없습니다. 적절한 부호화 기법을 사용하면 C에 접근할 수 있다는 것이 샤논의 핵심 주장입니다.
② 대역폭 B와 C는 비례합니다 대역폭을 2배로 늘리면 채널 용량도 2배가 됩니다. 이것은 "도로 차선을 넓히면 더 많은 차가 지나갈 수 있다"는 것과 같은 원리입니다.
③ SNR과 C는 로그 관계입니다 SNR을 2배로 올린다고 C가 2배가 되지는 않습니다. 로그 함수의 특성상, SNR을 높이는 것의 효과는 점점 줄어듭니다. 이것이 바로 대역폭과 SNR 사이의 트레이드오프(Trade-off) 입니다.
🔸 1-4. 대역폭과 SNR의 트레이드오프¶
같은 채널 용량 C를 달성하는 방법은 두 가지입니다.
| 전략 | 방법 | 장점 | 단점 |
|---|---|---|---|
| 넓은 대역폭 | B를 크게, SNR은 낮아도 됨 | 송신 전력 절약 | 주파수 자원 많이 필요 |
| 높은 SNR | SNR을 크게, B는 좁아도 됨 | 주파수 자원 절약 | 높은 송신 전력 필요 |
실제 통신 시스템에서는 이 두 전략의 균형점을 찾아 설계합니다. 예를 들어, 확산 대역(Spread Spectrum) 방식은 넓은 대역폭을 사용하는 대신 낮은 SNR에서도 동작할 수 있도록 설계된 것입니다.
🔸 1-5. 나이퀴스트 정리와 샤논 법칙의 비교¶
8차시에서 다룬 나이퀴스트 정리(무잡음 채널)와 이번 차시의 샤논 법칙(잡음 채널)을 비교하겠습니다.
| 구분 | 나이퀴스트 정리 | 샤논 법칙 |
|---|---|---|
| 채널 조건 | 무잡음(이상적) | 잡음 있음(현실적) |
| 수식 | C = 2B log₂M | C = B log₂(1 + S/N) |
| 결정 요소 | 대역폭(B), 신호 레벨 수(M) | 대역폭(B), SNR(S/N) |
| 의미 | ISI 없는 최대 심볼율 | 오류 없는 최대 비트율 |
| 적용 | 유선 채널, 이상 조건 | 모든 채널(범용) |
시험에서 두 공식을 혼동하는 경우가 많습니다. 나이퀴스트는 "잡음이 없을 때의 한계", 샤논은 "잡음이 있을 때의 한계" 라고 구분하면 명확합니다.
🔸 1-6. 채널 용량 계산 연습¶
예제 1: 기본 계산
대역폭 B = 4,000 Hz, SNR = 30 dB인 전화선의 채널 용량은 얼마입니까?
풀이:
1단계: dB를 선형 비율로 변환합니다. $$\frac{S}{N} = 10^{30/10} = 10^3 = 1,000$$
2단계: 샤논 법칙에 대입합니다. $$C = 4{,}000 \times \log_2(1 + 1{,}000) = 4{,}000 \times \log_2(1{,}001)$$
3단계: log₂(1,001)을 계산합니다. $$\log_2(1{,}001) = \frac{\log_{10}(1{,}001)}{\log_{10}(2)} \approx \frac{3.0004}{0.3010} \approx 9.97$$
$$C \approx 4{,}000 \times 9.97 \approx 39{,}880 \text{ bps} \approx 39.88 \text{ kbps}$$
이것은 일반 전화선(PSTN)의 이론적 최대 전송률에 해당합니다. 실제 모뎀은 33.6 kbps~56 kbps 수준으로 동작했으며, 샤논 한계에 상당히 근접한 수준이었습니다.
예제 2: 대역폭과 SNR의 트레이드오프
채널 용량 C = 20 kbps를 유지하면서, 대역폭을 4 kHz에서 8 kHz로 2배 늘리면 필요한 SNR은 어떻게 변합니까?
풀이:
먼저 B = 4 kHz일 때 필요한 SNR을 구합니다. $$20{,}000 = 4{,}000 \times \log_2(1 + S/N_1)$$ $$\log_2(1 + S/N_1) = 5$$ $$1 + S/N_1 = 2^5 = 32$$ $$S/N_1 = 31$$
다음으로 B = 8 kHz일 때 필요한 SNR을 구합니다. $$20{,}000 = 8{,}000 \times \log_2(1 + S/N_2)$$ $$\log_2(1 + S/N_2) = 2.5$$ $$1 + S/N_2 = 2^{2.5} \approx 5.66$$ $$S/N_2 \approx 4.66$$
대역폭을 2배로 넓히자, 필요한 SNR이 31에서 4.66으로 크게 줄었습니다. 이것이 대역폭과 SNR의 트레이드오프를 보여주는 구체적인 예시입니다.
📚 핵심 개념 2: 정보 부호화¶
🔸 2-1. 부호화는 왜 필요한가?¶
앞에서 엔트로피가 정보원의 "평균 정보량"이라는 것을 학습했습니다. 부호화(Coding)란, 정보원의 출력을 효율적인 비트 열로 변환하는 과정입니다.
비유로 이해하기¶
택배 상자에 물건을 넣는 상황을 생각하겠습니다. 작은 물건에 큰 상자를 쓰면 공간이 낭비됩니다. 자주 보내는 물건에는 작은 상자를, 드물게 보내는 큰 물건에는 큰 상자를 사용하는 것이 효율적입니다. 부호화도 같은 원리입니다. 자주 나오는 심볼에 짧은 코드를, 드물게 나오는 심볼에 긴 코드를 할당하면 평균 코드 길이를 줄일 수 있습니다.
🔸 2-2. 무손실 부호화와 손실 부호화¶
| 구분 | 무손실 부호화 | 손실 부호화 |
|---|---|---|
| 복원 | 원본 100% 복원 가능 | 원본 근사 복원 (일부 손실) |
| 압축 한계 | 엔트로피 H가 하한 | 엔트로피보다 더 압축 가능 |
| 적용 분야 | 텍스트, 프로그램 파일 | 음성, 영상, 이미지 |
| 대표 기법 | 허프만 부호, LZW | JPEG, MP3, H.264 |
| 핵심 원리 | 통계적 중복 제거 | 인간 인지 한계 활용 |
샤논의 소스 부호화 정리(Source Coding Theorem) 에 따르면, 무손실 부호화에서 심볼당 평균 코드 길이의 하한은 엔트로피 H입니다. 즉, 아무리 효율적인 부호화를 사용하더라도 평균 코드 길이를 엔트로피보다 줄일 수는 없습니다.
🔸 2-3. 허프만 부호 (Huffman Code)¶
허프만 부호는 무손실 부호화의 대표적인 방법으로, 최적의 가변 길이 부호(Variable-Length Code) 를 생성합니다.
허프만 부호 구성 절차¶
앞의 엔트로피 예제에서 사용한 심볼 {A, B, C, D}를 다시 사용하겠습니다.
| 심볼 | 확률 |
|---|---|
| A | 1/2 = 0.5 |
| B | 1/4 = 0.25 |
| C | 1/8 = 0.125 |
| D | 1/8 = 0.125 |
구성 단계:
1단계: 모든 심볼을 확률 순서로 나열합니다.
2단계: 확률이 가장 작은 두 심볼을 합칩니다. - C(0.125)와 D(0.125) → 합산 노드 CD(0.25)
3단계: 다시 가장 작은 두 노드를 합칩니다. - B(0.25)와 CD(0.25) → 합산 노드 BCD(0.5)
4단계: 남은 두 노드를 합칩니다. - A(0.5)와 BCD(0.5) → 루트 노드(1.0)
5단계: 트리의 각 분기에 0과 1을 할당합니다.
다음은 허프만 트리의 구성 과정을 보여주는 다이어그램입니다.
허프만 부호 결과¶
| 심볼 | 확률 | 허프만 부호 | 코드 길이 |
|---|---|---|---|
| A | 0.5 | 0 | 1 bit |
| B | 0.25 | 10 | 2 bit |
| C | 0.125 | 110 | 3 bit |
| D | 0.125 | 111 | 3 bit |
평균 코드 길이 계산¶
$$\bar{L} = \sum P(x_i) \times l_i = 0.5 \times 1 + 0.25 \times 2 + 0.125 \times 3 + 0.125 \times 3$$
$$\bar{L} = 0.5 + 0.5 + 0.375 + 0.375 = 1.75 \text{ bit/심볼}$$
이 값은 앞에서 계산한 엔트로피 H = 1.75 bit/심볼과 정확히 일치합니다. 이 경우 허프만 부호가 이론적 최적에 도달한 것입니다.
만약 균등 길이 부호(Fixed-Length Code)를 사용했다면, 4개 심볼에 각각 2 bit씩 할당하여 평균 2 bit/심볼이 됩니다. 허프만 부호는 이보다 0.25 bit/심볼을 절약한 것입니다.
부호화 효율¶
부호화 효율(Coding Efficiency)은 엔트로피와 평균 코드 길이의 비율로 정의됩니다.
$$\eta = \frac{H}{\bar{L}} \times 100\%$$
위 예제에서는 η = (1.75 / 1.75) × 100% = 100% 입니다.
일반적으로 허프만 부호의 효율은 100%에 근접하지만, 심볼 확률이 2의 거듭제곱이 아닌 경우에는 100% 미만이 됩니다.
🔸 2-4. 허프만 부호의 특성: 순시 복호 가능 부호¶
허프만 부호에는 중요한 특성이 하나 있습니다. 바로 순시 복호 가능(Instantaneously Decodable) 하다는 것입니다. 이것은 접두어 조건(Prefix Condition) 을 만족하기 때문입니다.
접두어 조건이란? 어떤 심볼의 코드도 다른 심볼 코드의 접두어(앞부분)가 되지 않는 조건입니다.
위 예제에서 확인하겠습니다. - A의 코드 "0"은 B의 "10", C의 "110", D의 "111"의 접두어가 아닙니다. - B의 코드 "10"은 다른 코드의 접두어가 아닙니다.
따라서 비트열 "010110111"을 받으면 앞에서부터 순서대로 "0|10|110|111" → A B C D로 즉시 해석할 수 있습니다. 구분 기호나 대기 없이 실시간으로 복호가 가능한 것입니다.
⚠️ 자주 하는 실수와 주의할 점¶
실수 1: dB 단위를 그대로 대입¶
잘못된 풀이: SNR = 20 dB일 때, C = B × log₂(1 + 20) ← ❌
올바른 풀이: SNR = 20 dB → S/N = 10^(20/10) = 100 → C = B × log₂(1 + 100) ← ✅
dB는 로그 스케일 단위입니다. 샤논 법칙에는 반드시 선형 비율로 변환하여 대입해야 합니다.
실수 2: 나이퀴스트 공식과 샤논 공식 혼동¶
| 상황 | 사용할 공식 |
|---|---|
| "무잡음 채널", "M진 신호 레벨" | 나이퀴스트: C = 2B log₂M |
| "SNR이 주어진 채널", "잡음 채널" | 샤논: C = B log₂(1 + S/N) |
문제에서 SNR이 주어지면 샤논, 신호 레벨 수가 주어지면 나이퀴스트를 사용한다고 기억하면 됩니다.
실수 3: 허프만 부호 구성 시 합산 노드 위치 오류¶
두 노드를 합산한 후, 합산 노드를 다시 확률 크기 순서대로 정렬해야 합니다. 합산 노드를 항상 아래에 두거나 위에 두는 것은 잘못된 방법입니다.
실수 4: log₂ 계산 실수¶
시험에서 자주 사용되는 log₂ 값을 정리합니다.
| log₂ 값 | 결과 | 기억법 |
|---|---|---|
| log₂1 | 0 | 2⁰ = 1 |
| log₂2 | 1 | 2¹ = 2 |
| log₂4 | 2 | 2² = 4 |
| log₂8 | 3 | 2³ = 8 |
| log₂16 | 4 | 2⁴ = 16 |
| log₂32 | 5 | 2⁵ = 32 |
| log₂64 | 6 | 2⁶ = 64 |
| log₂1024 | 10 | 2¹⁰ = 1024 |
| log₂3 | 약 1.585 | 자주 출제 |
log₁₀2 ≈ 0.3010 도 함께 기억하면, 밑 변환 공식 log₂X = log₁₀X / 0.3010으로 다양한 계산이 가능합니다.
🔧 실습 활동: 계산 문제 풀이¶
실습 1: 채널 용량 계산¶
문제: 대역폭이 1 MHz이고 SNR이 15 dB인 무선 채널의 채널 용량을 구하십시오.
직접 풀어본 후 아래 풀이를 확인하겠습니다.
풀이 확인
**1단계: dB → 선형 비율 변환** $$\frac{S}{N} = 10^{15/10} = 10^{1.5} \approx 31.62$$ **2단계: 샤논 법칙 적용** $$C = 1 \times 10^6 \times \log_2(1 + 31.62) = 10^6 \times \log_2(32.62)$$ **3단계: log₂ 계산** $$\log_2(32.62) \approx \log_2(32) + \frac{0.62}{32 \times \ln 2} \approx 5 + 0.027 \approx 5.03$$ (시험에서는 log₂(32) = 5로 근사해도 충분합니다.) $$C \approx 10^6 \times 5.03 \approx 5.03 \text{ Mbps}$$ **답: 약 5 Mbps**실습 2: 허프만 부호 구성¶
문제: 정보원이 5개의 심볼을 다음 확률로 출력합니다. 허프만 부호를 구성하고, 평균 코드 길이와 부호화 효율을 구하십시오.
| 심볼 | 확률 |
|---|---|
| S₁ | 0.4 |
| S₂ | 0.2 |
| S₃ | 0.2 |
| S₄ | 0.1 |
| S₅ | 0.1 |
풀이 확인
**허프만 트리 구성 과정:** 1. 가장 작은 확률 두 개를 합산: S₄(0.1) + S₅(0.1) = S₄₅(0.2) 2. 현재: S₁(0.4), S₂(0.2), S₃(0.2), S₄₅(0.2) 3. 가장 작은 두 개 합산: S₃(0.2) + S₄₅(0.2) = S₃₄₅(0.4) 4. 현재: S₁(0.4), S₂(0.2), S₃₄₅(0.4) 5. 가장 작은 두 개 합산: S₂(0.2) + S₃₄₅(0.4) = S₂₃₄₅(0.6) (또는 S₂(0.2) + S₁(0.4) 중 선택 — 합산 결과를 정렬하여 진행) 6. 남은 두 개 합산: S₁(0.4) + S₂₃₄₅(0.6) = 루트(1.0) **결과 코드 (한 가지 가능한 할당):** | 심볼 | 확률 | 허프만 부호 | 코드 길이 | |------|------|------------|----------| | S₁ | 0.4 | 0 | 1 | | S₂ | 0.2 | 10 | 2 | | S₃ | 0.2 | 110 | 3 | | S₄ | 0.1 | 1110 | 4 | | S₅ | 0.1 | 1111 | 4 | **평균 코드 길이:** $$\bar{L} = 0.4 \times 1 + 0.2 \times 2 + 0.2 \times 3 + 0.1 \times 4 + 0.1 \times 4$$ $$= 0.4 + 0.4 + 0.6 + 0.4 + 0.4 = 2.2 \text{ bit/심볼}$$ **엔트로피:** $$H = -(0.4\log_2 0.4 + 0.2\log_2 0.2 + 0.2\log_2 0.2 + 0.1\log_2 0.1 + 0.1\log_2 0.1)$$ $$= -(0.4 \times (-1.322) + 0.2 \times (-2.322) + 0.2 \times (-2.322) + 0.1 \times (-3.322) + 0.1 \times (-3.322))$$ $$= 0.529 + 0.464 + 0.464 + 0.332 + 0.332 = 2.122 \text{ bit/심볼}$$ **부호화 효율:** $$\eta = \frac{H}{\bar{L}} = \frac{2.122}{2.2} \approx 96.4\%$$ 엔트로피(2.122)보다 평균 코드 길이(2.2)가 약간 크므로 100%에는 미치지 못하지만, 96.4%로 상당히 높은 효율을 보입니다.실습 3: 나이퀴스트와 샤논의 조합 문제¶
문제: 대역폭 4 kHz인 잡음 채널에서 SNR = 30 dB입니다. 이 채널에서 나이퀴스트 정리와 샤논 법칙이 모두 만족되려면, 최소 몇 레벨의 신호를 사용해야 합니까?
풀이 확인
**1단계: 샤논 법칙으로 채널 용량 계산** $$\frac{S}{N} = 10^{30/10} = 1{,}000$$ $$C = 4{,}000 \times \log_2(1{,}001) \approx 4{,}000 \times 9.97 \approx 39{,}880 \text{ bps}$$ **2단계: 나이퀴스트 정리 적용** $$C = 2B \log_2 M$$ $$39{,}880 = 2 \times 4{,}000 \times \log_2 M$$ $$\log_2 M = \frac{39{,}880}{8{,}000} \approx 4.985$$ $$M = 2^{4.985} \approx 31.7$$ 신호 레벨 수는 정수여야 하므로 **M = 32 레벨** (즉, 심볼당 5 bit)이 필요합니다. 이 문제는 두 공식을 함께 사용하는 유형으로 시험에서 자주 출제됩니다.📌 핵심 정리¶
이번 차시에서 배운 내용을 한눈에 정리하겠습니다.¶
| 핵심 공식 | 내용 | 시험 포인트 |
|---|---|---|
| I(x) = -log₂P(x) | 사건의 정보량 | 확률이 작을수록 정보량 큼 |
| H = -ΣP(xᵢ)log₂P(xᵢ) | 엔트로피 (평균 정보량) | 균등 분포일 때 최대 |
| C = B log₂(1 + S/N) | 샤논 채널 용량 | dB → 선형 변환 필수 |
| η = H / L̄ × 100% | 부호화 효율 | 100%에 가까울수록 효율적 |
| SNR(dB) = 10 log₁₀(S/N) | dB 변환 | 역변환: S/N = 10^(dB/10) |
🌍 실생활 연결: 샤논 법칙이 적용된 통신 시스템¶
| 기술 | 대역폭 | 채널 용량 활용 |
|---|---|---|
| 전화 모뎀 (V.34) | 3.4 kHz | 샤논 한계에 근접한 33.6 kbps 달성 |
| Wi-Fi 6 (802.11ax) | 160 MHz | 1024-QAM + OFDMA로 9.6 Gbps |
| 5G NR | 최대 400 MHz | 대역폭 확대 + MIMO로 용량 극대화 |
| 해저 광케이블 | 수 THz | 극대역폭으로 Tbps급 전송 |
현대 통신 시스템의 진화는 결국 샤논 한계에 얼마나 가까이 다가갈 수 있는가를 추구하는 과정이라고 할 수 있습니다. LTE는 샤논 한계의 약 60~70%를 활용하며, 5G는 80% 이상에 접근하고 있습니다. 이것은 더 정교한 부호화와 변조 기법 덕분입니다.
📝 형성 평가¶
객관식 1. 대역폭 B = 10 kHz, SNR = 20 dB인 채널의 샤논 채널 용량은 약 얼마입니까?
① 약 20 kbps ② 약 33 kbps ③ 약 66 kbps ④ 약 100 kbps
정답 확인
**정답: ③ 약 66 kbps** S/N = 10^(20/10) = 100 C = 10,000 × log₂(1 + 100) = 10,000 × log₂(101) log₂(101) ≈ 6.66 C ≈ 10,000 × 6.66 = 66,600 bps ≈ 66.6 kbps ①은 dB 값을 그대로 대입한 오류(C = 10,000 × log₂(21))에 해당합니다.객관식 2. 정보원이 4개의 심볼을 균등 확률(각각 1/4)로 출력할 때, 엔트로피는 얼마입니까?
① 1 bit/심볼 ② 1.5 bit/심볼 ③ 2 bit/심볼 ④ 4 bit/심볼
정답 확인
**정답: ③ 2 bit/심볼** H = -4 × (1/4) × log₂(1/4) = -4 × (1/4) × (-2) = 2 bit/심볼 n개 심볼이 균등 확률일 때 H = log₂n 입니다. 4개 심볼이면 H = log₂4 = 2 bit/심볼입니다.객관식 3. 허프만 부호에 대한 설명으로 옳지 않은 것은?
① 가변 길이 부호의 일종이다 ② 접두어 조건을 만족하여 순시 복호가 가능하다 ③ 평균 코드 길이가 항상 엔트로피와 정확히 같다 ④ 확률이 높은 심볼에 짧은 코드를 할당한다
정답 확인
**정답: ③** 허프만 부호의 평균 코드 길이는 항상 엔트로피 이상(H ≤ L̄ < H + 1)입니다. 심볼 확률이 모두 2의 거듭제곱(1/2, 1/4, 1/8 등)인 특수한 경우에만 엔트로피와 정확히 일치합니다. 일반적으로는 엔트로피보다 약간 큰 값이 됩니다.서술형 1. 샤논 법칙에서 대역폭 B를 무한히 늘리면 채널 용량 C도 무한히 증가합니까? 이유를 수식과 함께 설명하십시오.