entropy 엔트로피: 정보 이론으로부터 차용한 용어로서, 각 신호 출현의 불확실성 정도를 표시한다. 가능한 어떤 일정수의 대답에 대하여, 그 모든 대답이 같은 빈도인 경우에, 엔트로피는 최대로 된다. 예컨대, 두 대답의 출현 빈도가 높고, 다른 대답은 빈도가 극 히 낮은 경우에는, 엔트로피는 작다. 따라서, 엔트로피는 주어지리라 싶은 대답에 대한 수신자 측의 불확실성에 따라 증대한다