この記事では、情報理論の基礎となる情報の大きさを数値化したものである情報量、情報量の期待値であるエントロピー、２つの情報がどれほどの相関をもっているのかの相互情報量についてまとめています。