Á¤º¸ÀÌ·ÐÀ¸·Î¼ÀÇ ÁöÀû ¼³°è
¼³°è¸¦ ÆÇ´ÜÇÏ´Â "º¹À⼺", "Ư¼öÈ"¶ó´Â ±âÁصéÀº Á¤º¸ÀÌ·ÐÀ» ÅëÇØ¼ ÀçÇØ¼®µÉ ¼ö ÀÖ´Ù. Á¤º¸ ÀÌ·ÐÀº ÇöÀç Åë½Å ÀÌ·ÐÀÇ ±âÃʸ¦ ÀÌ·ç´Â ÀÌ·ÐÀ¸·Î¼ ³Î¸® »ç¿ëµÇ´Â ÀÌ·ÐÀÌ´Ù. 1940³â´ë¿¡ Weiner¿Í Shannon¿¡ ÀÇÇØ¼ ¿À´Ã³¯°ú °°Àº ¸ð½ÀÀ¸·Î Á¤¸®µÇ¾ú´Ù.±×·¸´Ù¸é °ú¿¬ Á¤º¸¶õ ¹«¾ùÀΰ¡? Á¤º¸À̷п¡¼ ¸»ÇÏ´Â Á¤º¸´Â ÀϹÝÀûÀ¸·Î »ý°¢ÇÏ´Â °Íó·³ ½ÅÈ£ ÀÚüÀÇ ¸ð¾çÀ̳ª ÆÄÇü°ú °°Àº °ÍÀÌ ¾Æ´Ï¶ó, ¾î¶² »ç°ÇÀÇ ¹ß»ýÀ» ÅëÇØ¼ ¹èÁ¦µÇ´Â ´Ù¸¥ °¡´É¼ºµéÀ» ÅëÇØ¼ Á¤ÀǵȴÙ. µû¶ó¼ Á¤º¸À̷п¡¼ »ç¿ëÇÏ´Â Á¤º¸·®Àº ¾î¶² »ç°ÇÀÌ ÀϾ È®·ü·Î½á Á¤ÀǵȴÙ. ¾î¶² »ç°ÇÀÌ ÀϾ È®·üÀÌ p¶ó°í Çϸé, ±× »ç°ÇÀÌ ÀϾÀ» ¶§ ¾ò°Ô µÇ´Â Á¤º¸·®Àº ´ÙÀ½°ú ½Ä¿¡ ÀÇÇØ¼ ¾ò¾îÁø´Ù. (¿©±â¼ Á¤º¸·®ÀÇ ´ÜÀ§´Â ¿ì¸®°¡ ÄÄÇ»ÅÍ¿¡¼ ¹«½ÉÄÚ(?) »ç¿ëÇÏ´ø bit ÀÌ´Ù)
I (p) = - log2 p (bits)