«نظریه اطلاعات»

جمله‌ی زیر رو در نظر بگیرید:
«هوا خیلی سرده، لطفاً پنجره رو ...»

ذهن شما احتمالاً کلمه‌ی "ببند" رو پیش‌بینی کرد. گاهی هم ممکنه نتونیم به این راحتی کلمه‌ی بعدی رو تو یه جمله حدس بزنیم، مثل جمله‌ی زیر:
«امروز حالم خوبه، می‌خوام ...»

عملاً ممکنه نتونیم درست حدس بزنیم و این ختم میشه به غافلگیری؛ تفاوت بین غافلگیری و پیش‌بینی‌پذیری دقیقاً همون چیزیه که کلود شنون (Claude Shannon) هفت دهه پیش ریاضیاتی‌اش کرد و دنیای ارتباطات و زبان رو برای همیشه عوض کرد.

شنون تو مقاله‌ی معروفش تو ۱۹۴۸ یه کار انقلابی انجام داد: معنا رو از اطلاعات جدا کرد. از نظر اون، اطلاعات ربطی به اهمیت یا محتوای فلسفی پیام نداره، بلکه صرفاً به میزان غافلگیری گیرنده یا شنونده ربط داره.
شنون واحدی به نام بیت (bit) تعریف کرد و اطلاعات هر رویداد رو این‌طور اندازه گرفت:

I(x) = –log₂ P(x)

هرچی یه رویداد بعیدتر باشه، وقوعش اطلاعات بیشتری حمل می‌کنه. پرتاب یک سکه‌ی سالم و اومدن شیر؟ احتمالش ½ می‌شه، پس یه بیت اطلاعات داره. رویدادی با احتمال ۱۰۰ درصد؟ صفر بیت، چون هیچ غافلگیری‌ای نداره، درست مثل اومدن "ببند" تو جمله‌ی اول.
پس "اطلاعات" یعنی نااطمینانیِ برطرف‌شده، یعنی چیزی که واقعاً نمی‌دونستید و حالا می‌دونید.

حالا تصور کنید یه منبع تصادفی دارید که مدام یه سری نماد تولید می‌کنه. می‌خواید بدونید به‌طور متوسط هر نماد چقدر غافلگیرتون می‌کنه و اینجاست که مفهوم آنتروپی (entropy) وارد می‌شه:

H = – Σ P(x) · log₂ P(x)

آنتروپی چیزی نیست جز "میانگین غافلگیری" یه منبع. سکه‌ی سالم بیشترین آنتروپی رو داره: یه بیت کامل، چون هر دو نتیجه به یه اندازه محتمل‌ هستند و شما واقعاً نمی‌دونید شیر میاد یا خط اما سکه‌ای که ۹۰ درصد مواقع شیر میاد، آنتروپی پایین‌تری داره (حدود ۰.۴۷ بیت) چون تقریباً همیشه می‌دونید نتیجه چی می‌شه. آنتروپی در واقع عدم قطعیتِ ذاتیِ یه سیستم رو اندازه می‌گیره.

شنون همچنین سال ۱۹۵۱ آزمایشی طراحی کرد که امروز یکی از معروف‌ترین آزمایش‌های تاریخ علم اطلاعات محسوب می‌شه. اون از افراد خواست حرف به حرف یه متن انگلیسی رو حدس بزنند. بعد از هر حدس، نتیجه‌ی درست اعلام می‌شد و آزمایش ادامه داشت. شنون از الگوی موفقیت و شکست این حدس‌ها آنتروپی زبان رو استخراج کرد و نتیجه‌‌ی جالبی به دست آورد: آنتروپی زبان انگلیسی فقط بین ۰.۶ تا ۱.۳ بیت به ازای هر حرفه. الفبای انگلیسی ۲۶ حرف داره و اگه هر حرف به‌صورت یکنواخت ظاهر می‌شد، آنتروپی حدود ۴.۷ بیت بود. اما در عمل، زبان بسیار پیش‌بینی‌پذیرتر از یه توالی تصادفیه. بیشتر از دو سوم ظرفیت اطلاعاتیِ حروف، افزونگی (redundancy) به حساب میاد.

اما این افزونگی اتلاف نیست، بلکه یه مکانیزم طبیعی برای تصحیح خطاست.
همین افزونگیه که باعث می‌شه شما جمله‌ی «گرب‌ه‌ها خو‌اب‌ید‌ه‌اند» رو حتی اگه چند حرفش پاک بشه، بتونید بخونید یا اگه بخشی از یه پیام تو سروصدا گم بشه، بخش‌های دیگه، اطلاعات رو نجات می‌دند. زبان تو طول تکاملش تحت فشار انتخابی شکل گرفته تا بتونه حتی تو محیط‌های پر از Noise که عملاً سیگنالی از اطلاعات نمی‌دند، ارتباط مؤثر رو تضمین کنه. افزونگی در اصل یه ویژگیه، نه یه نقص.

مرجع:
Claude E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal, Vol. 27, 1948.

برای حمایت از انجمن، می‌تونید این محتوا رو با دوستان علاقه‌مندتون به اشتراک بذارید.

#آموزشی
#معرفی
@Irandoc_cl