איך תורת האינפורמציה מניעה את הבינה המלאכותית: מהפתעה ועד פרפלקסיטי

תורת האינפורמציה מספקת את השפה הבסיסית לטיפול באי-ודאות, תחזית ודחיסה. מושגים כמו אנטרופיה, הפסד צולב, סטיית קולבק-לייבלר ופרפלקסיטי מהווים ביטויים שונים של רעיון מרכזי אחד: מדידת הפתעה. כאשר מודל למידת מכונה מנסה לשדר תוויות נכונות דרך תעלת משקולות למידה, התוצאה נמדדת באמצעות פונקציות המחושבות ביחידות כמו ביטים או נאטים, בהתאם לבסיס הלוגריתמי שנבחר.

בבסיס המערכת, אנטרופיה מייצגת את ההפתעה הצפויה מראש של התפלגות נתונים כלשהי. כאשר מכניסים מודל לתמונה, ההפסד הצולב מודד את ההפתעה הממוצעת כאשר השגיאה נובעת מהתחזיות של המודל לעומת המציאות. סטיית קולבק-לייבלר מבודדת את תוספת ההפתעה שנוצרת מאי-ההתאמה בין ההתפלגויות, תוך שמירה על אסימטריה המדגישה את חשיבות הגדרת התפלגות הייחוס. מזעור הפסד צולב במודלי סיווג שקול למקסום סבירות הנתונים הנצפים.

לצד מדדים אלו, מושגים כמו מידע משותף (Mutual Information) מסייעים בבחירת מאפיינים על ידי מדידת הפחתת אי-הוודאות, בעוד שחלקת תוויות (Label Smoothing) משמשת כרגולריזציה המונעת ביטחון קיצוני ומגבירה את יציבות המודל. לבסוף, מדד הפרפלקסיטי הופך את ההפסד הצולב למספר אפשרויות סבירות השקולות זו לזו, ומאפשר להבין בצורה אינטואיטיבית את מידת הבלבול של מודל השפה בכל צעד של ניבוי.