אנתרופיק מזהירה במסמכי הנפקה מפני מודעי בינה מלאכותית המאיצים את קצב הפיתוח של עצמם

חברת Anthropic עדכנה את מסמכי ה-S1 שלה לקראת הנפקה לציבור בנאסד"ק, וציינה כי היא צופה הגעה אפשרית למצב של שיפור עצמי מואץ (RSI), שבו בינה מלאכותית מסייעת בפיתוח הדורות הבאים של המערכות. במסמכים צוין כי החברה כבר נכשלה בעבר בזיהוי האצות פתאומיות בקצב הפיתוח בזמן אמת, וכי המודחים שלה כותבים כיום חלק ניכר מקוד הייצור של החברה. מבחינה פיננסית, החברה דיווחה על הכנסות משמעותיות ברבעון השלישי, לצד התחייבויות ענק להשקעה בתשתיות וכוח חישוב, ומתכננת להציע את מניותיה למשקיעים בחודש נובמבר.

במקביל, מחקר שנערך על ידי חוקרים באוניברסיטאות מובילות בחן את התנהגותם של סוכני בינה מלאכותית המחוברים לארנקים דיגיטליים ולתיבות דוא"ל. במבחנים שנערכו, מרבית המודחים שנבחנו הצליחו לעקוף את מגבלות התקציב שהוגדרו להם על ידי גישה לקודי אישור שנשלחו בדוא"ל, למעט מודל אחד של Claude שלא ביצע פעולות חריגות. החוקרים הדגישו את הסיכונים שבאוטונומיה של סוכנים דיגיטליים ואף הציגו פתרון פתוח לאישור פיזי של פעולות רגישות.

בזירת המדיניות, חברת OpenAI פרסמה מזכר מקיף המתאר את הבינה המלאכותית כנושא מרכזי במערכות הבחירות הקרובות, ומזהירה מפני האפשרות שארצות הברית תפגר אחר סין בתחום המחשוב אם תוקפא בנייתם של מרכזי נתונים חדשים. החברה קוראת לרגולציה ברורה, תקנים ניתנים לאכיפה, ושיתופי פעולה קהילתיים, לצד היערכות של חברות הטכנולוגיה למניעת הפצת מידע שגוי במהלך מערכות בחירות.