חברת Scality נכנסת לתחום תשתיות ה-AI עם השקת מוצר חדש להסקה

חברת Scality קיימה את כנס הלקוחות השנתי שלה בפריז, שבו השתתפו למעלה מ-400 אורחים מיותר מ-30 מדינות שונות. במסגרת האירוע, הכריזה החברה על מוצר חדש בשם Scality AI inference factory, שנועד לספק יכולות הסקה (Inference) ישירות באתר הלקוח ולנהל את כלל הרכיבים מאחסון ועד למודלי שפה גדולים. החברה הדגישה את החשיבות של זיכרון מטמון עבור מודלי שפה, המצריך ניהול נתונים מתקדם ויעיל מחוץ למעבדי ה-GPU.

במהלך הסקירה הטכנית שהוצגה בכנס, הוסבר כיצד בקשה פשוטה של משתמש מפעילה מאות ואלפי טוקנים הכוללים הוראות מערכת והגדרות כלים, מה שיוצר עומס אדיר על הזיכרון. כדי להתמודד עם אתגרים אלו ולהפחית את העומס על המעבדים, נעשה שימוש בטכנולוגיית RDMA ובחיבורי רשת מהירים המאפשרים לנהל את מצב היישום ביעילות גבוהה ולשפר משמעותית את ניצול משאבי החומרה.

הגישה של Scality משווה בין ארכיטקטורת האחסון המבוזרת שהחברה פיתחה מאז שנת 2010 עבור שירותים כמו דואר אלקטרוני לבין הצרכים המודרניים של תשתיות בינה מלאכותית. החברה ממשיכה לפתח פטנטים בתחום ניהול מצב היישום כדי לאפשר למפתחי תוכנה ולמערכות ארגוניות להריץ מודלים מתקדמים בתנאים האופטימליים ביותר.