סוכני AI מקוננים: למה לצ׳אט האלבום שלנו יש סוכן חיפוש משלו

עוזר צ׳אט בנוי סביב חלון הקשר — התמליל המתגלגל של כל מה שנאמר ונעשה בשיחה. בכל תור נוסף של העוזר, כל החלון נשלח שוב למודל. יש לזה תוצאה ערמומית: כל דבר מסורבל שנכנס לשיחה משולם מחדש בכל הודעה שבאה אחריו.

חיפוש תמונות הוא בדיוק סוג כזה של עומס. בעיצוב הקודם שלנו הצ׳אט משך רשימות תמונות גולמיות היישר לתוך השיחה: באלבום של 219 תמונות, זה אומר 219 בלוקים של כיתובים, תאריכים, ציוני איכות ותגיות שנוחתים בתמליל. מדדנו תור בודד בשיחה כזו במאות אלפי טוקנים של קלט — רובם מטא-דאטה של תמונות שהמשתמש לעולם לא יראה, שנשלח מחדש בכל בקשה עוקבת.

הקשרים גדולים הם לא רק יקרים. מודלים נעשים גרועים באופן מדיד בציות להוראות כשהמשפט החשוב קבור מתחת להר של רשימות — בעיית ה״אבודים באמצע״. העוזר שלנו לא היה צריך זיכרון גדול יותר. הוא היה צריך דרך לעשות עבודה מסורבלת בלי לזכור אותה.

עוזרי AI פועלים דרך כלים — פונקציות קטנות כמו הצב את התמונה הזו או החל את ערכת הנושא הזו. כלי מקבל קלט, מחזיר תוצאה, והשיחה ממשיכה. התובנה של הסוכנים המקוננים היא שכלי לא חייב להיות פונקציה פשוטה. כלי יכול להיות סוכן שלם אחר.

ב-Sustain, לצ׳אט האלבום יש עכשיו כלי שאנחנו קוראים לו dig_photos. כשהבקשה שלכם דורשת חפירה אמיתית, הצ׳אט מוסר את המילים שלכם — מילה במילה, בכל שפה שכתבתם בה — לסוכן שני: סוכן החפירה, אותו מוח חיפוש שמפעיל את חיפוש התמונות באפליקציית ה-iOS שלנו. סוכן החפירה מריץ לולאה פרטית משלו:

• חיפוש — שילוב של מה שבאמת נמצא בכל תמונה (כל תמונה מתוארת בפירוט כשהיא מנותחת, כך ש״חוף״ יכול להתאים לתמונה שאף אחד מעולם לא תייג) עם אנשים מתויגים, תאריכים ומסנני איכות. הוא יכול לחפש כמה פעמים ולצמצם תוך כדי שהוא לומד מה יש שם.

• אימות — קריאת התיאורים שה-AI כתב לתמונות המועמדות כדי לזרוק את אלה שכמעט התאימו: תמונת החוף שבה אף אחד לא צוחק.

• דיוק — צמצום או דירוג מחדש, ושמירה על הטובה מבין הכפילויות ברצף.

• סיום — החזרת רשימה מסודרת ומאומתת עם סיכום בשורה אחת.

כל הקריאה והניסיונות החוזרים האלה קורים בהקשר החד-פעמי הפרטי של סוכן החפירה. כשהוא מסיים, מרחב העבודה שלו נזרק. הדבר היחיד שנכנס לשיחה של צ׳אט האלבום הוא הרשימה הסופית — כמה מאות טוקנים במקום עשרות אלפים.

זה היתרון שכל הדפוס תלוי בו. התמליל של הצ׳אט נשאר רזה — ההודעות שלכם, התשובות שלו, ותוצאות קומפקטיות. הקריאה הכבדה מבודדת בתוך תת-הסוכן ונזרקת כשהוא מסיים.

שלושה דברים נובעים מזה ישירות:

• העלות מפסיקה להצטבר. עומס שמעולם לא נכנס לתמליל לעולם לא נשלח שוב. באופן מפתיע, הרצת סוכן AI שני היא לרוב זולה יותר מהעיצוב השטוח, כי העיצוב השטוח שילם שוב ושוב על רשימות התמונות בכל תור.

• האיכות עולה. כל סוכן קורא הנחיה קצרה וממוקדת על התפקיד שלו במקום הנחיית ענק אחת על הכול. המחפש מחפש טוב יותר; המעצב מעצב טוב יותר.

• שיחות ארוכות נשארות חדות. סשן שמחפש חמש פעמים לא מתדרדר, כי אף אחד מהחיפושים לא השאיר שאריות בחלון.

מכיוון שסוכן החפירה הוא יחידה עצמאית עם חוזה נקי — שאילתה נכנסת, רשימה מאומתת יוצאת — אנחנו מכוונים אליו יותר ממסך מוצר אחד. חיפוש התמונות במסך הבית של ה-iOS וצ׳אט האלבום בווב חולקים עכשיו את אותו מוח חיפוש. כשאנחנו מלמדים אותו טריק חדש, כל המסכים לומדים אותו בבת אחת.

זה משקף עיקרון שאנחנו מיישמים לרוחב Sustain: מנוע אחד לכל תפקיד. באותו שבוע שבו העלינו את החיפוש המקונן, גם איחדנו את הצבת התמונות — ״סדר לי את האלבום מחדש״ בצ׳אט מפעיל עכשיו בדיוק את אותו צינור כמו כפתור שדרוג ה-AI, על כל הפרמטרים, במקום מנוע שנראה דומה. שני מנועים שנפרדים זה מזה יגיעו בסוף לחילוקי דעות; מנוע אחד לא יכול.

סוכן מקונן הוא רדיוס נזק מוגבל. שלנו רץ לכל היותר כמה סבבי חשיבה, על מודל קטן ומהיר שמתאים לחיפוש, והפלט שלו מאומת לפני שסומכים עליו — כל מזהה תמונה שהוא מחזיר נבדק מול התמונות שבאמת שייכות לכם, ואם הוא סוטה מהתסריט המערכת נופלת חזרה לחיפוש מסונן פשוט במקום להכשיל את ההודעה שלכם.

הבידוד הזה הוא גם מה שהופך את הדפוס לבטוח להרחבה. סוכן החפירה יכול להיות חכם, פטפטן או יסודי יותר מבפנים בלי שום סיכון להצפת שיחת האלבום — הממשק בין שני הסוכנים לא משתנה.

קינון הוא לא בחינם — תת-סוכן מוסיף סבב חשיבה, כלומר רגע של השהיה. לכן צ׳אט האלבום משתמש בכלל הסלמה פשוט:

• שליפות דטרמיניסטיות נשארות שטוחות. ״תמונות מ-2023״, ״תמונות של עומרי״, ״צילומי פורטרט שלא הוצבו״ — אלה מסנני מסד נתונים מיידיים. לעטוף אותם בסוכן רק יאט אותם.

• בקשות מעורפלות ורב-אילוציות מוסלמות. ״עומרי צוחק בחוף״, ״ה-20 הכי טובות מהטיול לרומא״ — כל דבר שדורש חיפוש חזותי בתוספת שיקול דעת עובר לסוכן החפירה.

רמת התזמור צריכה להתאים למורכבות השאלה. כלל אצבע טוב מהניסיון שלנו: אם עוזר אנושי היה צריך לפתוח קבצים ולקרוא לפני שהוא עונה, קננו את זה. אם הוא היה פשוט מריץ שאילתה, אל תקננו.

הנה חילופי דברים אמיתיים מאלבום טיולים. הבקשה מסורבלת בכוונה — היא מתארת סצנה, לא מילת מפתח:

״מצא תמונות עם נופי הרים״

כמה שניות אחר כך התשובה חזרה בתור תמונות: רצועה נגללת של שבע התמונות המתאימות, כל אחת עם המספר שלה. גללו עד הסוף ואחת מהן מוקפת בזהב ומתויגת חדש — היחידה מבין השבע שעדיין לא נמצאת על אף עמוד, שהיא הדבר היחיד שאולי באמת תרצו לעשות איתו משהו. אין מה לפענח, אין מה להצליב.

מתחת לרצועה הזו, סוכן החפירה הריץ לולאה משלו: חיפוש באלבום, ואז קריאת התיאורים של המועמדות כדי לשמור את נופי ההרים האמיתיים ולזרוק את אלה שכמעט התאימו. כל הקריאה הזו קרתה בהקשר של תת-הסוכן ונזרקה. התמליל של צ׳אט האלבום הרוויח רשומה קצרה אחת.

ואז שאלה שנייה וממוקדת יותר, באותה נשימה:

״ומה לגבי התמונות של אנשים בחוף בשקיעה?״

שלוש התאמות הפעם — מעט מספיק כדי שכל אחת תקבל שורה מלאה: התמונה הממוזערת, מה יש בה, וכפתור החל כדי להציב אותה. אותו סוכן, אותו חיפוש, תצוגה שונה, כי שלוש תוצאות ושלושים תוצאות הן לא אותו סוג של תשובה.

ההבחנה שהסוכן עושה כאן — חוף בשקיעה עם אנשים בתוכו לעומת שקיעה ריקה מעל הים — לא קיימת באף תגית או מסנן. היא מגיעה מכך שסוכן שני באמת קרא מה יש בתמונות, בהקשר שלעולם לא תשלמו עליו שוב.

שום דבר מזה לא משנה את הדרך שבה אתם משתמשים ב-Sustain — וזו בדיוק הנקודה. העוזר פשוט נעשה מהיר יותר לדבר איתו, טוב יותר בחיפושים קשים, וזהה בכל המכשירים, כי העבודה קורית במקום הנכון. בפעם הבאה שהוא יענה על בקשת מחט-בערימת-שחת תוך כמה שניות עם רשימה קצרה ונקייה, תדעו: היה כאן סוכן שני בחדר, והוא כבר הלך.