ניהול קונטקסט

מה זה חלון קונטקסט

השולחן

כל מה שבשיחה מונח לפניו בבת אחת: ההוראות, ההודעות שלכם, התשובות שלו, הקבצים שצירפתם. זה חלון הקונטקסט. הוא לא זוכר את השיחה כמו שאתם זוכרים. בכל תשובה הוא קורא מחדש את מה שעל השולחן, ורק את זה.

נמדד בטוקנים

השולחן נמדד בטוקנים, חתיכות של מילים. בעברית כל מילה עולה יותר. מדדנו את המשפט שבראש הדף בעברית ובאנגלית:

עברית

32 טוקנים · 14 מילים

אנגלית

20 טוקנים · 16 מילים

נמדד עם o200k_base, הכלי של OpenAI לספירת טוקנים. ל-Claude יש tokenizer משלו, והמספרים שלו שונים.

השולחן מוגבל

גם שולחן גדול נגמר. במודלים הנוכחיים של Claude החלון הוא עד מיליון טוקנים. כשהוא מתמלא, ממשקי צ'אט יכולים לפנות מקום לפי הסדר: מה שנכנס ראשון, יוצא ראשון. ולא אתם מחליטים מה.

מקור: Anthropic · Context windows

שולחן עמוס הוא שולחן גרוע

לא צריך להגיע לקצה כדי שזה יפגע. מחקר של Chroma מצא שהביצועים יורדים ככל שהקלט מתארך, גם במשימות פשוטות. מחקר אחר מצא שמה שמונח באמצע טקסט ארוך הולך לאיבוד יותר ממה שבהתחלה ובסוף. יותר על השולחן זה לא יותר ידע. זה יותר רעש.

מקורות: Chroma · Context Rot · Lost in the Middle