#פלט מובנה

#מבוא

בתרחישי שימוש מסוימים, ייתכן שתרצו שמודל ה-LLM יגיב עם תוכן מובנה בפורמט JSON. ניתן להשיג זאת באמצעות הגדרת "פלט מובנה".

#הגדרה

• JSON Schema - באפשרותכם להגדיר את המבנה הצפוי של תגובת המודל באמצעות קביעת תצורה של JSON Schema.
• שם (Name) - אופציונלי, משמש כדי לעזור למודל להבין טוב יותר את האובייקט המיוצג על ידי ה-JSON Schema.
• תיאור (Description) - אופציונלי, משמש כדי לעזור למודל להבין טוב יותר את מטרת ה-JSON Schema.
• Strict - דורש מהמודל לייצר תגובה בהתאם קפדנית למבנה ה-JSON Schema. נכון לעכשיו, רק חלק מהמודלים החדשים של OpenAI תומכים בפרמטר זה. אנא ודאו שהמודל שלכם תואם לפני הפעלתו.

#שיטת יצירת תוכן מובנה

אופן יצירת התוכן המובנה על ידי מודל תלוי במודל שבו אתם משתמשים ובהגדרת ה-Response format שלו:

1. מודלים שבהם Response format תומך ב-text בלבד

   • בעת הקריאה, הצומת יקשור כלי (Tool) שמייצר תוכן בפורמט JSON בהתבסס על ה-JSON Schema, וינחה את המודל לייצר תגובה מובנית באמצעות קריאה לכלי זה.

2. מודלים שבהם Response format תומך במצב JSON (json_object)

   • אם נבחר מצב JSON בעת הקריאה, עליכם להנחות במפורש את המודל ב-Prompt להחזיר תוכן בפורמט JSON ולספק תיאורים לשדות התגובה.
   • במצב זה, ה-JSON Schema משמש רק לניתוח מחרוזת ה-JSON שהוחזרה על ידי המודל, והמרתה לאובייקט JSON היעד.

3. מודלים שבהם Response format תומך ב-JSON Schema (json_schema)

   • ה-JSON Schema משמש ישירות כדי לציין את מבנה התגובה הרצוי למודל.
   • ניתן לבחור את הפרמטר האופציונלי Strict, הדורש מהמודל לציית בקפדנות ל-JSON Schema בעת יצירת התגובה.

4. מודלים מקומיים של Ollama

   • אם הוגדר JSON Schema, הצומת יעביר אותו כפרמטר format למודל בעת הקריאה.

#שימוש בתוצאת הפלט המובנה

התוכן המובנה של תגובת המודל נשמר כאובייקט JSON בשדה Structured content של הצומת, וניתן להשתמש בו על ידי צמתים עוקבים.