#שיחת טקסט

עובדי AICommunity Edition+

#מבוא

באמצעות צומת ה-LLM ב-Workflow, ניתן ליזום שיחה עם שירות LLM מקוון, ולנצל את היכולות של מודלי שפה גדולים כדי לסייע בהשלמת מגוון תהליכים עסקיים.

#יצירת צומת LLM

מכיוון ששיחות עם שירותי LLM גוזלות זמן רב בדרך כלל, ניתן להשתמש בצומת ה-LLM רק ב-Workflow אסינכרוניים.

#בחירת מודל

ראשית, בחרו שירות LLM מחובר. אם טרם חיברתם שירות LLM, עליכם להוסיף תחילה תצורת שירות LLM. ראו: ניהול שירותי LLM

לאחר בחירת שירות, היישום ינסה לאחזר רשימה של מודלים זמינים משירות ה-LLM לבחירתכם. ייתכן שממשקי ה-API של חלק משירותי ה-LLM המקוונים לאחזור מודלים אינם תואמים לפרוטוקולי API סטנדרטיים; במקרים כאלה, המשתמשים יכולים גם להזין ידנית את מזהה המודל.

#הגדרת פרמטרי הפעלה

ניתן להתאים את הפרמטרים להפעלת מודל ה-LLM לפי הצורך.

#Response format

ראוי לציין את הגדרת Response format. אפשרות זו משמשת להנחות את המודל הגדול לגבי פורמט התגובה שלו, שיכול להיות טקסט או JSON. אם תבחרו במצב JSON, שימו לב לדברים הבאים:

• מודל ה-LLM המתאים חייב לתמוך בהפעלה במצב JSON. בנוסף, המשתמש צריך להנחות במפורש את ה-LLM להגיב בפורמט JSON ב-Prompt, לדוגמה: "Tell me a joke about cats, respond in JSON with `setup` and `punchline` keys". אחרת, ייתכן שלא תתקבל תגובה, ותופיע שגיאת `400 status code (no body)`.
• התגובה תהיה מחרוזת JSON. המשתמש צריך לנתח אותה באמצעות היכולות של צומתי Workflow אחרים כדי להשתמש בתוכן המובנה שלה. ניתן גם להשתמש בתכונת פלט מובנה.

#הודעות

מערך ההודעות הנשלחות למודל ה-LLM יכול לכלול סט של הודעות היסטוריות. ההודעות תומכות בשלושה סוגים:

• System - משמש בדרך כלל להגדרת התפקיד וההתנהגות של מודל ה-LLM בשיחה.
• User - התוכן שהוזן על ידי המשתמש.
• Assistant - התוכן שהמודל הגיב אליו.

עבור הודעות משתמש, בתנאי שהמודל תומך בכך, ניתן להוסיף מספר פריטי תוכן ב-prompt יחיד, המתאימים לפרמטר `content`. אם המודל שבו אתם משתמשים תומך רק בפרמטר `content` כמחרוזת (וזה המצב עבור רוב המודלים שאינם תומכים בשיחות מולטי-מודאליות), אנא פצלו את ההודעה למספר prompts, כאשר כל prompt מכיל פריט תוכן אחד בלבד. בדרך זו, הצומת ישלח את התוכן כמחרוזת.

ניתן להשתמש במשתנים בתוכן ההודעה כדי להתייחס להקשר של ה-Workflow.

#שימוש בתוכן התגובה של צומת ה-LLM

ניתן להשתמש בתוכן התגובה של צומת ה-LLM כמשתנה בצמתים אחרים.