#텍스트 대화

This feature is provided by the plugin «AI 직원»

#소개

워크플로우의 LLM 노드를 사용하면 온라인 LLM 서비스와 대화를 시작하고, 대규모 모델의 기능을 활용하여 다양한 비즈니스 프로세스를 지원할 수 있습니다.

#LLM 노드 생성

LLM 서비스와의 대화는 일반적으로 시간이 많이 소요되므로, LLM 노드는 비동기 워크플로우에서만 사용할 수 있습니다.

#모델 선택

먼저 연결된 LLM 서비스를 선택합니다. 아직 LLM 서비스가 연결되지 않았다면, 먼저 LLM 서비스 설정을 추가해야 합니다. 참고: LLM 서비스 관리

서비스를 선택하면, 애플리케이션은 LLM 서비스에서 사용 가능한 모델 목록을 가져와 선택할 수 있도록 시도합니다. 일부 온라인 LLM 서비스의 모델 가져오기 API는 표준 API 프로토콜을 따르지 않을 수 있으며, 이 경우 사용자가 모델 ID를 수동으로 입력할 수도 있습니다.

#호출 매개변수 설정

필요에 따라 LLM 모델 호출 매개변수를 조정할 수 있습니다.

#응답 형식 (Response format)

특히 응답 형식 (Response format) 설정에 주목할 필요가 있습니다. 이 설정은 대규모 모델의 응답 내용 형식을 텍스트 또는 JSON으로 지정하는 데 사용됩니다. JSON 모드를 선택하는 경우 다음 사항에 유의해야 합니다:

• 해당 LLM 모델은 JSON 모드 호출을 지원해야 하며, 사용자는 프롬프트에서 LLM이 JSON 형식으로 응답하도록 명확하게 지시해야 합니다. 예를 들어: "Tell me a joke about cats, respond in JSON with `setup` and `punchline` keys". 그렇지 않으면 응답 결과가 없거나 400 status code (no body) 오류가 발생할 수 있습니다.
• 응답 결과는 JSON 문자열입니다. 사용자는 워크플로우의 다른 노드 기능을 활용하여 파싱한 후에야 구조화된 내용을 사용할 수 있습니다. 구조화된 출력 기능을 사용할 수도 있습니다.

#메시지

LLM 모델로 전송되는 메시지 배열에는 일련의 이전 메시지가 포함될 수 있습니다. 메시지는 다음 세 가지 유형을 지원합니다:

• System - 일반적으로 대화에서 LLM 모델이 수행할 역할과 동작을 정의하는 데 사용됩니다.
• User - 사용자가 입력한 내용입니다.
• Assistant - 모델이 응답한 내용입니다.

사용자 메시지의 경우, 모델이 지원하는 한, content 매개변수에 해당하는 여러 내용을 하나의 프롬프트에 추가할 수 있습니다. 사용하는 모델이 문자열 형식의 content 매개변수만 지원하는 경우(대부분의 다중 모달 대화를 지원하지 않는 모델이 이에 해당합니다), 메시지를 여러 프롬프트로 분할하고 각 프롬프트에 하나의 내용만 포함하십시오. 이렇게 하면 노드가 내용을 문자열 형태로 전송합니다.

메시지 내용에서 변수를 사용하여 워크플로우 컨텍스트를 참조할 수 있습니다.

#LLM 노드의 응답 내용 사용

LLM 노드의 응답 내용을 변수로 사용하여 다른 노드에서 활용할 수 있습니다.