Skip to main content
한정된 기간 동안 Serverless Inference가 무료 티어에 포함되어 있습니다. Serverless Inference는 API와 Weave 플레이그라운드를 통해 주요 오픈소스 파운데이션 모델에 접근할 수 있게 해줍니다.
LLM 프롬프트와 응답을 평가하는 일은 쉽지 않습니다. Weave 플레이그라운드는 LLM 프롬프트와 응답을 반복적으로 개선하는 과정을 간소화하도록 설계되어, 다양한 모델과 프롬프트를 더 쉽게 실험할 수 있게 해줍니다. 프롬프트 편집, 메시지 재시도, 모델 비교 같은 기능을 통해 플레이그라운드는 LLM 애플리케이션을 빠르게 테스트하고 개선할 수 있도록 도와줍니다. 플레이그라운드는 애플리케이션에 통합하기 전에 LLM 프롬프트를 테스트, 비교, 개선하려는 개발자와 프롬프트 엔지니어를 위한 도구입니다. 현재 플레이그라운드는 OpenAI, Anthropic, Google 등의 공급자 모델과 맞춤형 런타임을 지원합니다.
  • 빠른 액세스: 새 세션을 시작하려면 Weave 사이드바 메뉴에서 ‘플레이그라운드’를 열고, 기존 프로젝트를 테스트하려면 Call 페이지에서 엽니다.
  • Message controls: 채팅 내에서 직접 메시지를 편집, 재시도, 또는 삭제합니다.
  • 유연한 메시징: 새 메시지를 사용자 입력 또는 시스템 입력으로 추가해 LLM으로 보냅니다.
  • 사용자 지정 가능한 설정: 선호하는 LLM 공급자를 구성하고 모델 설정을 조정합니다.
  • 다중 LLM 지원: 팀 단위 API 키 관리와 함께 모델 간 전환이 가능합니다.
  • 모델 비교: 서로 다른 모델이 프롬프트에 어떻게 응답하는지 비교합니다.
  • 맞춤형 런타임: 맞춤형 모델용 OpenAI 호환 API 엔드포인트를 테스트합니다.
  • 저장된 모델: 워크플로에 사용할 수 있는 재사용 가능한 모델 프리셋을 생성하고 구성합니다.
플레이그라운드를 활용해 LLM 상호작용을 최적화하고 프롬프트 엔지니어링과 LLM 애플리케이션 개발 과정을 간소화하세요. 다음 섹션에서는 플레이그라운드를 구성하고 사용하는 방법을 설명합니다:

​
공급자 자격 증명 및 정보 추가

플레이그라운드를 사용하려면 먼저 공급자 자격 증명을 추가하여 플레이그라운드가 각 모델 공급자에 대한 요청을 대신 인증할 수 있도록 해야 합니다. 플레이그라운드는 현재 여러 공급자의 모델을 지원합니다. 사용 가능한 모델 중 하나를 사용하려면 W&B 설정의 팀 시크릿에 적절한 정보를 추가하세요.
  • Amazon Bedrock:
    • AWS_ACCESS_KEY_ID
    • AWS_SECRET_ACCESS_KEY
    • AWS_REGION_NAME
  • Anthropic: ANTHROPIC_API_KEY
  • Azure:
    • AZURE_API_KEY
    • AZURE_API_VERSION
    • AZURE_API_BASE
  • Deepseek: DEEPSEEK_API_KEY
  • Google: GEMINI_API_KEY
  • Groq: GROQ_API_KEY
  • Mistral: MISTRAL_API_KEY
  • OpenAI: OPENAI_API_KEY
  • X.AI: XAI_API_KEY

​
플레이그라운드에 액세스하기

플레이그라운드에 액세스하는 방법은 두 가지입니다.
  1. 기본 system 프롬프트로 새 플레이그라운드 페이지 열기: Weave 프로젝트의 사이드바에서 플레이그라운드를 선택합니다. 플레이그라운드가 같은 탭에서 열립니다.
  2. 특정 call에 대한 플레이그라운드 열기:
    1. 사이드바에서 Traces 탭을 선택합니다. 트레이스 목록이 표시됩니다.
    2. 트레이스 목록에서 보려는 call의 이름을 클릭합니다. call의 상세 페이지가 열립니다.
    3. Open chat in Playground를 클릭합니다. 플레이그라운드가 새 탭에서 열립니다.
Open in Playground 버튼의 스크린샷

​
LLM 선택

프롬프트 헤더(메인 플레이그라운드 패널 상단)에 있는 모델 선택 드롭다운에서 LLM을 전환할 수 있습니다. 다음 공급자를 사용할 수 있습니다:
  • Amazon Bedrock
  • Anthropic
  • Azure
  • Deepseek
  • Google
  • Groq
  • Mistral
  • OpenAI
  • X.AI
사용 가능한 모델은 팀에 구성된 공급자에 따라 달라집니다.

​
플레이그라운드 설정 사용자 지정

선택한 모델의 파라미터를 조정하고 모델이 호출할 함수를 추가할 수 있습니다. 다음 섹션에서는 플레이그라운드 설정을 사용자 지정하는 방법을 설명합니다.

​
LLM 파라미터 조정

선택한 모델에 대해 다양한 파라미터 값을 시험해 볼 수 있습니다. 플레이그라운드에서 파라미터를 조정하려면 다음 단계를 따르세요.
  1. 프롬프트 헤더(메인 패널 상단)에서 채팅 설정 () 버튼을 클릭해 채팅 설정 패널을 엽니다.
  2. 채팅 설정 패널에서 원하는 대로 파라미터를 조정합니다. Weave call 추적을 켜거나 끌 수도 있고, 함수를 추가할 수도 있습니다.
  3. 변경 사항은 자동으로 적용됩니다. 채팅 설정를 다시 클릭하거나 오른쪽 상단의 x를 클릭하면 패널이 닫힙니다. 채팅 설정 버튼에 마우스를 올리면 표시되는 텍스트에 변경한 설정이 표시됩니다.
페이지를 벗어나면 설정이 사라집니다. 설정을 저장하려면 모델을 저장하세요. 변경한 설정을 버리고 처음부터 다시 시작하려면 페이지를 새로고침하세요.
Select a model 드롭다운이 열려 있고 오른쪽에 채팅 설정 패널이 열린 Weave 플레이그라운드.
플레이그라운드에서는 시행 횟수를 설정해 동일한 입력에 대해 여러 출력을 생성할 수 있습니다. 기본 설정은 1입니다. 시행 횟수를 조정하려면 채팅 설정 패널을 열고 Number of trials 설정을 조정하세요.

​
함수 추가

플레이그라운드에서는 서로 다른 모델이 사용자 입력에 따라 함수를 어떻게 사용하는지 테스트할 수 있습니다. 플레이그라운드에서 테스트할 함수를 추가하려면 채팅 설정 패널에서 + Add function을 클릭합니다. 화면 안내에 따라 함수를 정의하고 변경 사항을 저장합니다.

​
Message controls

플레이그라운드 채팅 인터페이스는 프롬프트 정의 영역, 메시지 패널, 메시지 작성 영역의 세 부분으로 구성됩니다. 다음 섹션에서 각 영역을 설명합니다.

​
프롬프트 정의 영역

프롬프트 정의 영역에서는 상호작용 전반에서 모델의 동작을 결정하는 지침을 정의할 수 있습니다. 이 영역을 사용해 메시지가 오가기 전에 일관되게 적용되는 컨텍스트를 제공하세요. 여기에는 역할 정의, 어조 및 스타일 가이드, 동작 제약, 출력 요구 사항이 포함됩니다. 여기서 변경한 내용은 수정하지 않는 한 이후의 모든 상호작용에 영향을 줍니다. 포함 항목:
  • 프롬프트 선택기: 기존에 저장된 프롬프트를 선택하거나 새로 만듭니다.
  • 메시지 역할 선택기: 현재 정의 중인 메시지의 역할(System, Assistant, 또는 User 역할)을 지정합니다.
  • 프롬프트 텍스트: 모델이 어떻게 응답하는지 결정하는 지침 텍스트를 입력합니다.
  • 메시지 추가 버튼: 실행 전에 프롬프트 컨텍스트에 추가 메시지를 포함할 수 있습니다.
이 메시지들은 함께 모델로 전송되며, 다음과 같은 용도로 사용할 수 있습니다.
  • 추가 시스템 수준 지침을 더합니다.
  • 응답을 유도하기 위한 Assistant 메시지 예시를 제공합니다(예: few-shot 프롬프팅).
  • 특정 시나리오를 테스트하기 위한 사용자 메시지를 미리 정의합니다.

​
메시지 패널

메시지 패널에는 실행 중 생성된 대화가 표시됩니다. 다음이 포함됩니다.
  • 프롬프트 설정에 포함된 미리 정의된 메시지
  • 메시지 작성기에서 전송된 메시지
  • 모델이 반환한 응답
패널 내에서 메시지를 복사, Delete, 편집, 재시도할 수도 있습니다.

​
메시지 작성기(입력 필드)

메시지 작성기를 사용해 모델에 새 메시지를 보냅니다. 메시지 역할을 선택하고 실행할 메시지를 제출할 수 있습니다. 대부분의 상호작용은 User 메시지로 작성합니다. 지침 변경을 테스트할 때는 System 또는 Assistant 메시지를 추가할 수 있습니다.
상단에 프롬프트 정의 영역, 중간에 메시지 이력, 하단에 새 메시지를 전송하는 메시지 작성기가 표시된 Weave 플레이그라운드.

​
메시지 이력 보기

메시지 이력을 보려면 오른쪽 플레이그라운드 툴바에서 이력 () 버튼을 클릭하세요. 그러면 현재 프로젝트에서 전송된 모든 메시지를 보여주는 이력 패널이 열립니다. 이력에서 항목을 선택하면 비교할 수 있도록 추가 채팅 패널에 해당 항목이 로드됩니다.

​
LLM 비교

플레이그라운드에서는 LLM을 나란히 비교하여 서로 다른 모델이 동일한 프롬프트에 어떻게 응답하는지 평가할 수 있습니다. 비교하려면 오른쪽 플레이그라운드 툴바에서 채팅 추가 () 버튼을 클릭하세요. 기존 채팅 옆에 두 번째 채팅이 열립니다. 두 번째 채팅에서도 모델 선택, 설정 조정, 함수 추가 등 기존 채팅과 동일한 기능을 사용할 수 있습니다.

​
맞춤형 런타임

플레이그라운드에서는 기본 제공 공급자 외에도 프로젝트에 등록할 수 있는 OpenAI 호환 API 엔드포인트인 맞춤형 런타임을 지원합니다. 맞춤형 런타임은 이전에는 사용자 정의 프로바이더라고 했습니다. 팀에서 서빙하는 에이전트 프로토타입, 로컬 모델 또는 지원되는 공급자 모델의 이전 버전과 같은 모델을 테스트하려면 맞춤형 런타임을 사용하세요. UI 또는 Python SDK에서 맞춤형 런타임을 등록하려면 맞춤형 런타임을 참조하세요. 맞춤형 런타임을 등록한 후 모델 선택 드롭다운에서 해당 모델을 선택하고 표준 플레이그라운드 기능을 사용해 테스트하세요.

​
로컬 모델을 맞춤형 런타임으로 사용

플레이그라운드에서 로컬로 실행 중인 모델을 테스트하려면 ngrok와 Ollama를 사용해 CORS 제한을 우회할 수 있는 임시 공개 URL을 만드세요. 이렇게 하면 브라우저 보안 정책을 위반하지 않고도 플레이그라운드가 사용자의 머신에서 실행 중인 모델에 연결할 수 있습니다. 설정하려면 다음 단계를 따르세요:
  1. 사용 중인 운영 체제에 맞는 ngrok를 설치합니다.
  2. Ollama 모델을 시작합니다. [MODEL]을 실행하려는 Ollama 모델 이름으로 바꾸세요.
  3. 별도의 터미널에서 필요한 CORS 헤더를 포함해 ngrok 터널을 생성합니다:
  4. ngrok가 시작되면 https://xxxx-xxxx.ngrok-free.app와 같은 공개 URL이 표시됩니다. UI에서 맞춤형 런타임을 등록할 때 이 URL을 Base URL로 사용하세요.
다음 다이어그램은 로컬 환경, ngrok 프록시, W&B 클라우드 서비스 간의 데이터 흐름을 보여줍니다:

​
저장된 모델

저장된 모델을 사용하면 공급자, 모델, 매개변수, 함수 훅을 재사용 가능한 사전 설정으로 저장할 수 있습니다. 다음 섹션에서는 모델을 저장하고, 사용하고, 업데이트하는 방법을 설명합니다.

​
모델 저장

워크플로에서 재사용할 수 있는 모델 프리셋을 만들고 구성할 수 있습니다. 모델을 저장하면 선호하는 설정, 매개변수, 함수 훅을 적용한 상태로 빠르게 불러올 수 있습니다.
  1. 프롬프트 헤더(메인 패널 상단)의 모델 선택 드롭다운에서 제공업체와 모델을 선택합니다.
  2. 프롬프트 헤더에서 채팅 설정 () 버튼을 클릭해 채팅 설정 패널을 엽니다.
  3. 채팅 설정 패널에서:
    • 모델 이름 (필수): 저장할 모델의 이름을 입력합니다.
    • 원하는 대로 매개변수를 조정합니다. Weave call 추적을 켜거나 끌 수도 있고, 함수를 추가할 수도 있습니다.
  4. 모델 게시를 클릭합니다. 모델이 저장되며 모델 선택 드롭다운의 저장된 모델에서 사용할 수 있습니다. 그런 다음 저장된 모델을 사용하고 업데이트할 수 있습니다.

​
저장된 모델 사용

이전에 저장한 모델로 전환해 실험이나 세션 전반에서 일관성을 유지하세요. 이렇게 하면 중단한 부분부터 이어서 작업할 수 있습니다.
  1. 프롬프트 헤더의 모델 선택 드롭다운에서 저장된 모델을 선택합니다.
  2. 저장된 모델 목록에서 불러올 모델을 선택합니다. 모델이 로드되면 플레이그라운드에서 사용할 수 있습니다.

​
저장된 모델 업데이트

기존 저장된 모델을 편집해 파라미터를 미세 조정하거나 설정을 새로 고칠 수 있습니다. 이렇게 하면 저장된 모델을 사용 사례 변화에 맞춰 최신 상태로 유지할 수 있습니다.
  1. 프롬프트 헤더의 모델 선택 드롭다운에서 저장된 모델을 선택합니다.
  2. 저장된 모델 목록에서 업데이트할 저장된 모델을 선택합니다.
  3. 프롬프트 헤더에서 채팅 설정 () 버튼을 클릭해 채팅 설정 패널을 엽니다.
  4. 채팅 설정 패널에서 원하는 대로 파라미터를 조정합니다. Weave call 추적을 켜거나 끌 수도 있고, 함수를 추가할 수도 있습니다.
  5. 모델 업데이트를 클릭합니다. 그러면 모델이 업데이트되어 모델 선택 드롭다운의 저장된 모델에서 사용할 수 있게 됩니다. 저장된 모델의 버전은 자동으로 증가합니다.