Skip to main content
LangSmith를 사용하면 UI에서 직접 평가를 실행할 수 있습니다. Prompt Playground를 활용하면 코드를 작성하지 않고도 일련의 입력값에 대해 프롬프트나 모델 구성을 테스트하여 다양한 컨텍스트나 시나리오에서 얼마나 잘 작동하는지 확인할 수 있습니다. 평가를 실행하기 전에 기존 dataset이 있어야 합니다. UI에서 dataset을 생성하는 방법을 참고하세요. 코드로 실험을 실행하고 싶다면 SDK를 사용한 평가 실행을 참고하세요.

​
Prompt Playground에서 실험 생성하기​

  1. 사이드바에서 Playground를 클릭하여 playground로 이동합니다.
  2. 저장된 기존 프롬프트를 선택하거나 새 프롬프트를 생성하여 프롬프트를 추가합니다.
  3. Test over dataset 드롭다운에서 dataset을 선택합니다.
  • dataset 입력값의 키는 프롬프트의 입력 변수와 일치해야 합니다. 예를 들어, 위 동영상에서 선택한 dataset은 “blog”라는 키를 가진 입력값을 포함하고 있으며, 이는 프롬프트의 입력 변수와 정확히 일치합니다.
  • Prompt Playground에서는 최대 15개의 입력 변수만 허용됩니다.
  1. Start 버튼을 클릭하거나 CMD+Enter를 눌러 실험을 시작합니다. 이렇게 하면 dataset의 모든 예제에 대해 프롬프트가 실행되고 dataset 세부 정보 페이지에 실험 항목이 생성됩니다. 실험을 시작하기 전에 프롬프트를 prompt hub에 커밋하면 나중에 실험을 검토할 때 쉽게 참조할 수 있으므로 권장합니다.
  2. View full experiment를 클릭하여 전체 결과를 확인합니다. 실험 세부 정보 페이지로 이동하여 실험 결과를 확인할 수 있습니다.

​
실험에 평가 점수 추가하기​

평가자를 추가하여 특정 기준에 따라 실험을 평가하세요. Playground에서 +Evaluator 버튼을 사용하여 LLM-as-a-judge 또는 커스텀 코드 평가자를 추가할 수 있습니다. UI를 통해 평가자를 추가하는 방법에 대해 자세히 알아보려면 LLM-as-a-judge 평가자 정의 방법을 참고하세요.
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.