ChatGPT 프롬프트 엔지니어링 전략 그 5번째 시간인 “외부 도구 사용”에 대해 설명해보겠습니다.
프롬프트 엔지니어링 전략 시리즈
전략 1: 임베딩 기반 검색을 사용해 효율적인 지식 검색 구현하기
모델은 입력의 일부로 제공되는 경우 외부 정보 소스를 활용할 수 있습니다. 이렇게 하면 모델이 더 많은 정보를 바탕으로 최신 답변을 생성하는 데 도움이 될 수 있습니다. 예를 들어, 사용자가 특정 영화에 대해 질문하는 경우 해당 영화에 대한 고품질 정보(예: 배우, 감독 등)를 모델 입력에 추가하는 것이 유용할 수 있습니다. 임베딩을 사용하면 효율적인 지식 검색을 구현할 수 있으므로 런타임에 관련 정보를 모델 입력에 동적으로 추가할 수 있습니다.
텍스트 임베딩은 텍스트 문자열 간의 관련성을 측정할 수 있는 벡터입니다. 유사하거나 관련성이 높은 문자열은 관련성이 낮은 문자열보다 서로 더 가깝습니다. 이러한 사실은 빠른 벡터 검색 알고리즘의 존재와 함께 임베딩을 사용해 효율적인 지식 검색을 구현할 수 있다는 것을 의미합니다. 특히, 텍스트 코퍼스를 청크로 분할하고 각 청크를 임베딩하여 저장할 수 있습니다. 그런 다음 주어진 쿼리를 임베드하고 벡터 검색을 수행하여 쿼리와 가장 관련성이 높은(즉, 임베딩 공간에서 서로 가장 가까운) 코퍼스에서 임베드된 텍스트 청크를 찾을 수 있습니다.
전략 2: 코드 실행을 사용하여 보다 정확한 계산을 수행하거나 외부 API를 호출하세요.
언어 모델 자체만으로는 산술이나 긴 계산을 정확하게 수행할 수 없습니다. 이러한 계산이 필요한 경우 모델에 자체 계산 대신 코드를 작성하고 실행하도록 지시할 수 있습니다. 특히 모델에 실행할 코드를 트리플 백틱과 같은 지정된 형식으로 입력하도록 지시할 수 있습니다. 출력이 생성된 후에는 코드를 추출하여 실행할 수 있습니다. 마지막으로, 필요한 경우 코드 실행 엔진(예: Python 인터프리터)의 출력을 다음 쿼리를 위한 모델의 입력으로 제공할 수 있습니다.
시스템
파이썬 코드를 세 개의 백틱으로 묶어 작성하고 실행할 수 있습니다(예: “`코드는 여기에 간다“). 이를 사용하여 계산을 수행합니다.
USER
다음 다항식의 모든 실수값의 근을 구합니다: 3*X**5 – 5*X**4 – 3*X**3 – 7*X – 10.
코드 실행을 위한 또 다른 좋은 사용 사례는 외부 API를 호출하는 것입니다. 모델에 API의 올바른 사용법을 알려주면 이를 활용하는 코드를 작성할 수 있습니다. API 사용 방법을 보여주는 문서 및/또는 코드 샘플을 제공함으로써 모델에게 API 사용 방법을 교육할 수 있습니다.
시스템
파이썬 코드를 세 개의 백틱으로 묶어 작성하고 실행할 수 있습니다. 또한 사용자가 친구에게 메시지를 보내는 데 도움이 되는 다음 모듈에 액세스할 수 있습니다:“`python
import message
message.write(to=”John”, message=”퇴근 후 만날래요?”)“`
경고: 모델에서 생성된 코드를 실행하는 것은 본질적으로 안전하지 않으므로 이를 실행하려는 모든 애플리케이션에서 예방 조치를 취해야 합니다. 특히 신뢰할 수 없는 코드로 인해 발생할 수 있는 피해를 제한하기 위해 샌드박스가 적용된 코드 실행 환경이 필요합니다.
전략 3: 모델에 특정 기능에 대한 액세스 권한 부여하기
Chat Completions API를 사용하면 요청에 함수 설명 목록을 전달할 수 있습니다. 이를 통해 모델이 제공된 스키마에 따라 함수 인수를 생성할 수 있습니다. 생성된 함수 인수는 API에서 JSON 형식으로 반환되며 함수 호출을 실행하는 데 사용할 수 있습니다. 그런 다음 함수 호출에 의해 제공된 출력을 다음 요청에서 모델에 다시 피드백하여 루프를 닫을 수 있습니다. 이는 외부 함수를 호출하기 위해 OpenAI 모델을 사용하는 권장 방식입니다.