Haru's 개발 블로그

보안 강화를 위한 프롬프트 엔지니어링 (Defensive Prompt Engineering)📌 AI 애플리케이션이 공개되면, 악의적인 사용자가 이를 악용할 수도 있습니다.✅ 프롬프트 해킹(prompt attacks)을 방어하는 것이 중요합니다.1️⃣ 프롬프트 추출 공격 (Prompt Extraction)공격자가 애플리케이션의 프롬프트(특히 시스템 프롬프트)를 추출하여 분석하는 공격 기법이를 통해 애플리케이션을 복제하거나 악용할 수 있음2️⃣ 감옥 탈출 및 프롬프트 주입 (Jailbreaking & Prompt Injection)모델이 원래 수행해서는 안 되는 악의적인 행동을 하도록 유도하는 공격예를 들어, 프롬프트 주입(prompt injection) 을 사용하여 제한된 정보를 모델이 공개하도록 만들 ..

명확하고 구체적인 지시 작성하기 (Write Clear and Explicit Instructions)AI와 소통하는 것은 사람과 소통하는 것과 비슷하기 때문에 명확성이 중요합니다.따라서 모델이 수행해야 할 작업을 명확하고 모호함 없이 설명하세요.예:모델이 에세이를 1점에서 5점까지 평가하도록 하고 싶다면, 어떤 기준을 사용할지 명확하게 설명해야 합니다.모델이 점수에 대해 불확실할 경우, 최선의 판단을 하도록 할 것인지, "모르겠다"라고 답변하게 할 것인지 지시해야 합니다.모델에게 특정 인물(Persona)을 설정하도록 요청하기모델에게 특정 역할을 부여하면 더 적절한 응답을 얻을 수 있습니다.예를 들어, 다음과 같은 문장을 평가하는 프롬프트를 생각해 봅시다:" 운동은 건강에 좋고, 기분을 상쾌하게 만들어..

개요업무를 진행하면서 혹은 개인적으로 배운 내용을 짧게나마 정리를 하고자 블로그 글을 작성했습니다. 프롬프트 소개 (Introduction to Prompting)현재 AI에서 가장 쉽게 접근 가능한 방법으로 프롬프트를 작성해서 생성하는 기능입니다.프롬프트는 일반적으로 다음과 같은 요소를 포함합니다. 작업 설명 (Task description)모델이 수행해야 할 작업, 모델이 수행해야 할 역할, 출력 형식을 설명합니다.작업 수행 예시 (Examples of how to do this task)예를 들어, 텍스트에서 유해성을 감지하는 모델을 원한다면, 유해한 경우와 유해하지 않은 경우의 예제를 제공할 수 있습니다.작업 (The task)모델이 실제로 수행해야 할 구체적인 작업을 포함합니다. 예를 들어, 질..