위협 방어
Threat Defense는 악의적인 프롬프트 공격, 탈옥, 명령 유출 및 출력 조작에 대한 실시간 보호 기능을 제공합니다.보호된 위협 벡터
주요 모듈
1. 프롬프트 쉴드 엔진
언어 모델에 도달하기 전에 들어오는 모든 프롬프트를 평가합니다.- 허용: 요청이 모든 안전 확인을 통과했습니다.
- 플래그: 요청이 허용되지만 관리 검토를 위해 보안 이벤트로 기록됩니다.
- 차단: 서명된 거부 이벤트로 요청이 즉시 차단됩니다.
2. 가드레일 출력
클라이언트 전달 전에 모델 출력을 모니터링하여 다음을 포착합니다.- 시스템 프롬프트 및 내부 컨텍스트 유출.
- 카나리아 토큰 유출.
- 의도하지 않은 역할 드리프트 또는 위험한 출력.
3. 카나리아 토큰
카나리아 토큰은 챗봇 지침에 삽입되는 고유하고 숨겨진 암호화 마커입니다.- 작동 방식: 공격자가 명령 추출에 성공하면 응답의 카나리아 마커가 즉시 우선순위가 높은 보안 경고를 트리거합니다.
- 구성: 관리자 ? 위협 방어? 카나리아 토큰을 사용하여 토큰을 생성, 순환 또는 모니터링합니다.
정책 구성 및 사고 관리
- 정책 구성: 관리자 ? 위협 방어? 정책. 엄격(공용 챗봇), 균형(표준 기업용) 또는 허용(테스트 환경) 중에서 선택하세요.
- 사건 검토: 관리 ?에서 플래그가 지정되거나 차단된 이벤트를 검사합니다. 위협 방어? 사고를 통해 공격 페이로드를 분석하고 민감도를 조정합니다.