LLM-System 경계 설계

한 줄 정의

LLM은 Action을 제안하고, System이 Outcome을 확정한다. Guardrail이 제약을 감지한다.

핵심 구조

LLM        → Action 제안: ROUTE | PROBE | ASK
Guardrail  → 제약 감지: HardStop | Insufficiency
System     → Outcome 확정: PROCEED | DEFER | REJECT

해상도 테이블:

LLM Action	Guardrail	System Outcome
어떤 것이든	HardStop	REJECT
ASK	Insufficiency	PROCEED (질문 허용)
ROUTE/PROBE	Insufficiency	DEFER
어떤 것이든	Clean	PROCEED

왜 이렇게 분리하는가

• LLM이 Outcome까지 결정하면 보장 불가 (확률적)
• System이 Outcome을 확정하면 테스트 가능하고 예측 가능
• Guardrail이 LLM과 System 사이에서 제약을 강제 적용

적용 맥락

에이전트 파이프라인에서 “LLM이 결정하면 안 되는 것”이 있을 때. 특히 외부 시스템 실행, 데이터 변경, 사용자 에스컬레이션 판단.