AI 할루시네이션이란: 거짓말하는 이유와 예방하는 프롬프트

Q: AI 할루시네이션을 프롬프트로 줄일 수 있나요?

네. 모르면 모른다고 해 지어내지 마 각 주장에 근거를 표시해를 프롬프트에 넣으면 거짓 정보가 크게 줄어듭니다. 다만 0이 되지는 않으므로 중요한 정보는 사람이 확인해야 합니다.

Q: AI는 왜 거짓말을 하나요?

거짓말이라기보다 AI는 그럴듯한 다음 단어를 확률로 잇기 때문에 모르는 빈칸도 자신감 있게 메웁니다. 진실을 아는 게 아니라 패턴을 잇는 것이라 없는 출처·통계를 만들어내기도 합니다.

Q: 어떤 정보에서 할루시네이션이 잦나요?

최신 사건·날짜 구체적 통계·수치 출처·논문 인용에서 특히 잦습니다. 반대로 일반 상식·개념 설명은 학습 데이터가 풍부해 비교적 안전합니다.

Q: 출처를 알려줘라고 하면 정확해지나요?

도움이 되지만 출처를 지어내지 말고 모르면 출처 불명이라고 해를 함께 넣어야 합니다. 안 그러면 그럴듯한 가짜 출처를 만들 수 있으므로 받은 출처는 실제 존재하는지 확인하세요.

Q: 자료를 주고 그 안에서만 답하게 하면 안전한가요?

훨씬 안전해집니다. 주어진 자료 안에서만 답하고 없는 내용은 자료에 없음이라고 해를 넣으면 외부 지식 혼입을 막습니다. 단 자료 해석을 잘못할 수 있으니 핵심은 확인하세요.

Q: 예방 프롬프트를 쓰면 검증을 안 해도 되나요?

아닙니다. 예방은 빈도를 줄일 뿐 보증이 아닙니다. 1차로 프롬프트로 거르고 수치·출처·고유명사 같은 핵심만 원자료로 검증하는 2단 방어가 효율적입니다.

AI는 모르는 것도 모른다고 하지 않고 그럴듯하게 지어냅니다. 이걸 할루시네이션(환각)이라고 합니다. 다 쓰고 나서 일일이 검증하는 것도 방법이지만, 더 좋은 건 애초에 지어내지 않게 프롬프트로 막는 것입니다. "모르면 모른다고 해", "출처를 표시해" 한 줄이 거짓 정보를 크게 줄입니다.

이 글은 AI가 거짓말하는 이유와, 요청 단계에서 할루시네이션을 예방하는 프롬프트 기법, 그리고 그래도 남는 위험을 줄이는 법을 정리합니다. 기본기는 프롬프트 5가지 핵심 원칙을 참고하세요.

AI 할루시네이션이란 무엇이고 왜 생기나

할루시네이션은 AI가 사실이 아닌 내용을 사실인 것처럼 그럴듯하게 만들어내는 현상입니다. AI는 '진실'을 아는 게 아니라 '그럴듯한 다음 단어'를 확률로 잇기 때문에, 빈 곳을 자신감 있게 채우다 없는 출처·통계·사건을 지어냅니다.

AI에게는 "모른다"가 자연스러운 답이 아닙니다. 학습 데이터에 없거나 모호한 질문일수록 빈칸을 평균적인 그럴듯함으로 메웁니다. 그래서 최신 사실·구체적 수치·전문 인용에서 할루시네이션이 잦습니다.

할루시네이션이 잦은 상황

상황	위험	이유
최신 사건·날짜	높음	학습 시점 이후 정보
구체적 통계·수치	높음	그럴듯하게 지어냄
출처·논문 인용	매우 높음	없는 출처 생성
일반 상식·설명	낮음	학습 데이터 풍부

요청 단계에서 할루시네이션 줄이는 프롬프트

할루시네이션은 프롬프트에 '모르면 모른다고 하라'와 '근거를 표시하라'를 넣는 것만으로 크게 줄어듭니다. 핵심은 AI에게 지어낼 여지를 주지 않고, 불확실성을 드러내도록 요청하는 것입니다.

받은 답을 사후 검증하는 것도 필요하지만, 요청 단계에서 막으면 검증 부담 자체가 줄어듭니다. 아래 지시문을 평소 프롬프트에 한 줄씩 더해 보세요.

예방 프롬프트 5가지 지시문

"모르거나 불확실하면 '모른다'고 답해. 지어내지 마."
"각 주장에 근거(출처·자료)를 함께 표시해."
"확실한 것과 추측을 구분해서 표시해."
"주어진 자료 안에서만 답하고, 없는 내용은 추가하지 마."
"수치·날짜·고유명사는 불확실하면 '확인 필요'로 표시해."

요청 단계에서 할루시네이션을 예방하는 프롬프트 지시문을 보여주는 다이어그램

복붙용 할루시네이션 예방 프롬프트 템플릿

아래 템플릿은 역할·맥락·작업·형식에 '예방 조건'을 더했습니다. [대괄호]만 바꿔 쓰세요. 사실이 중요한 작업일수록 예방 조건을 빠뜨리지 마세요.

특히 보고서·인용·시장 정보처럼 외부에 나가는 내용은 예방 조건 + 사후 검증을 함께 쓰는 것이 안전합니다.

1 · 사실 정리

너는 신중한 리서처야(역할). [주제]에 대해 정리해 줘(작업). 단, 확실한 것만 쓰고 불확실하면 '확인 필요'로 표시, 각 항목에 근거를 붙여(예방 조건).

2 · 자료 기반

아래 [자료] 안에서만 답해(맥락): [자료]. 자료에 없는 내용은 '자료에 없음'이라고 해. 추측·일반지식 추가 금지(예방 조건).

3 · 인용 요청

이 주장에 대한 출처를 알려 줘(작업). 단, 실제로 확실한 출처만, 모르면 '출처 불명'이라고 해. 출처를 지어내지 마(예방 조건).

4 · 검증 분리

방금 답에서 사실 확인이 필요한 부분만 목록으로 뽑아 줘(작업). 내가 직접 검증할 수 있게 표시(형식).

예방해도 남는 위험을 줄이는 법

예방 프롬프트를 써도 할루시네이션이 0이 되지는 않으므로, 중요한 정보는 사람이 최종 확인해야 합니다. 예방은 빈도를 줄이는 것이지 보증이 아닙니다 — 핵심 수치·출처·의사결정 근거는 원자료로 대조하세요.

AI가 "확실하다"고 말해도 그것이 사실의 증거는 아닙니다. 특히 책임이 따르는 문서일수록, 예방 프롬프트로 1차로 거르고 핵심만 사람이 검증하는 2단 방어가 효율적입니다.

예방 프롬프트는 빈도를 줄일 뿐 보증이 아닙니다. 통계·인용·최신 사실 같은 핵심은 반드시 원자료·1차 출처로 대조하세요.

2단 방어 전략

1차(예방): 프롬프트에 "모르면 모른다·근거 표시" 조건
2차(검증): 수치·출처·고유명사만 원자료로 대조

점검 대상	방법
통계·수치	원자료·공식 출처와 대조
인용·논문	실제 존재하는지 검색 확인
최신 사실	발행일·1차 출처 확인

할루시네이션 예방 점검 0%

"모르면 모른다·지어내지 마"를 넣었다 각 주장에 근거 표시를 요청했다 자료 기반이면 "자료 안에서만"을 넣었다 수치·출처·고유명사를 원자료로 대조했다 인용·논문이 실제 존재하는지 확인했다

자주 묻는 질문 (FAQ)

Q. AI 할루시네이션을 프롬프트로 줄일 수 있나요?

네. "모르면 모른다고 해, 지어내지 마", "각 주장에 근거를 표시해"를 프롬프트에 넣으면 거짓 정보가 크게 줄어듭니다. 다만 0이 되지는 않으므로 중요한 정보는 사람이 확인해야 합니다.

Q. AI는 왜 거짓말을 하나요?

거짓말이라기보다, AI는 '그럴듯한 다음 단어'를 확률로 잇기 때문에 모르는 빈칸도 자신감 있게 메웁니다. 진실을 아는 게 아니라 패턴을 잇는 것이라, 없는 출처·통계를 만들어내기도 합니다.

Q. 어떤 정보에서 할루시네이션이 잦나요?

최신 사건·날짜, 구체적 통계·수치, 출처·논문 인용에서 특히 잦습니다. 반대로 일반 상식·개념 설명은 학습 데이터가 풍부해 비교적 안전합니다.

Q. "출처를 알려줘"라고 하면 정확해지나요?

도움이 되지만, "출처를 지어내지 말고 모르면 출처 불명이라고 해"를 함께 넣어야 합니다. 안 그러면 그럴듯한 가짜 출처를 만들 수 있으므로, 받은 출처는 실제 존재하는지 확인하세요.

Q. 자료를 주고 그 안에서만 답하게 하면 안전한가요?

훨씬 안전해집니다. "주어진 자료 안에서만 답하고 없는 내용은 '자료에 없음'이라고 해"를 넣으면 외부 지식 혼입을 막습니다. 단, 자료 해석을 잘못할 수 있으니 핵심은 확인하세요.

Q. 예방 프롬프트를 쓰면 검증을 안 해도 되나요?

아닙니다. 예방은 빈도를 줄일 뿐 보증이 아닙니다. 1차로 프롬프트로 거르고, 수치·출처·고유명사 같은 핵심만 원자료로 검증하는 2단 방어가 효율적입니다.

마무리

할루시네이션 대응의 핵심은 다 쓰고 검증하는 것보다, 요청 단계에서 "모르면 모른다고 해·근거를 표시해"로 애초에 줄이는 것입니다. 예방 프롬프트로 1차로 거르고 핵심 수치·출처만 사람이 검증하면, 거짓 정보 위험을 효율적으로 낮출 수 있습니다. 더 많은 활용법은 AI 교육 블로그에서 볼 수 있습니다.