logo
|
Blog
  • 회사 소개
ProductResearch

AI 답변 검증 프롬프트 7가지(2026): 출처 없는 주장과 잘못된 숫자 찾는 방법

AI 답변 검증 프롬프트 7가지를 바로 복사해 활용할 수 있도록 정리했습니다. ChatGPT와 Gemini 답변에서 출처 없는 주장, 가짜 인용, 오래된 정보와 잘못된 숫자를 찾아 원문과 대조하고 수정하는 단계별 방법을 설명합니다. 보고서·계약서에 활용하기 전 사람이 확인할 항목도 알아보세요.
Seunghwan Kim's avatar
Seunghwan Kim
Aug 31, 2026
AI 답변 검증 프롬프트 7가지(2026): 출처 없는 주장과 잘못된 숫자 찾는 방법
Contents
가장 먼저 복사할 30초 AI 답변 검증 프롬프트AI 답변에서 자주 발견되는 오류 5가지프롬프트만으로 사실 검증을 끝낼 수 없는 이유1. 검증할 주장만 분리하는 프롬프트2. 출처가 실제로 존재하는지 확인하는 프롬프트3. 출처가 주장을 실제로 뒷받침하는지 확인하는 프롬프트4. 잘못된 숫자와 계산을 찾는 프롬프트5. 과장된 표현과 범위 확대를 찾는 프롬프트6. 서로 모순되는 자료와 최신 정보를 찾는 프롬프트7. 검증 결과만 반영해 최종 답변을 수정하는 프롬프트그러면 AI 답변이 제대로 검증된 걸까요?다른 AI에게 다시 물어보면 어떨까요?더 확실한 검증이 필요하다면, 스쿠피참고자료

ChatGPT나 Gemini에 자료를 조사해 달라고 하면 출처와 숫자까지 포함된 그럴듯한 답변을 금방 받을 수 있어요.

문제는 답변이 자연스럽다고 해서 내용까지 정확한 것은 아니라는 점입니다.

  • 제시된 보고서나 논문이 실제로 존재하지 않을 수 있어요.

  • 출처는 존재하지만 AI가 설명한 내용이 원문에는 없을 수 있어요.

  • 원문의 숫자를 옮기면서 단위나 조사 기간이 달라질 수 있어요.

  • 일부 집단에서 확인된 결과를 전체에 적용되는 사실처럼 확대할 수 있어요.

  • 오래된 자료를 현재도 유효한 정보처럼 사용할 수 있어요.

OpenAI도 공식 도움말에서 ChatGPT가 틀린 답을 자신 있게 말하거나 존재하지 않는 인용문·연구·출처를 제시할 수 있다고 설명해요. 검색 기능이 제공하는 출처 역시 불완전하거나 오래됐거나 부정확할 수 있으므로 링크를 직접 열어 확인하라고 안내합니다.

Google도 Gemini에 출처가 표시되더라도 답변이 틀릴 수 있다고 명시하고 있어요. Gemini의 답변 재확인 기능은 웹에서 비슷하거나 다른 내용을 찾도록 도와주는 기능이지, 답변 전체가 사실이라고 보증하는 기능은 아닙니다.

따라서 AI 답변 검증은 단순히 “이거 맞아?”라고 다시 묻는 것으로 끝나지 않아요. 다음 다섯 단계를 거쳐야 합니다.

답변의 주장을 분리한다 → 출처가 실제로 존재하는지 확인한다 → 출처가 해당 주장을 뒷받침하는지 대조한다 → 숫자와 적용 범위를 확인한다 → 검증 결과에 맞게 답변을 수정한다

이번 글에서는 이 과정을 바로 실행할 수 있는 AI 답변 검증 프롬프트를 단계별로 소개해요.

가장 먼저 복사할 30초 AI 답변 검증 프롬프트

프롬프트를 하나만 사용하고 싶다면 아래 통합 버전을 복사해 보세요. 검증할 AI 답변과 근거 자료를 함께 제공하는 것이 가장 좋습니다.

아래 AI 답변을 사실 검증해 주세요.

당신의 역할은 답변을 더 그럴듯하게 고치는 것이 아니라, 답변 속 주장을 원문과 대조해 검증하는 것입니다.

[검증할 AI 답변]
여기에 ChatGPT, Gemini 또는 다른 AI가 작성한 답변을 붙여 넣으세요.

[검증에 사용할 자료]
여기에 원문, 파일, 공식 문서 또는 출처 링크를 제공하세요.
웹 검색을 사용할 수 있다면 공식 기관, 법령, 통계 원문, 기업 공식 문서, 학술 논문 등 1차 자료를 우선하세요.

다음 순서로 검증해 주세요.

1. 답변을 독립적으로 검증할 수 있는 주장 단위로 분리하세요.
2. 각 주장을 사실, 숫자, 인용, 계산, 해석, 의견으로 구분하세요.
3. 제시된 출처가 실제로 존재하고 열리는지 확인하세요.
4. 출처의 실제 내용이 해당 주장을 직접 뒷받침하는지 확인하세요.
5. 숫자의 단위, 분모, 기준일, 조사 기간, 비교 대상과 계산식을 확인하세요.
6. 원문보다 인과관계나 적용 범위를 넓힌 표현이 있는지 확인하세요.
7. 더 최신이거나 서로 모순되는 자료가 있다면 함께 표시하세요.

결과는 다음 표로 작성하세요.

| 주장 ID | AI 답변의 주장 | 유형 | 출처·파일 | 원문 위치 | 원문의 짧은 근거 | 판정 | 문제점 | 수정 문장 |
|---|---|---|---|---|---|---|---|---|

판정은 다음 중 하나만 사용하세요.

- 확인: 원문이 주장의 세부 내용까지 직접 뒷받침함
- 부분 확인: 핵심은 맞지만 숫자, 범위, 조건 또는 표현이 다름
- 반박: 원문이 해당 주장과 명확히 모순됨
- 근거 없음: 제시된 자료에서 근거를 찾지 못함
- 오래됨: 과거에는 맞았지만 더 최신 자료가 있음
- 확인 불가: 출처에 접근할 수 없거나 자료가 제대로 인식되지 않음

중요한 규칙:

- 당신의 기존 지식이나 기억을 검증 근거로 사용하지 마세요.
- 존재하지 않는 출처, URL, 페이지 번호, 인용문을 만들지 마세요.
- 출처를 찾지 못했다는 이유만으로 주장이 거짓이라고 단정하지 마세요.
- ‘근거 없음’과 ‘반박’을 반드시 구분하세요.
- 여러 출처가 충돌하면 하나를 임의로 선택하지 말고 각각의 발행일과 기준을 보여주세요.
- 검증하지 못한 내용은 솔직하게 ‘확인 불가’라고 표시하세요.

마지막에는 다음 내용을 작성하세요.

1. 먼저 수정해야 할 위험한 주장 3개
2. 사람이 원문에서 직접 확인해야 할 항목
3. 검증된 내용만 반영한 수정 답변

이 프롬프트가 검증을 자동으로 끝내주는 것은 아니에요. 대신 긴 AI 답변에서 어떤 문장을 어떤 자료와 대조해야 하는지 정리해 주는 검증표를 만들어 줍니다.

AI 답변에서 자주 발견되는 오류 5가지

AI 답변을 검증할 때는 모든 문장을 같은 방식으로 확인할 필요가 없어요. 먼저 다음 다섯 가지 오류가 있는지 살펴보면 됩니다.

오류 유형

예시

확인할 내용

존재하지 않는 출처

실제로 검색되지 않는 논문이나 보고서

문서 제목, 저자, 발행 기관, URL

연결되지 않는 출처

출처는 있지만 해당 주장을 말하지 않음

원문의 실제 문장과 앞뒤 문맥

잘못된 숫자

100에서 120으로 증가했는데 25% 증가라고 설명

원자료, 단위, 분모, 계산식

범위 확대

일부 참가자의 결과를 모든 사람에게 적용

연구 대상, 조건, 기간, 예외

오래된 정보

개정 전 법령이나 과거 가격을 현재 기준으로 설명

발표일, 시행일, 최신 버전

특히 출처가 있다는 사실과 출처가 주장을 뒷받침한다는 사실은 다릅니다.

예를 들어 AI가 어떤 보고서를 출처로 제시했다고 해도, 해당 보고서가 비슷한 주제를 다룬다는 이유만으로 AI의 문장 전체가 검증되는 것은 아니에요. 실제 원문에 같은 숫자와 조건이 있는지 확인해야 합니다.

프롬프트만으로 사실 검증을 끝낼 수 없는 이유

AI에게 “방금 답변을 다시 검증해 줘”라고 요청하면 기존 답변을 조금 고쳐서 다시 제시할 수 있어요. 하지만 동일한 모델이 자신의 기억에 의존해 답변을 재검토하는 것은 독립적인 사실 검증이라고 보기 어렵습니다.

원문이나 신뢰할 수 있는 외부 자료를 제공하지 않았다면 AI가 할 수 있는 일은 다음 정도예요.

  • 검증이 필요한 주장을 선별하기

  • 출처가 필요한 문장을 표시하기

  • 논리적인 비약이나 모순 후보를 찾기

  • 숫자의 계산식을 다시 확인하기

  • 사람이 확인할 체크리스트 만들기

반면 다음 작업에는 실제 근거 자료가 필요해요.

  • 인용한 논문이나 보고서가 실제로 존재하는지 확인하기

  • 원문이 AI의 주장을 직접 뒷받침하는지 판단하기

  • 최신 법령이나 정책으로 변경됐는지 확인하기

  • 수치의 분모와 조사 조건을 검토하기

  • 계약서나 내부 규정의 실제 문구를 확인하기

영국 하원도서관의 생성형 AI 활용 안내도 AI가 만든 사실, 날짜, 숫자와 인용을 권위 있는 자료로 확인하고 최종 결과에 사람이 책임지는 과정을 권고해요.

1. 검증할 주장만 분리하는 프롬프트

긴 AI 답변을 한꺼번에 검증하면 무엇을 확인했는지 알기 어려워요. 먼저 답변을 작은 주장 단위로 나눠야 합니다.

아래 AI 답변을 검증 가능한 최소 주장 단위로 분리해 주세요.

[AI 답변]
여기에 답변을 붙여 넣으세요.

각 문장을 다음 유형으로 분류하세요.

- 사실: 이름, 날짜, 사건, 제도처럼 사실 여부를 확인할 수 있는 내용
- 숫자: 금액, 비율, 표본 수, 기간, 순위
- 인용: 특정 인물이나 문서의 발언·문구
- 계산: 증가율, 평균, 합계, 환산 결과
- 해석: 사실을 바탕으로 AI가 도출한 의미
- 의견: 선호나 가치 판단
- 권고: 특정 행동을 하라는 제안

다음 표로 작성하세요.

| 주장 ID | 원래 문장 | 최소 주장 | 유형 | 틀렸을 때의 영향 | 필요한 검증 자료 |
|---|---|---|---|---|---|

한 문장에 서로 다른 사실이나 숫자가 들어 있으면 여러 주장으로 나누세요.
검증 없이 사실로 받아들이기 위험한 주장은 ‘우선 검증’으로 표시하세요.
아직 사실 여부를 판단하거나 문장을 수정하지 마세요.

이 단계의 목적은 정답을 찾는 것이 아니라 검증할 목록을 만드는 것이에요.

법률 문서라면 조항과 시행일, 연구 보고서라면 표본과 결론, 재무 자료라면 금액과 계산 결과를 우선 검증 대상으로 잡을 수 있습니다.

2. 출처가 실제로 존재하는지 확인하는 프롬프트

AI는 실제처럼 보이는 문서 제목, 저자, 학술지와 URL을 만들어낼 수 있어요. 따라서 인용 내용을 확인하기 전에 출처의 존재 여부부터 검사해야 합니다.

아래 AI 답변에 포함된 출처와 인용 정보를 확인해 주세요.

[AI 답변]
여기에 답변을 붙여 넣으세요.

다음 항목을 각각 확인하세요.

1. 문서나 웹페이지가 실제로 존재하는가
2. URL이 열리는가
3. 문서 제목과 발행 기관이 일치하는가
4. 저자와 발행 연도가 일치하는가
5. AI가 제시한 페이지나 장·절이 실제로 존재하는가
6. 현재 접근 가능한 공식 원문이나 원본 링크가 있는가

결과는 다음 표로 작성하세요.

| 출처 ID | AI가 제시한 출처 | 실제 존재 여부 | 실제 제목·기관 | 발행일 | 원문 URL | 확인 결과 |
|---|---|---|---|---|---|---|

확인 결과는 다음 중 하나로 표시하세요.

- 존재 확인
- 일부 정보 불일치
- 원문 접근 불가
- 존재 확인 불가
- 존재하지 않는 출처로 의심

웹 검색이나 원문 접근 권한이 없다면 출처를 추측하지 말고 ‘확인 불가’라고 표시하세요.
비슷한 이름의 문서를 원래 출처인 것처럼 바꾸지 마세요.

출처를 검색해 찾지 못했다고 해서 곧바로 가짜라고 단정해서는 안 돼요. 비공개 자료, 유료 데이터베이스, 사내 문서처럼 검색할 수 없는 출처일 수도 있기 때문입니다.

따라서 존재하지 않음보다 존재 확인 불가라고 표시한 뒤 사람이 다시 확인하는 것이 안전해요.

3. 출처가 주장을 실제로 뒷받침하는지 확인하는 프롬프트

실제로 존재하는 출처라도 AI가 해당 자료의 의미를 잘못 설명할 수 있어요. 출처의 존재와 인용의 적절성을 분리해서 확인해야 합니다.

AI 답변의 각 주장과 제시된 출처 원문을 대조해 주세요.

[AI 답변]
여기에 답변을 붙여 넣으세요.

[출처 원문 또는 파일]
검증할 원문, 파일 또는 공식 링크를 제공하세요.

각 주장에 대해 다음 내용을 확인하세요.

1. 원문에 해당 내용이 직접 적혀 있는가
2. 원문의 앞뒤 문맥이 AI의 해석과 일치하는가
3. AI가 원문의 조건이나 예외를 빠뜨리지 않았는가
4. 출처가 주제만 비슷한 것이 아니라 해당 주장을 실제로 뒷받침하는가
5. 저자의 주장과 AI의 추론이 구분돼 있는가

다음 표로 작성하세요.

| 주장 | 출처·파일 | 페이지·섹션 | 원문의 짧은 근거 | 판정 | 빠진 조건 | 수정 문장 |
|---|---|---|---|---|---|---|

판정 기준:

- 확인: 원문이 주장 전체를 직접 뒷받침함
- 부분 확인: 일부만 뒷받침하거나 중요한 조건이 빠짐
- 반박: 원문이 주장과 모순됨
- 근거 없음: 원문에 해당 내용이 없음
- 확인 실패: 파일이나 해당 위치를 제대로 읽지 못함

원문에서 근거를 찾지 못했을 때 AI의 일반 지식으로 빈칸을 채우지 마세요.

“원문에 없음”과 “AI가 원문을 제대로 찾지 못함”도 구분해야 해요. 스캔 상태가 좋지 않거나 표와 이미지로만 제시된 자료라면 내용을 읽지 못했을 수 있습니다.

4. 잘못된 숫자와 계산을 찾는 프롬프트

숫자 검증은 값만 비교해서는 부족해요. 단위, 분모, 기간과 계산 방식을 함께 확인해야 합니다.

예를 들어 매출이 100억 원에서 120억 원으로 늘었다면 증가율은 20%예요. AI가 이를 25%라고 설명했다면 출처의 두 숫자는 맞지만 계산 결과는 틀린 것입니다.

이 경우 판정은 단순한 출처 있음이 아니라 부분 확인·계산 오류가 되어야 해요.

아래 AI 답변에 포함된 모든 숫자와 계산을 검증해 주세요.

[AI 답변]
여기에 답변을 붙여 넣으세요.

[원자료]
숫자의 근거가 된 표, 보고서, 파일 또는 링크를 제공하세요.

다음 항목을 확인하세요.

- AI 답변에 적힌 숫자
- 원문에 적힌 숫자
- 단위와 통화
- 조사 기간과 기준일
- 비교 대상과 기준값
- 비율의 분모와 분자
- 퍼센트와 퍼센트포인트의 구분
- 세전·세후, 부가세 포함·제외 여부
- 원문에 직접 적힌 값인지 AI가 계산한 값인지
- 반올림과 환산 과정
- 표, 본문, 각주 사이의 차이

계산이 포함됐다면 사용한 식을 공개하고 다시 계산하세요.

결과는 다음 표로 작성하세요.

| 항목 | AI 답변의 값 | 원문의 값 | 단위·기준 | 계산식 | 재계산 결과 | 판정 | 수정값 |
|---|---:|---:|---|---|---:|---|---:|

숫자가 다르다고 곧바로 오류라고 판단하지 마세요.
기준일, 단위, 환율, 문서 버전 또는 분모가 다른지 먼저 확인하세요.
자료에 계산 근거가 부족하면 임의로 값을 만들지 말고 ‘계산 불가’라고 표시하세요.

숫자를 다루는 언어모델의 어려움을 분석한 NAACL 연구도 숫자를 주변 문맥과 연결해 해석하고 계산하는 작업이 별도의 어려운 과제임을 보여줘요.

금액과 비율이 중요한 회계·재무 자료라면 AI의 문장만 확인하지 말고 원자료와 계산식을 함께 남기는 것이 좋습니다.

5. 과장된 표현과 범위 확대를 찾는 프롬프트

AI는 제한적인 결과를 더 넓은 결론으로 바꾸기도 해요.

예를 들어 원문에는 “설문에 참여한 500명의 원격 근무자에게서 연관성이 관찰됐다”고 적혀 있는데, AI가 이를 “원격근무는 모든 직장인의 생산성을 높인다”고 설명할 수 있습니다.

이때 숫자와 출처가 맞더라도 결론의 범위는 달라졌어요.

아래 AI 답변이 원문의 주장보다 결론을 과장하거나 범위를 넓혔는지 검토해 주세요.

[AI 답변]
여기에 답변을 붙여 넣으세요.

[근거 원문]
원문이나 파일을 제공하세요.

다음 변화를 찾아주세요.

- ‘연관이 있음’을 ‘원인임’으로 바꾼 경우
- ‘가능성이 있음’을 ‘확실함’으로 바꾼 경우
- 일부 집단의 결과를 전체 집단으로 확대한 경우
- 특정 기간의 결과를 항상 적용되는 사실처럼 설명한 경우
- 저자의 해석을 확정된 사실처럼 표현한 경우
- 예외와 한계를 삭제한 경우
- 하나의 사례를 일반적인 추세로 확대한 경우

다음 표로 작성하세요.

| AI의 표현 | 원문의 표현 | 달라진 범위·강도 | 판정 | 원문에 맞는 수정 문장 |
|---|---|---|---|---|

원문이 사용한 조건부 표현을 유지하세요.
원문보다 더 강한 인과관계나 일반화를 새로 만들지 마세요.

과학 논문 요약에서도 이러한 문제가 확인된 바 있어요. 다만 특정 연구의 결과를 모든 AI 답변에 적용할 수는 없으므로, 정해진 오류율처럼 사용하기보다는 검증이 필요한 오류 유형으로 이해하는 것이 적절합니다.

6. 서로 모순되는 자료와 최신 정보를 찾는 프롬프트

AI가 제시한 자료가 틀린 것이 아니라 오래된 것일 수도 있어요. 개정되는 법령, 사내 규정, 가격, 제품 기능과 정책은 기준일을 반드시 확인해야 합니다.

아래 AI 답변과 관련된 자료의 최신성과 상충 여부를 검토해 주세요.

[AI 답변]
여기에 답변을 붙여 넣으세요.

[관련 자료]
검토할 문서, 파일 또는 링크를 제공하세요.

다음 순서로 확인하세요.

1. 각 자료의 작성일, 발표일, 시행일과 개정일을 정리하세요.
2. 같은 항목에 서로 다른 내용이 있는지 찾으세요.
3. 차이가 문서 버전, 적용 대상, 지역, 기간 또는 정의 때문인지 확인하세요.
4. 더 최신 자료가 있다고 해서 과거 자료가 당시에도 틀렸다고 단정하지 마세요.
5. 어떤 기준을 적용해야 하는지 자료만으로 판단할 수 없다면 확인 필요로 남겨두세요.

다음 표로 작성하세요.

| 항목 | 자료 A의 내용 | 자료 A 기준일 | 자료 B의 내용 | 자료 B 기준일 | 차이의 원인 | 적용 판단 |
|---|---|---|---|---|---|---|

자료가 충돌하면 하나를 임의로 정답으로 선택하지 마세요.
현재 적용되는 자료를 판단할 근거가 부족하면 ‘담당자 확인 필요’라고 표시하세요.

법령은 공포일과 시행일이 다를 수 있고, 사내 규정은 개정본과 시행 전 안내문이 함께 남아 있을 수 있어요. 따라서 단순히 날짜가 가장 최근이라는 이유만으로 적용 문서를 정하면 안 됩니다.

7. 검증 결과만 반영해 최종 답변을 수정하는 프롬프트

검증표를 만들었다면 마지막에는 확인된 내용만 남겨 답변을 다시 작성해야 해요.

앞서 작성한 검증 결과를 바탕으로 AI 답변을 수정해 주세요.

수정 규칙:

1. ‘확인’으로 판정된 주장은 유지하세요.
2. ‘부분 확인’ 주장은 원문의 조건과 범위에 맞게 표현을 낮추세요.
3. ‘반박’된 주장은 삭제하거나 원문에 맞게 바로잡으세요.
4. ‘근거 없음’ 주장은 사실처럼 쓰지 말고 ‘현재 자료에서 확인되지 않음’으로 표시하세요.
5. ‘오래됨’으로 판정된 주장은 기준일을 밝히거나 최신 자료로 교체하세요.
6. ‘확인 불가’ 주장은 임의로 보완하지 마세요.
7. 숫자는 검증표의 수정값과 단위를 사용하세요.
8. 수정된 사실 문장마다 출처를 연결하세요.

출력 형식:

### 수정 답변
검증 결과를 반영한 최종 답변

### 수정 내역
| 기존 문장 | 수정 문장 | 수정 이유 | 근거 |
|---|---|---|---|

### 아직 확인이 필요한 내용
사람이 원문이나 담당자에게 추가로 확인해야 할 항목

이렇게 하면 AI가 처음 작성한 문장에서 출처가 필요한 주장과 잘못된 숫자, 과장된 표현을 찾아 수정할 수 있어요.

그러면 AI 답변이 제대로 검증된 걸까요?

아직 검증이 끝난 것은 아니에요.

앞에서 소개한 검증 프롬프트는 AI 답변을 문장별로 나누고, 출처가 필요한 주장과 의심스러운 숫자를 찾아내는 데 도움이 됩니다. 원문을 함께 제공했다면 답변과 자료가 다른 부분도 어느 정도 구분할 수 있어요.

하지만 프롬프트를 실행한 AI가 다음과 같이 답했다고 가정해 볼게요.

“모든 주장을 검토한 결과, 제시된 출처와 숫자가 정확합니다.”

이 문장 자체를 다시 믿어도 되는지는 별개의 문제예요. AI가 출처를 제대로 찾지 못했거나, 원문의 일부만 읽었거나, 출처와 비슷한 내용을 근거로 전체 주장이 맞다고 판단했을 수도 있기 때문입니다.

검증 프롬프트에는 분명한 한계가 있어요.

  • AI가 출처를 실제로 열어보지 않고 기존 지식을 바탕으로 판단할 수 있어요.

  • 존재하지 않는 출처나 원문에 없는 페이지를 다시 제시할 수 있어요.

  • 출처는 맞지만, 해당 출처가 주장 전체를 뒷받침하지 않을 수 있어요.

  • 긴 문서나 여러 파일에서는 필요한 부분을 놓칠 수 있어요.

  • 숫자가 원문에 적혀 있어도 단위·분모·기준일을 잘못 해석할 수 있어요.

  • 같은 AI가 자신의 답변을 검토하면 처음의 판단을 반복할 수 있어요.

따라서 검증 프롬프트는 정답을 판정하는 도구라기보다, 사람이 확인해야 할 주장과 출처를 정리하는 도구에 가까워요.

다른 AI에게 다시 물어보면 어떨까요?

ChatGPT의 답변을 Gemini에 넣거나, Gemini의 답변을 Claude에 넣어 검토하게 할 수도 있어요.

서로 다른 AI가 다른 숫자나 결론을 제시한다면 문제가 있을 가능성이 높은 부분을 찾는 데는 도움이 됩니다. 예를 들어 ChatGPT는 증가율을 25%라고 하고 Gemini는 20%라고 한다면, 해당 계산을 직접 확인해야 한다는 신호를 얻을 수 있어요.

하지만 두 AI가 같은 답을 했다고 해서 그 내용이 사실로 검증된 것은 아닙니다.

여러 AI가 동일한 웹페이지를 참조했을 수도 있고, 비슷한 학습자료에 포함된 같은 오류를 반복했을 수도 있어요. 반대로 두 AI의 답변이 다르더라도 어느 쪽이 맞는지는 원문을 확인하기 전까지 알 수 없습니다.

결국 AI에게 다시 묻는 방식은 다음 단계까지만 도와줄 수 있어요.

“어떤 내용이 의심스러운가?”

하지만 최종적으로 필요한 답은 이것입니다.

“실제 원문에는 무엇이라고 적혀 있는가?”

AI 답변을 더 확실하게 검증하려면 다른 AI의 의견을 하나 더 받는 것보다, 답변의 근거가 된 원문을 직접 확인할 수 있어야 합니다.

더 확실한 검증이 필요하다면, 스쿠피

스쿠피(Scoopie)는 논문, 보고서, 계약서, 규정집, 매뉴얼과 같은 자료를 파일 연동하고 질문하면, 연동한 자료를 근거로 출처가 있는 답변을 제공하는 AI 업무보조 에이전트예요.

일반적인 AI에서는 답변을 받은 뒤 사용자가 출처를 다시 검색하고, 해당 문서에서 근거 문장을 찾아야 해요. 출처 링크가 있더라도 문서 첫 페이지로만 연결되면 수십 페이지의 원문을 다시 뒤져야 합니다.

스쿠피는 이 과정을 다르게 수행해요.

  1. 검토할 원문 자료를 파일 연동해요.

  2. 필요한 내용을 질문하거나 앞에서 소개한 검증 프롬프트를 입력해요.

  3. 스쿠피가 연동한 자료를 근거로 답변을 작성해요.

  4. 답변의 각 문장에는 근거가 된 출처가 함께 표시돼요.

  5. 출처를 클릭하면 스쿠피의 원문 뷰어가 열려 실제 근거 문장을 하이라이트해 보여줘요.

예를 들어 스쿠피가 다음과 같이 답했다고 가정해 볼게요.

“A 보고서에서 조사 대상자의 32%가 업무 시간이 줄었다고 응답했습니다.”

이때 사용자는 답변만 믿고 넘어가는 것이 아니라 출처를 클릭해 다음 내용을 바로 확인할 수 있어요.

  • 원문에도 실제로 32%라고 적혀 있는지

  • 조사 대상자는 누구인지

  • 조사 기간은 언제인지

  • 업무 시간이 얼마나 줄었다는 의미인지

  • 표의 각주나 예외 조건이 빠지지 않았는지

  • AI가 일부 집단의 결과를 전체 결과로 확대하지 않았는지

숫자뿐 아니라 인용문과 결론도 같은 방식으로 확인할 수 있습니다. 답변에서 출처를 클릭하면 해당 파일의 근거 위치로 이동하고, 인용된 문장을 뷰어에서 하이라이트해 보여주기 때문에 AI가 설명한 내용과 실제 원문을 곧바로 대조할 수 있어요.

앞에서 소개한 검증 프롬프트는 AI 답변에서 의심스러운 주장과 숫자를 체계적으로 찾아낼 때 유용해요. 하지만 스쿠피에서는 별도의 프롬프트로 출처를 다시 요구하지 않아도 답변에 근거가 기본으로 표시됩니다.

AI 답변을 제대로 검증하는 기준은 다른 AI가 같은 답을 내놓았는지가 아니라, 실제 원문이 그 답변을 뒷받침하는지 확인할 수 있는가에 있어요. 중요한 숫자와 인용, 조건이 포함된 자료를 다룬다면 답변만 받아보는 데서 끝내지 말고, 출처와 원문까지 직접 대조해 보세요.

스쿠피로 출처가 있는 답변 받아보기


참고자료

  1. Does ChatGPT tell the truth? – OpenAI Help Center

  2. Searching the web with ChatGPT – OpenAI Help Center

  3. View related sources and double-check responses from Gemini Apps – Google Gemini Apps Help

  4. Learn about responses from Gemini Apps – Google Gemini Apps Help

  5. Working with AI and spotting AI-generated text – House of Commons Library

  6. 생성형 AI 사용 관련 주의 보안권고 – KISA 보호나라

  7. Enabling Large Language Models to Generate Text with Citations – Gao et al.

  8. Exploiting Numerical-Contextual Knowledge to Improve Numerical Reasoning in Question Answering – Kim et al.

  9. Generalization bias in large language model summarization of scientific research – Peters & Chin-Yee

  10. 스쿠피 공식 웹사이트

Share article
Contents
가장 먼저 복사할 30초 AI 답변 검증 프롬프트AI 답변에서 자주 발견되는 오류 5가지프롬프트만으로 사실 검증을 끝낼 수 없는 이유1. 검증할 주장만 분리하는 프롬프트2. 출처가 실제로 존재하는지 확인하는 프롬프트3. 출처가 주장을 실제로 뒷받침하는지 확인하는 프롬프트4. 잘못된 숫자와 계산을 찾는 프롬프트5. 과장된 표현과 범위 확대를 찾는 프롬프트6. 서로 모순되는 자료와 최신 정보를 찾는 프롬프트7. 검증 결과만 반영해 최종 답변을 수정하는 프롬프트그러면 AI 답변이 제대로 검증된 걸까요?다른 AI에게 다시 물어보면 어떨까요?더 확실한 검증이 필요하다면, 스쿠피참고자료

스쿠피 블로그

RSS·Powered by Inblog