논문 비교 AI 활용법: PDF 2편을 한눈에 보는 비교표 만들기
논문 한 편을 요약하는 것과 여러 논문을 비교하는 것은 조금 다른 일이에요.
각각의 요약문을 읽으면 어떤 연구인지 대략 알 수 있어요. 하지만
“두 논문은 연구 방법이 어떻게 다르지?”
“같은 주제를 다루는데 왜 결과를 다르게 설명하지?”
라는 질문에 답하려면 다시 자료를 오가며 내용을 정리해야 해요.
이럴 때는 여러 논문을 같은 항목으로 나란히 정리한 비교표가 도움이 돼요. 연구 대상은 대상끼리, 방법은 방법끼리 살펴보면 개별 요약에서는 놓치기 쉬웠던 차이를 찾을 수 있거든요.
이번에는 스쿠피에 영어 논문 PDF 두 편을 파일 연동하고, 연구 목적부터 결과와 한계까지 비교해 봤어요. 사용한 자료와 프롬프트, 실제 답변을 바탕으로 정리한 비교표까지 함께 소개할게요.
1. 같은 주제를 다룬 논문 두 편을 준비했어요
이번에 선택한 논문은 모두 생성형 AI가 업무 생산성에 미치는 영향을 다뤄요. 다만 살펴본 업무와 연구 방법은 달라요.
논문 A: 글쓰기 업무에서 ChatGPT를 사용하면 어떻게 달라질까?
Shakked Noy와 Whitney Zhang의 「Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence」예요.
전문직 종사자에게 글쓰기 과제를 부여하고, ChatGPT를 사용할 수 있도록 했을 때 작업 시간과 결과물의 품질이 어떻게 달라지는지 살펴본 연구예요.
논문 B: 실제 고객 지원 업무에 AI를 도입하면 어떻게 달라질까?
Erik Brynjolfsson, Danielle Li, Lindsey Raymond의 「Generative AI at Work」예요.
기업의 고객 지원 상담원에게 AI 보조 도구를 단계적으로 도입하면서, 시간당 해결한 문제 수 등의 변화를 분석한 연구예요.
두 논문을 고른 이유는 어느 연구에서 AI 효과가 더 크게 나왔는지 순위를 매기려는 것이 아니에요. 같은 ‘생산성’이라는 표현도 어떤 업무를, 어떤 기준으로 측정했는지에 따라 의미가 달라진다는 점을 비교표로 살펴보기 위해서예요.
직접 따라 해 보고 싶다면 위 링크에서 두 PDF를 준비해 주세요. 이미 읽고 있는 논문이 있다면 같은 주제를 다루는 두 편으로 바꿔도 좋아요.
2. 스쿠피에 두 파일을 연동하고 비교를 요청했어요
스쿠피(Scoopie)는 자료를 파일 연동하고 요약·비교·검토를 요청할 수 있는 사내용 AI 업무보조 에이전트예요. 답변의 출처를 클릭하면 원문 뷰어에서 근거가 된 부분을 확인할 수 있어요.
사용 과정은 간단해요.
논문을 모아둘 폴더를 만들어요.
준비한 PDF 두 편을 파일 연동해요.
두 논문을 어떤 기준으로 비교할지 질문해요.
답변을 읽고, 필요한 내용은 출처를 눌러 확인해요.
여기서 중요한 것은 “두 논문을 비교해 줘”라고만 요청하지 않는 거예요. 필요한 항목을 정해 주면, 서로 다른 논문에서도 같은 종류의 정보를 모아 볼 수 있어요.
이번에는 연구 목적·대상·업무와 AI의 역할·연구 방법·측정 지표·주요 결과·집단별 차이·연구의 한계를 비교하도록 요청했어요.
실제로 사용한 논문 비교 프롬프트
아래 프롬프트를 복사해서 사용할 수 있어요. 다른 자료로 시도한다면 논문 제목과 저자를 바꿔 주세요.
연동한 아래 두 논문만 근거로, 처음 읽는 사람도 차이를 이해할 수 있도록 한국어 비교표를 만들어 주세요.
- 논문 A: Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence — Noy & Zhang
- 논문 B: Generative AI at Work — Brynjolfsson, Li & Raymond
먼저 각 파일에서 논문 제목과 저자를 확인하고, 다음 표를 채워 주세요. 각 칸은 핵심 내용 위주로 1~3문장으로 정리해 주세요.
| 비교 항목 | 논문 A | 논문 B |
|---|---|---|
| 연구 목적 | 무엇을 알아보려 했는가? | 무엇을 알아보려 했는가? |
| 연구 대상 | 어떤 사람들을 몇 명 분석했는가? | 어떤 사람들을 몇 명 분석했는가? |
| 업무와 AI의 역할 | 어떤 업무에서 AI를 어떻게 사용했는가? | 어떤 업무에서 AI를 어떻게 사용했는가? |
| 연구 방법 | 비교 집단을 어떻게 구성하고 효과를 분석했는가? | 비교 집단을 어떻게 구성하고 효과를 분석했는가? |
| 측정 지표 | 생산성과 결과물 품질을 무엇으로 측정했는가? | 생산성과 결과물 품질을 무엇으로 측정했는가? |
| 주요 결과 | 핵심 수치와 그 수치가 의미하는 것은 무엇인가? | 핵심 수치와 그 수치가 의미하는 것은 무엇인가? |
| 집단별 차이 | 경험이나 기존 성과에 따라 결과가 달랐는가? | 경험이나 기존 성과에 따라 결과가 달랐는가? |
| 연구의 한계 | 저자가 밝힌 한계와 적용 범위는 무엇인가? | 저자가 밝힌 한계와 적용 범위는 무엇인가? |
작성할 때 다음을 지켜 주세요.
1. 각 칸의 수치와 설명에 해당 논문의 근거 출처를 붙여 주세요. 가능하면 페이지와 섹션명 또는 표 번호도 함께 표시해 주세요. 페이지를 확인할 수 없으면 추측하지 마세요.
2. 숫자와 단위는 원문 그대로 유지하고, 무엇에 비해 어떤 지표가 변했는지 설명해 주세요. 전체 연구 대상 수와 특정 분석에 사용된 표본 수가 다르면 구분해 주세요.
3. 한 논문에서 다른 논문을 소개한 부분을 해당 논문 자체의 연구 결과로 혼동하지 마세요. 각 연구의 결과는 그 연구의 방법·결과 본문에서 확인해 주세요.
4. 서로 다른 지표의 백분율을 합치거나 평균 내지 말고, 숫자가 크다는 이유만으로 효과가 더 좋다고 판단하지 마세요.
5. 연동한 파일에 없는 내용은 ‘연동한 논문에서 확인되지 않음’이라고 적어 주세요. 웹 검색이나 다른 버전의 논문 수치를 섞지 마세요.
표 아래에는 다음 세 가지를 짧게 정리해 주세요.
- 두 연구에서 공통으로 관찰된 점
- 연구 대상·방법·측정 지표에서 중요한 차이
- 두 연구의 숫자를 직접 비교하거나 모든 업무에 일반화하기 어려운 이유
공통점과 차이에도 양쪽 논문의 출처를 표시해 주세요. 이 연구들이 스쿠피의 성능을 측정한 것처럼 설명하지 마세요.
프롬프트가 길어 보여도 핵심은 세 가지예요. 비교할 자료를 지정하고, 같은 항목으로 정리하게 하고, 근거를 함께 요청하는 것이에요.
처음부터 모든 항목을 사용할 필요는 없어요. 연구 방법이 궁금하다면 대상·방법·측정 지표만 남겨도 돼요.
3. 두 논문의 내용을 같은 기준으로 볼 수 있었어요
스쿠피는 두 논문을 나란히 놓은 비교표와 함께, 공통점과 차이점을 설명했어요.
각 파일에서 정보를 따로 찾아 메모하는 대신, 먼저 비교표의 형태로 내용을 받아볼 수 있었어요. 이후 필요한 항목을 골라 더 자세히 읽는 방식으로 이어갈 수 있었고요.
아래는 스쿠피의 답변을 원문과 대조한 뒤, 수치와 용어를 수정하고 길이를 줄인 편집본이에요. 최초 답변을 그대로 옮긴 표는 아니에요.
비교 항목 | 논문 A: Noy & Zhang | 논문 B: Brynjolfsson 외 |
|---|---|---|
연구 목적 | ChatGPT가 전문적인 글쓰기 과제의 시간과 품질에 미치는 영향 확인 | 실제 고객 지원 업무에서 AI 보조 도구의 생산성 효과 분석 |
연구 대상 | 대학 교육을 받은 전문직 종사자 453명 | 기업의 고객 지원 상담원 5,172명 |
업무와 AI의 역할 | 보도자료·짧은 보고서 등의 글쓰기 과제에서 ChatGPT 활용 | 상담 중 응답 문구와 관련 정보를 제안하는 AI 도구 활용 |
연구 방법 | 참가자를 무작위로 나누고, 한 집단에 ChatGPT 가입과 사용을 안내한 온라인 실험 | AI 도입 시점이 다른 집단의 변화 차이를 분석하는 이중차분법 활용 |
측정 지표 | 과제 수행 시간, 전문가의 결과물 품질 평가 | 시간당 문제 해결 수, 평균 처리 시간, 시간당 채팅 처리 건수 등 |
주요 결과 | 평균 작업 시간 40% 감소, 결과물 품질 18% 향상 | 시간당 문제 해결 수 평균 15% 증가 |
집단별 차이 | 첫 과제의 평가 점수가 낮았던 참가자에게서 더 큰 품질 개선 | 경험이 적거나 기존 성과가 낮은 상담원에게서 더 큰 개선 |
연구의 한계 | 정확한 사실 확인이나 맥락별 지식이 필수적이지 않은 글쓰기 과제를 다룸 | 특정 기업과 고객 지원 업무의 결과여서 다른 업무로 일반화할 때 주의가 필요함 |
논문 B의 5,172명은 전체 데이터의 상담원 수예요. 시간당 문제 해결 수처럼 일부 지표는 관련 데이터가 확보된 더 작은 표본으로 분석했어요. 표본 수까지 연구에 활용한다면 해당 분석의 조건을 따로 확인해야 해요.
연구 내용의 근거는 논문 A 원문과 논문 B 원문에서 확인할 수 있어요.
비교표에서 무엇을 읽어야 할까요?
이 표를 볼 때는 결과의 숫자부터 비교하기보다 연구 방법과 측정 지표를 먼저 읽어보세요.
논문 A의 40%는 ‘작업 시간이 얼마나 줄었는가’이고, 논문 B의 15%는 ‘한 시간에 해결한 문제 수가 얼마나 늘었는가’예요. 따라서 숫자만 보고 한쪽의 AI 효과가 더 좋다고 판단할 수는 없어요.
대신 표를 통해 다음처럼 질문을 구체화할 수 있어요.
내가 조사하는 업무와 더 가까운 연구는 어느 쪽인가?
내가 알고 싶은 것은 작업 시간인가, 결과물 품질인가?
실제 기업 현장의 사례가 필요한가, 조건을 나눈 실험 결과가 필요한가?
내 자료에 인용할 때 반드시 함께 설명해야 할 조건은 무엇인가?
개별 요약을 두 개 읽는 것에서 나아가, 내가 필요한 근거를 어느 논문에서 찾아야 할지 정하는 데 비교표를 활용하는 거예요.
4. 인용할 수치와 설명은 출처를 눌러 확인했어요
비교표를 받았다고 정리가 끝나는 것은 아니에요. 발표나 보고서에 가져갈 내용은 원문과 맞는지 확인해야 해요.
스쿠피에서는 답변에 연결된 출처를 클릭하면 원문 뷰어가 열리고, 근거가 된 부분이 하이라이트돼요. 답변과 PDF를 나란히 보면서 숫자뿐 아니라 앞뒤 문맥도 살펴볼 수 있어요.
이번에도 확인 과정에서 수정할 부분이 있었어요. 최초 비교표에는 논문 B의 평균 생산성 향상이 14%로 나왔지만, 연동한 PDF의 초록에는 15%라고 적혀 있었어요. 또 ‘동시 채팅 수’로 표현된 CPH는 ‘시간당 채팅 처리 건수’로 바로잡았어요. 위 편집본에는 이를 반영했어요. 논문 B 원문 확인
출처가 있다는 것과 답변의 모든 내용이 정확하다는 것은 같지 않아요. 출처 확인 기능의 의미는 AI가 정답을 보장한다는 데 있지 않고, 사용자가 답변과 근거를 직접 대조할 수 있다는 데 있어요.
실제로 확인할 때는 다음 세 가지부터 살펴보면 좋아요.
숫자: 인원, 비율, 기간, 단위가 원문과 같은가?
대상: 전체 결과인지, 특정 집단이나 조건의 결과인지 구분했는가?
표현: 원문의 제한적인 결론을 모든 상황에 적용되는 주장으로 바꾸지는 않았는가?
특히 여러 논문을 한꺼번에 다룰 때는 어느 논문의 결과인지도 함께 확인해 주세요.
5. 만든 비교표는 선행연구 정리와 발표 준비에 활용해 보세요
비교표의 목적은 표 자체를 만드는 데 있지 않아요. 이후 읽기와 쓰기에 필요한 정보를 정돈하는 데 있어요.
선행연구를 정리할 때
논문별 요약문을 길게 쌓는 대신, 같은 항목을 기준으로 어떤 연구를 참고할지 살펴볼 수 있어요.
예를 들어 연구 대상이 내 주제와 다르다면 그 차이를 메모하고, 방법이 참고할 만하다면 해당 논문의 방법 부분을 더 자세히 읽어보세요. 비교표에서 확인하지 못한 내용은 빈칸이나 ‘추가 확인 필요’로 남겨두면 돼요.
다만 두 편을 비교한 것만으로 해당 분야의 연구 동향이나 연구 공백을 확정할 수는 없어요. 이 표는 이번에 연동한 자료를 정리한 출발점이에요.
세미나나 발표를 준비할 때
논문 A를 설명하고, 다시 논문 B를 처음부터 설명하면 듣는 사람이 차이를 기억하기 어려울 수 있어요.
이때 비교표에서 발표에 필요한 행만 남겨보세요. 연구 대상·방법·주요 결과·한계 정도로 줄이면 두 연구를 함께 설명하는 슬라이드의 기초 자료로 활용할 수 있어요.
표를 보여준 뒤 “두 연구의 결과를 다르게 읽어야 하는 이유”를 설명하면, 단순히 논문 두 편을 소개하는 것보다 발표의 초점도 분명해져요.
다음으로 읽을 부분을 정할 때
비교표를 읽다 보면 추가 질문이 생겨요. “같은 품질이라는 표현을 썼는데 평가 기준도 같을까?”, “연구 대상은 어떻게 모집했을까?”처럼요.
그때는 전체 비교표를 다시 만들기보다 궁금한 항목만 좁혀 질문해 보세요. 다음은 이어서 사용할 수 있는 질문 예시예요.
두 논문에서 결과물의 ‘품질’을 어떻게 평가했는지 자세히 비교해 주세요. 평가자, 평가 기준, 사용한 지표를 구분하고 각 설명의 근거 출처를 표시해 주세요.
이렇게 하면 전체 비교표로 차이를 파악하고, 필요한 부분만 질문한 뒤 원문을 읽는 흐름으로 이어갈 수 있어요.
여러 논문을 읽고 있다면, 같은 질문으로 묶어보세요
논문을 많이 읽었는데도 정리가 되지 않는다면, 요약의 양을 늘리기보다 비교 기준을 먼저 정해 보세요.
이번 사례에서는 PDF 두 편을 파일 연동하고, 같은 질문을 적용해 연구 대상·방법·결과를 나란히 정리했어요. 그리고 답변의 출처를 열어 확인한 내용을 비교표에 반영했어요.
AI에 맡길 수 있는 것은 여러 자료에서 필요한 정보를 찾아 표의 초안을 만드는 일이에요. 그 표에서 어떤 차이가 중요하고, 내 연구나 업무에 어떤 근거를 사용할지는 직접 판단해야 해요.
스쿠피는 이 과정에서 파일 연동 → 비교 요청 → 답변과 원문 대조를 한 작업 흐름으로 이어갈 수 있도록 도와줘요.
오늘 읽고 있는 논문 두 편으로 시작해 보세요. 위 프롬프트에서 논문 제목을 바꾸고, 지금 필요한 비교 항목만 남기면 돼요.