프롬프트 미신을 실험으로 검증하다

검증되지 않은 채 전해지는 조언들

AI 사용법을 다루는 글에는 규칙처럼 전해지는 조언이 몇 개 있습니다.

"'당신은 통계학자입니다'라고 역할을 주면 답이 좋아집니다." "여러 전문가를 불러 검토시키면 놓치는 것이 줄어듭니다." "정중하게 부탁하면 더 잘합니다."

원고 검토를 돕는 상용 서비스들도 대개 같은 주장을 팝니다. 통계학자·방법론자·편집자 같은 전문가 페르소나를 세우면 검토가 나아진다는 것입니다.

이 조언들이 틀렸다고 말하려는 것이 아닙니다. 확인된 적이 없다는 것이 문제입니다. 그리고 연구자에게 이것은 남의 일이 아닙니다. 확인되지 않은 처치를 효과가 있다고 믿고 쓰는 상황이기 때문입니다.

그래서 실험을 했습니다

이 코스를 만든 사람이 원고 검토 에이전트를 두고 직접 확인한 실험이 있습니다. 물은 것은 하나입니다.

검토를 좋게 만드는 것은 페르소나인가, 아니면 맥락을 붙여 주는 것(context grounding)인가.

여기서 맥락이란 컴파일된 방법 정보, 점검표, 프로토콜, 외부 사실을 검토자에게 함께 건네는 것을 말합니다. 모두 규칙과 도구로 만들어 낸 것이고 LLM이 생성한 내용이 아닙니다.

같은 모델, 같은 디코딩 설정에서 두 요인을 분리해 사전등록한 뒤 검증했습니다.

설계 — 6개 군, 같은 호출 수

군	페르소나	맥락
naive	없음	없음
persona	전문가 4명	없음
context	없음	있음
persona_context	전문가 4명	있음
ensemble_naive	동일한 무명 검토자 4명	없음
ensemble_context	동일한 무명 검토자 4명	있음

설계에서 가장 중요한 줄은 다섯 번째입니다. 페르소나를 넷 세우면 호출도 네 번 일어납니다. 그러면 좋아진 것이 역할 때문인지 네 번 돌려 합쳤기 때문인지 구별할 수 없습니다. 그래서 역할 없는 동일 검토자 4명이라는 군을 따로 두었습니다. 이 군이 없으면 실험 전체가 답을 낼 수 없습니다.

나머지 통제도 같은 방향입니다. 정답은 규칙 기반으로 결정한 것을 썼고(점검표 항목, 미리 심어 둔 결함 목록), 채점은 어느 군에서 나온 코멘트인지 라벨을 지운 뒤 눈가림으로 했습니다.

결과 — "페르소나 효과"는 앙상블이었습니다

강한 모델(Claude)로 돌린 첫 시행에서 페르소나는 효과가 있어 보였습니다. 주요 지표인 gate recall이 naive 0.35에서 persona 0.74로 올랐습니다. 두 배가 넘습니다.

그런데 ensemble_naive도 0.74였습니다. 역할을 준 쪽과 역할 없이 네 번 돌린 쪽의 차이는 0.00이었습니다.

다만 이 시행은 원고 4편에 군별 실행 24회의 예비 시행입니다. 방향을 보여 줄 뿐 확정하지는 못합니다.

확정 시행은 원고 10편 × 6군 × 2반복, 120회 실행과 1,368건의 지적 단위를 혼합효과 로지스틱 모형으로 분석했습니다. 생성 모델은 강한 모델이 아니라 직접 돌릴 수 있는 로컬 모델(qwen3.6-27b)이었습니다. 강한 모델에서는 정밀도 1.00·환각 0에 부딪혀 차이가 가려지기 때문에, 실제로 쓰이는 조건에 가까운 쪽에서 확인한 것입니다.

점선이 1입니다. 구간이 이 선을 지나면 효과를 보이지 못한 것입니다. 페르소나의 gate 구간은 1을 지나고, 맥락의 구간은 지나지 않습니다.

표로 보기

효과	전체 정답 OR [95% CI]	gate OR [95% CI]
맥락 주효과	1.69 [1.17, 2.44]	2.99 [1.35, 6.62]
페르소나 주효과	1.38 [1.19, 1.60]	1.53 [0.88, 2.67]

출처 · 확정 시행 원기록, reviewer-agent-desktop @2cb0f1f, trials/05-expanded-factorial/RESULTS.md

맥락의 주효과는 두 지표 모두에서 유의했습니다(각각 p=.005, p=.007). 반면 페르소나를 동일 앙상블과 직접 견주면 이득이 사라집니다 — 맥락이 없을 때 OR 0.90 [0.66, 1.22], 있을 때 0.87 [0.66, 1.14]. 가장 좋았던 군은 ensemble_context였습니다(gate recall 0.34).

군별로 늘어놓으면 더 분명합니다.

한 지표를 군마다 잰 것이므로 색은 하나입니다. persona와 ensemble_naive 두 막대만 견주십시오 — 전문가 넷을 세운 쪽이 이름 없는 넷을 세운 쪽보다 낮습니다.

표로 보기

군	gate recall
naive	0.11
persona	0.16
ensemble_naive	0.31
ensemble_context	0.34

출처 · 확정 시행 원기록, reviewer-agent-desktop @2cb0f1f, trials/05-expanded-factorial/RESULTS.md

전문가 넷을 세운 쪽이 이름 없는 넷을 세운 쪽보다 낮았습니다.

역할 놀이가 더한 것은 없었습니다. 더해진 것은 여러 번 돌려 합친 효과와, 맥락을 붙인 효과입니다.

정작 중요한 것은 방법입니다

결과보다 오래 남는 것은 이 실험의 생김새입니다. 프롬프트에 대한 믿음은 비교 가능한 형태로 적어 두면 확인할 수 있습니다. 필요한 것은 네 가지뿐입니다.

1. 정답을 미리 정할 것 — 무엇을 맞힌 것으로 칠지 사람이 먼저 정합니다.
2. 경쟁 설명을 군으로 만들 것 — "페르소나 때문"의 경쟁 설명은 "네 번 돌려서"였습니다.
3. 눈가림으로 채점할 것 — 어느 군의 답인지 모르는 상태로 봅니다.
4. 미리 등록할 것 — 결과를 보고 기준을 고치면 아무것도 확인하지 못합니다.

이것은 여러분이 이미 아는 임상연구 설계와 같은 구조입니다. 낯선 것은 대상이 사람이 아니라 프롬프트라는 것뿐입니다. 그리고 이 구조를 그대로 쓰면, 프롬프트에 대한 믿음은 그 자체로 연구 주제가 됩니다.

직접 해 보기약 20분

스스로 믿고 있거나 주변에서 들은 프롬프트 조언 하나를 고릅니다. "정중하게 부탁하면 낫다", "예시를 세 개 주면 낫다", "한국어보다 영어로 물으면 낫다" 같은 것이면 충분합니다.

그 믿음을 확인할 비교 설계를 한 쪽으로 적습니다.

항목	내가 정한 것
검증할 주장
정답 기준 (사람이 미리 정한 것)
비교군
경쟁 설명을 지우는 통제군
반복 횟수
눈가림 방법

네 번째 줄이 이 연습의 전부입니다. 위 실험에서 그 자리를 채운 것이 ensemble_naive였습니다. 그 칸을 비워 두면 결과가 나와도 무엇 때문인지 말할 수 없습니다.

실제로 돌려 보지 않아도 좋습니다. 설계를 적는 것이 산출물입니다. 게시판에 올려 두시면 다른 분이 통제군을 하나 더 제안해 줄 수 있습니다 — 그것이 이 커뮤니티가 하려는 일입니다.

커뮤니티에 결과를 남겨 보세요

연구에 적용하면

프롬프트에 대한 믿음은 취향의 문제가 아니라 확인할 수 있는 주장입니다. 확인해 보면 "전문가 역할을 주면 낫다"의 상당 부분은 여러 번 돌려 합친 효과였고, 실제로 움직인 지렛대는 맥락을 붙여 주는 쪽이었습니다.

여기서 모듈 2의 벽이 드러납니다. 대답 가능한 질문을 세웠고, 칸을 나누어 경계선을 그었고, 조언을 검증하는 눈까지 갖췄습니다. 그런데 맥락을 붙이려면 근거를 모아야 하고, 그 일을 손으로 하기에는 손이 모자랍니다. 검색을 대신 돌고 결과를 파일로 남기는 무엇인가가 필요합니다.

모듈 3에서 그것을 만납니다. 가장 익숙한 자리, 메신저 안에서 시작합니다.