5강
연구 에이전트 설계 원칙
앞의 도구들이 공유하는 설계를 일곱 개의 원칙으로 꺼내 둡니다. 도구를 고르는 기준이자, 어떤 연구 AI를 만나든 그것을 판정하는 기준입니다.
도구가 아니라 설계를 봅니다
연구용 AI 도구는 앞으로 계속 나올 것입니다. 이름을 외우는 것으로는 따라갈 수 없습니다. 대신 어떻게 설계되었는지를 읽는 눈을 만들어 두면, 처음 보는 도구를 만나도 몇 분 안에 판정할 수 있습니다.
이 모듈에서 쓴 도구 셋은 서로 다른 일을 합니다. Medical Deep Research는 근거를 모으고, ResearchWiki는 개념을 세우고, ResearchDesk는 설계를 기록합니다. 그런데 셋의 속을 열어 보면 같은 골격이 나옵니다. 이 레슨은 그 골격을 일곱 개의 원칙으로 꺼내 두는 자리입니다.
원칙들을 관통하는 문장은 하나입니다.
연구 에이전트는 똑똑한 AI가 아니라, 목표를 받아 도구를 쓰고 상태를 갱신하는 실행 구조입니다.
똑똑함을 평가하려 들면 판정할 수 없습니다. 구조는 열어 보면 보입니다.
일곱 개의 원칙
원칙 1. 질문을 구조화합니다. 자유롭게 적은 질문을 그대로 검색에 넘기지 않습니다. PICO나 PCC의 칸으로 옮기거나, 최소한 대상·개념·맥락을 나누어 적습니다. 모듈 2에서 한 일이 여기서 도구의 입력이 됩니다. 질문이 구조화되어 있으면 반년 뒤에 범위가 어디까지였는지 다시 읽을 수 있습니다.
원칙 2. 검색과 판단을 분리합니다. 검색 도구는 검색만 합니다. AI는 선별과 해석을 보조합니다. 최종 판정은 사람이 합니다. 이 셋이 한 덩어리로 뭉쳐 있으면 결과가 틀렸을 때 어디가 틀렸는지 짚을 수 없습니다.
원칙 3. 중간 산출물을 남깁니다. 최종 보고서만 남는 도구는 연구에 쓸 수 없습니다. 검색어, 검색한 데이터베이스, 수집한 문헌 목록, 제외한 문헌과 그 사유, 순위를 매긴 근거가 각각 남아야 합니다. 제외 사유가 남지 않으면 검색 비뚤림을 나중에 따질 방법이 없습니다.
원칙 4. 실행 기록을 남깁니다. 어떤 모델에게 무엇을 물었고 무엇이 돌아왔는지, 언제 실행했고 어디서 실패했는지가 한 줄씩 쌓여야 합니다. 이것이 감사 추적입니다. 실패한 줄까지 남는 것이 중요합니다. 성공만 남는 기록은 "다 돌았다"는 착각을 만듭니다.
원칙 5. 검증 장치를 넣습니다. 모듈 1에서 본 조작된 인용은 판단력으로 막는 것이 아니라 검사로 막습니다. DOI가 실재하는지, PMID가 그 논문의 것인지, 원문을 실제로 받아 왔는지를 도구가 기계적으로 확인해야 합니다. 의학 연구에서 더 위험한 것은 환각 자체가 아니라 검증이 빠진 자리입니다.
원칙 6. 사람이 확인하는 지점을 만듭니다. 검색 전략을 확정하기 전, 포함·제외 기준을 적용하기 전, 최종 보고서를 받아들이기 전. 이 자리들에서 실행이 멈추고 사람에게 물어야 합니다. 딥 리서치 계열 서비스는 처음 조사 계획을 보여 주고 진행 여부를 묻습니다. 좋은 출발점이지만 그 이후로는 묻지 않는다는 점이 아쉽습니다.
원칙 7. 실패했을 때 어떻게 할지 미리 정합니다. 도구 호출은 실패합니다. 원문 서버가 닫혀 있고, 키가 만료되고, 형식이 어긋납니다. 그때 중단할지, 다시 시도할지, 사람에게 물을지가 구분되어 있어야 합니다. AI 호출이 아예 불가능할 때 정해진 순서대로만 도는 방식으로 물러설 수 있으면 더 좋습니다.
원칙이 실제로 지켜졌는지 확인해 보면
이 코스를 만든 사람이 자기 연구 주제에 도구 셋을 그대로 돌려 본 기록이 예비 탐색 사례에 있습니다. 잘된 부분과 안 된 부분이 함께 적혀 있어서 원칙을 대조해 보기 좋습니다.
지켜진 자리. 질문을 PCC 세 칸으로 먼저 고정한 덕분에 탐색 도중 범위가 흔들리지 않았습니다(원칙 1). 실행 기록에 screen_studies, appraise_evidence, verify_studies 같은 단계가 한 줄씩 남았고, 선별과 평가가 한 덩어리가 아니라 체크포인트로 나뉘어 있었습니다(원칙 2, 4). 포함한 논문뿐 아니라 제외한 논문과 원문 수집 실패까지 남았습니다(원칙 3). verify_studies는 판정을 내리는 대신 사람이 다시 확인할 목록을 뽑아 주었습니다(원칙 6).
어긋난 자리. 원문을 받아 오지 못한 논문이 있었습니다. 이 실패 목록을 확인하지 않고 넘어갔다면 접근 가능한 문헌으로 범위가 조용히 좁혀진 채 "다 돌았다"고 착각했을 것입니다. 실패가 기록에 남았기 때문에 알아차릴 수 있었습니다. 원칙 4와 원칙 7이 함께 작동한 자리입니다. 셋 중 가장 나중에 만든 도구는 화면 구성이 계속 바뀌는 상태여서, 워크숍에서 그 부분만은 실제 화면 없이 발표했습니다.
가장 중요한 결정. 그 예비 탐색의 산출물은 논문의 방법이 되지 못했습니다. 학술지에 낼 검토의 검색 전략은 별도로 다시 설계했습니다. 도구가 낸 첫 결과를 방법으로 승격시키지 않은 것이 그 사례에서 가장 중요한 결정이었습니다. 원칙 여섯 개가 전부 지켜져도 이 마지막 판단은 도구가 대신해 주지 않습니다.
직접 해 보기약 15분
지금 쓰고 계시거나 쓸까 고민 중인 연구 AI 도구를 하나 고릅니다. 이 코스의 도구여도 되고, 학회에서 소개받은 서비스여도 되고, 구독 중인 딥 리서치 기능이어도 됩니다.
그 도구를 실제로 한 번 돌려 보면서 일곱 개 원칙을 하나씩 확인합니다. 홈페이지 설명이 아니라 화면에서 확인되는 것만 적습니다.
| 원칙 | 화면에서 확인되는가 | 근거로 본 화면이나 파일 | 빠졌다면 내가 대신 할 일 |
|---|---|---|---|
1행
2행
3행
4행
5행
6행
7행
네 번째 칸이 이 연습의 진짜 산출물입니다. 거기 적힌 일들이 그 도구를 쓸 때 제가 따로 해야 하는 작업입니다. 그 목록이 감당하기 어려울 만큼 길다면, 그 도구는 아직 제 연구에 쓸 준비가 되지 않았다는 뜻입니다.
내려받기를 눌러 저장해 두십시오. 새 도구를 만날 때마다 같은 일곱 줄을 다시 채우면 됩니다.
연구에 적용하면
연구 에이전트를 판정하는 기준은 성능이 아니라 설계입니다. 질문을 구조화하는가, 검색과 판단을 나누는가, 중간 산출물과 실행 기록이 남는가, 검증 장치와 사람의 확인 지점이 있는가, 실패했을 때 어떻게 하는가.
일곱 개를 다 갖춘 도구여도 마지막 판단은 남습니다. 도구가 낸 첫 결과를 방법으로 승격시킬지 말지입니다. 이 결정은 넘길 수 없습니다.
자료와 구조는 갖춰졌습니다. 모듈 7에서 원고 자체를 점검할 차례입니다.
이 모듈의 벽
자료와 구조는 갖춰졌습니다. 이제 원고 자체를 점검할 차례입니다.