4강
자동화가 에이전트가 되는 순간
워크플로 한 단계에 AI를 넣는 순간 판단이 루프 안으로 들어옵니다. 그 경계가 어디인지, 그리고 넘기면 안 되는 일은 무엇인지 정합니다.
한 단계만 바꿨을 뿐인데
앞 레슨에서 만든 문헌 모니터링 워크플로는 정해진 순서대로만 돕니다. 새 항목이 오면 정해진 칸에 맞추고 표에 쌓습니다. 매주 같은 일을 같은 방식으로 합니다.
여기에 한 단계를 더 넣어 봅니다. 쌓기 전에 AI에게 한 번 물어보는 것입니다.
"이 초록을 세 줄로 요약해 주세요."
아직은 자동화입니다. 요약은 매번 같은 방식으로 이루어지고, 결과가 이상하면 원문 초록이 옆 칸에 그대로 있으니 바로 대조할 수 있습니다.
한 단어만 바꿔 봅니다.
"이 초록이 읽을 만한지 판정해 주세요."
여기서 성격이 달라집니다. 판정이 붙는 순간 걸러지는 논문이 생기고, 걸러진 논문은 표에 오르지 않으므로 제 눈에 띄지 않습니다. 워크플로가 조용히 범위를 좁히기 시작합니다. 매주 성실하게, 제가 모르는 채로 좁힙니다.
경계는 판단이 아니라 검증 가능성에 있습니다
여기서 흔히 어긋납니다. "AI를 넣으면 에이전트"라고 나누면 위의 요약 단계도 에이전트가 되어 버립니다. 실제 경계는 다른 곳에 있습니다.
결과를 나중에 확인할 수 있는가.
세 줄 요약은 확인할 수 있습니다. 원문이 옆에 있기 때문입니다. "RCT입니까"라는 분류도 확인할 수 있습니다. 표에 분류 결과와 근거 문장을 함께 남기면 제가 나중에 스무 줄을 뽑아 대조하면 됩니다. 반면 "읽을 만한가"는 확인할 수 없습니다. 기준이 매번 다르고, 무엇보다 제외된 것이 남지 않습니다.
그래서 규칙은 이렇게 정리됩니다. 워크플로 안에서 AI에게 일을 시키실 때는 버린 것을 남기십시오. 거르는 단계를 넣을 것이라면 거른 목록을 따로 한 칸에 쌓습니다. 모듈 6의 원칙 3과 같은 이야기입니다. 제외 사유가 남지 않으면 비뚤림을 나중에 따질 방법이 없습니다.
| 워크플로 안의 AI 단계 | 확인할 수 있는가 | 어떻게 다룰 것인가 |
|---|---|---|
| 초록 요약 | 원문이 옆에 있음 | 그대로 자동화 |
| 유형 분류 | 근거 문장을 함께 남기면 가능 | 근거 칸을 반드시 함께 |
| 중요도 판정 | 기준이 매번 다름 | 거른 목록을 따로 남김 |
| 포함·제외 결정 | 결과가 연구의 방법이 됨 | 워크플로에 넣지 않음 |
마지막 줄이 진짜 경계입니다. 그 판단의 결과가 논문의 방법이 되는 순간, 그것은 자동화할 대상이 아니라 제가 설계하고 기록해야 하는 연구 절차입니다.
AI를 요약기가 아니라 체로 쓰기
판단을 어디까지 넘길지 정하고 나면, 남는 질문은 "그러면 AI에게 무엇을 시킬 것인가"입니다. 여기서 방향이 갈립니다.
흔한 방향은 더 많이 읽기 위해 AI를 쓰는 것입니다. 논문 100편을 AI로 요약해서 다 훑는 방식입니다. 겉으로는 생산적으로 보이지만 결과는 100편을 대충 읽은 상태에 가깝습니다. 어느 것도 제대로 읽지 않았기 때문입니다.
다른 방향은 덜 읽기 위해 쓰는 것입니다. AI에게 100편을 빠르게 훑어 후보를 좁히게 하고, 거기서 7~10편을 골라내게 한 다음, 2~3편을 사람이 제대로 읽습니다. AI는 요약기가 아니라 체이고, 사서에 가깝습니다.
이 방향을 읽기 계획으로 옮기면 이렇게 됩니다.
| 층 | 분량 | 목적 | 한 편에 드는 시간 |
|---|---|---|---|
| 1층 | 주 2~3편 | 완전히 이해 | 30~45분, 정독 |
| 2층 | 주 5~8편 | 핵심 파악 | 5~10분, 초록과 필요한 대목 |
| 3층 | 주 20~30편 | 있다는 것만 인지 | 30초, 요약만 넘겨 보기 |
전부 합해 주당 두세 시간입니다. 바쁜 주에는 1층만 지킵니다. 자동화가 맡는 것은 3층과 2층의 앞부분입니다. 모으고, 걸러 내고, 요약해서 층을 나누는 데까지입니다. 1층은 넘기지 않습니다. 정독은 넘기는 순간 목적이 사라집니다.
앞 레슨의 기준이 여기서 그대로 작동합니다. 층을 나누는 일은 근거를 함께 남기면 확인할 수 있으므로 넘길 수 있습니다. 정독해서 이 논문을 내 연구에 어떻게 쓸지 정하는 일은 확인의 문제가 아니라 연구 자체입니다.
등급이 마음에 안 들 때: 프롬프트를 고치는 고리
AI가 매긴 층이 자꾸 어긋난다고 해 봅시다. 여기서 대개 둘 중 하나를 합니다. 그냥 쓰거나, 자동화를 접습니다. 세 번째 길이 있습니다.
고친 기록을 쌓아 두었다가 프롬프트를 고치는 재료로 씁니다. 앞 레슨에서 거른 목록을 남기라고 말씀드린 규칙이 여기서 값을 합니다. 표에 세 칸을 더 둡니다. AI가 매긴 층, 내가 고친 층, 그리고 고친 이유입니다.
몇 주 모이면 그 표를 프롬프트와 함께 AI에게 건네고 이렇게 물으십시오. 자주 틀리는 패턴이 무엇인지, 내가 실제로 중요하게 여기는 요소가 무엇인지, 다음부터 프롬프트를 어떻게 고치면 좋을지.
이 고리가 중요한 이유는 성능이 아닙니다. 판단의 자리가 사람에게 남아 있다는 것이 기록으로 증명되기 때문입니다. 무엇을 왜 고쳤는지가 매주 쌓입니다. 그 기록이 있으면 나중에 "이 선별은 AI가 한 것 아닙니까"라는 질문에 답할 수 있습니다.
워크플로에 넣지 않는 일
아래는 판단이 들어가서가 아니라, 책임이 걸려 있어서 넘기지 않는 일들입니다.
포함·제외 결정. 문헌고찰의 선정 기준을 워크플로가 적용하게 하지 않습니다. 도구가 후보를 좁혀 주는 것과 기준을 적용하는 것은 다릅니다.
환자와 직접 닿는 자리. 응답을 자동으로 보내거나, 진료 자료를 읽어 무언가를 판단하게 하는 흐름은 만들지 않습니다. 사람이 매 건 확인하는 자리를 두더라도, 확인이 형식이 되는 순간 없는 것과 같아집니다.
동의와 관련된 절차. 연구 참여 동의, 자료 제공 동의는 자동으로 처리하지 않습니다.
기관 자료와 개인정보가 지나가는 흐름. 워크플로는 자료를 여러 서비스에 걸쳐 옮깁니다. 어느 서비스의 서버를 지나는지 확인하지 않은 채로는 기관 자료를 태우지 않습니다. 이 문제는 모듈 11에서 따로 다룹니다.
최종 원고 문장. 모듈 7에서 정한 그대로입니다. 초안은 받을 수 있고, 결정과 문장은 저자가 씁니다.
직접 해 보기약 14분
앞 레슨에서 만든 분해표를 다시 엽니다. 각 줄에 AI 단계를 하나 넣는다면 무엇을 시킬지 적고, 그 결과를 나중에 확인할 수 있는지 판정합니다.
| 워크플로 | AI에게 시킬 일 | 확인할 수 있는가 | 남겨야 할 기록 | 넣을 것인가 |
|---|---|---|---|---|
1행
2행
3행
4행
확인 불가로 판정한 줄은 마지막 칸이 자동으로 정해집니다. 넣지 않습니다. 그 일을 꼭 넘기고 싶으시다면 확인 가능한 형태로 다시 적어 보십시오. "읽을 만한 것 고르기"는 확인할 수 없지만, "제목에 이 개념이 없는 것 표시하기"는 확인할 수 있습니다.
내려받기를 눌러 저장해 두십시오. 워크플로를 손볼 때마다 이 표를 다시 채우면 판단이 조용히 늘어나는 것을 알아차릴 수 있습니다.
연구에 적용하면
자동화와 에이전트를 가르는 것은 AI가 들어가는지가 아니라 결과를 나중에 확인할 수 있는지입니다. 거르는 단계를 넣으실 것이라면 거른 목록을 반드시 함께 남기십시오. 남지 않으면 워크플로가 제가 모르는 채로 범위를 좁힙니다.
반복 작업은 이제 워크플로가 합니다. 그런데 그 워크플로 안에서 일하는 AI 자체는 어떤 자료로 무엇을 학습한 것일까요. 모듈 9에서 AI를 쓰는 자리에서 연구하는 자리로 옮겨 갑니다.
이 모듈의 벽
반복 작업은 워크플로에 맡겼습니다. 이제 그 안에서 일하는 AI 자체를 연구 대상으로 볼 차례입니다.