중급 · 5/5강
연구 모드로 질문에서 보고서까지
basic·full·deep 모드를 고르고 확인 지점마다 결정한 뒤 보고서의 신뢰 범위를 읽습니다.
연구 질문 하나로 검토를 진행합니다
med-lit 0.3.0부터는 연구 질문을 제시하면 research_next가 검토의 다음 단계를 알려 줍니다. 에이전트는 그 단계에 필요한 도구를 호출합니다. 연구자의 결정이 필요한 단계에서는 결정할 내용을 보여 주고 답을 기다립니다. 검토가 끝나면 질문에 답하는 보고서가 프로젝트에 저장됩니다.
이전 레슨처럼 검색·선별·원문 확보를 한 단계씩 직접 요청하는 방식도 그대로 사용할 수 있습니다. 연구 모드는 같은 단계를 정해진 순서로 이어 주고, 연구자의 결정 지점을 빠뜨리지 않게 합니다.
| 모드 | 진행 범위 | 보고서의 근거 |
|---|---|---|
basic | 검색, 제목 분류, 제목·초록 선별 | 포함 문헌의 초록 |
full | basic에 더해 포함 문헌의 원문 확보와 근거 위키 생성 | 원문과 위키의 개체·관계 |
deep | full을 여러 회차로 반복. 회차마다 근거가 질문에 답하는지 판단하고, 부족하면 빈 곳을 겨냥한 수정 검색을 추가 | 모든 회차에서 포함된 문헌의 원문 |
주제를 처음 살펴볼 때는 basic으로 범위를 확인하십시오. 원문의 구절까지 확인해야 하는 질문이면 full을 고릅니다. deep은 첫 검색으로 질문의 일부만 답할 것 같을 때 사용합니다. 위키를 만드는 과정은 다음 단계의 레슨에서 자세히 다룹니다.
다섯 확인 지점에서 결정합니다
- 모드와 검색 설정. 모드를 고르고 필요한 설정을 바꿉니다. 기간, 자료원, 자료원별 기록 수, 프리프린트, 언어, 문헌 유형, 선별할 문헌 수(
research.max_screened), 원문 확보 상한을 확인합니다. deep 모드는 회차 수(research.deep_rounds, 기본 3)와 회차마다 추가할 새 문헌 수(research.round_articles, 기본 20, 최대 20)도 정합니다. - 검색 질문.
validate_question이 정리한 PICO/PCC 질문을 자료원, 기간, 경고, 자동 수정 내용과 함께 읽습니다. - 포함·제외 기준과 그 이유. 에이전트가 승인된 질문에서 기준을 만들고 기준마다 질문에서 나온 이유를 붙입니다. 기준에는 I1, I2 … E1, E2 …의 번호가 붙습니다. 승인하거나 고칩니다.
- 선별을 계속할지 멈출지(basic·full). 20건의 선별이 끝날 때마다 다음 20건을 선별할지 정합니다.
research.max_screened를 정했다면 그 수까지는 묻지 않고 진행합니다. 멈추면 보고서에 선별하지 않은 문헌의 수가 적힙니다. deep 모드는 회차마다 묻지 않고 선별합니다. - 판단보류 문헌. 한 건씩 결정하거나 결정하지 않은 채로 둡니다. 결정하지 않은 문헌은 보고서의 답에 포함되지 않습니다.
연구 모드에서는 모든 제외 판단이 근거로 삼은 기준의 번호를 적습니다. 제외 기준 1에 해당하면 E1, 포함 기준 2를 충족하지 못하면 I2입니다. 번호가 없는 제외는 판단보류로 저장됩니다. 보고서는 이 번호로 제외 사유의 수를 셉니다.
deep 모드에서 모드와 회차 상한을 고르는 것은 이후 회차의 수정 검색을 미리 승인하는 결정입니다. 서버는 수정 검색을 검증하고, 이전 회차와 같은 검색을 거부합니다. 근거가 충분하다는 판단이 나오거나 회차 상한에 도달하면 검토가 끝납니다. 보고서에는 어느 쪽으로 끝났는지와 회차별 검색어가 적힙니다. 근거가 충분하다는 판단은 에이전트의 모델이 내린 것입니다. 연구자가 그 판단과 남은 빈 곳을 따로 검토하십시오.
교육용 예시로 흐름을 따라갑니다
아래 대화는 실제 검토 결과가 아니라 확인 지점의 순서를 보여 주는 교육용 예시입니다.
연구자: 대규모 언어 모델이 학생 면담 교육에 어떻게 쓰이는지 basic 모드로 검토해 주세요.
에이전트: 모드와 검색 설정을 보여 주고, 정리한 검색 질문을 경고와 함께 제시한 뒤 멈춥니다.
연구자: 2020년 이후로 바꿔 주세요. 질문은 좋습니다. 검색해 주세요.
에이전트: 자료원별 결과와 실패를 알리고, 포함·제외 기준을 이유와 함께 제안합니다.
연구자: E2에 리뷰 논문도 제외한다고 추가해 주세요. 나머지는 승인합니다.
에이전트: 제목을 분류하고 앞선 20건을 선별한 뒤 계속할지 묻습니다. 판단보류 문헌이 있으면 이유와 함께 보여 줍니다.
연구자가 한 말은 기간, 질문 승인, 기준 수정, 선별 계속 여부, 보류 결정입니다. 검색식을 쓰거나 문헌을 하나씩 판정하지 않아도 됩니다. 그 대신 각 확인 지점에서 보여 주는 내용을 읽고 결정해야 합니다.
보고서는 신뢰 범위부터 읽습니다
보고서는 reports/<날짜> <실행 ID>.md에 저장됩니다. 검토 과정을 보지 않은 독자가 읽도록 작성되며 다음 부분으로 구성됩니다.
| 보고서 부분 | 읽을 내용 |
|---|---|
| In short | 짧은 답과 주제별 근거, 처음 인용한 순서대로 번호가 붙은 참고문헌 |
| Is the evidence enough? (deep) | 마지막 회차의 판단과 아직 답하지 못한 부분 |
| How much to trust this | 에이전트가 적은 한계, 그리고 검토 기록에서 나온 한계 |
| How this review was done | 자료원, 기간, 찾은·선별한·포함한 문헌 수, 회차, 원문으로 읽은 범위 |
| References | 링크와 각 문헌의 uid |
| Appendix | 핵심 결과와 인용 구절, 기준과 이유, 제외 사유의 수, 회차별 검색어 |
검토 기록에서 나온 한계에는 초록만 확보한 문헌, 원문 확보 상한 밖의 문헌, 선별하지 않거나 결정하지 않은 문헌, 실패한 자료원, 검색 표본의 크기, 회차 상한이 포함됩니다. 검토 방법 부분도 에이전트의 설명이 아니라 서버에 남은 기록에서 작성됩니다.
record_report는 포함되지 않은 문헌을 인용하거나 문헌의 저장 텍스트에 없는 구절을 인용한 보고서를 거부하고 아무것도 저장하지 않습니다. 이 검사는 인용한 문헌과 구절이 실제로 있는지를 확인합니다. 그 구절이 보고서의 문장을 충분히 뒷받침하는지는 연구자가 읽고 판단합니다.
나중에 선별 결과, 포함 문헌이나 모드가 바뀌면 research_next가 보고서를 다시 쓰라고 요청합니다. 새 보고서는 …-2.md처럼 새 파일로 저장되고 이전 보고서는 그대로 남습니다. 개인 메모에 보고서를 인용할 때는 파일 이름까지 적으십시오.
직접 해 보기약 15분
자신의 연구 질문 하나로 모드를 고르고 다섯 확인 지점에서 내릴 결정을 적으십시오. 실행했다면 보고서의 파일 이름과 How much to trust this에 적힌 한계를 옮겨 적습니다. 실행 전이면 ‘계획’이라고 표시하고, 보고서에서 확인할 한계를 미리 적습니다.
| 확인 지점 | 나의 결정과 이유 | 보고서에서 확인할 한계·파일 |
|---|---|---|
1행
2행
3행
4행
5행
표를 채운 뒤 Markdown 파일로 내려받으십시오. 다음 조사에서 같은 기록을 다시 열어 확인합니다.
연구에 적용하면
연구 모드는 질문에서 보고서까지의 순서를 이어 주고 연구자의 결정 지점에서 멈춥니다. 모드, 질문, 기준과 이유, 선별 범위, 보류 문헌은 연구자가 정합니다. 보고서는 신뢰 범위와 검토 방법부터 읽고, 인용 구절이 문장을 뒷받침하는지 직접 확인하십시오.
확인한 자료
med-lit 0.3.0 README, 연구 모드 문서, 검토 설정을 기준으로 작성했습니다. 예시 대화와 판단 표는 교육용이며 실제 검색 결과를 뜻하지 않습니다.
연구에 적용할 차례
문헌의 범위와 보고서의 신뢰 범위를 확인했습니다. 근거 위키를 만들고 개인 그래프에 가져옵니다.