대답 가능한 질문 · 연구를 위한 AI

자료가 없어서 막막한 것이 아닙니다

연구는 끝났습니다. 데이터도 결과도 손에 있습니다. 그런데 워드프로세서를 열면 무엇을 써야 할지 떠오르지 않습니다.

이 막막함을 자료 부족으로 오해하기 쉽습니다. 그래서 검색을 더 하고, 논문을 더 내려받고, 이제는 챗봇에게 "이 주제 관련 최신 연구 정리해 줘"라고 시킵니다. 자료는 늘어나는데 막막함은 그대로입니다.

막막함의 정체는 자료가 없는 것이 아니라 쓸 거리가 구조화되지 않은 것입니다. 그리고 구조화되지 않은 이유는 대개 질문이 아직 대답 가능한 형태가 아니기 때문입니다.

강의에서 계속 쓰는 사례가 하나 있습니다. 제2형 당뇨병 환자의 자기관리 교육 문제입니다. 식이·운동·복약 같은 자기관리가 HbA1c를 좌우한다는 것은 알려져 있지만 교육에 쓸 시간과 접근성이 늘 부족하고, 그래서 챗봇이 대안으로 주목받습니다.

여기서 자연스럽게 나오는 첫 질문은 이렇습니다.

"LLM 상담이 만성질환을 개선하는가?"

이 질문은 흥미롭지만 답할 수 없습니다. 누구를 대상으로 하는지, 무엇을 중재로 보는지, 무엇과 견주는지, 무엇을 결과로 재는지가 하나도 잡히지 않습니다. 검색어를 만들 수 없고, 만든다 해도 걸러 낼 기준이 없으며, 결국 무엇을 주장했는지도 흐려집니다.

같은 관심을 이렇게 좁히면 달라집니다.

"성인 제2형 당뇨병 환자에게 챗봇 기반 자기관리 교육은 통상 진료와 비교해 12주 HbA1c 변화에 차이를 만드는가?"

문장이 길어졌지만 이제 검색할 수 있고, 넣고 뺄 기준이 생겼고, 무엇을 주장하고 무엇을 주장하지 않을지가 정해졌습니다.

좁히는 일에도 판정 기준이 필요합니다. 그 기준을 answerability라고 부릅니다.

지금 가용한 근거의 양·질·동질성으로 이 질문에 지금 답할 수 있는지의 판정입니다.

세 가지를 봅니다.

연구 수와 설계의 동질성. 연구가 몇 편이나 있고 설계가 서로 견줄 만한가. 여기가 무너지면 효과를 합산하기는커녕 방향조차 말하기 어렵습니다.
결과변수의 정렬. 어떤 연구는 HbA1c를, 어떤 연구는 복약 순응도를, 어떤 연구는 자기효능감을 봅니다. 섞이면 결론도 달라집니다.
비뚤림의 통제. 편향이 통제되어야 주장의 강도를 정할 수 있습니다.

판정을 감으로 하지 않으려면 근거를 층으로 나눠 보는 것이 편합니다. 새로운 주제에서는 세 층이 대개 이런 상태로 놓여 있습니다.

근거층	이 층에서 확인하는 것	자주 마주치는 상태
직접 근거	내 질문과 같은 대상·중재·결과의 연구	몇 편 있더라도 중재의 형태와 기간, 결과변수가 서로 달라 합산이 막힙니다
인접 근거	대상이나 중재가 한 칸 넓은 연구	편수는 많지만 내가 보려는 결과가 아니라 다른 것을 재고 있는 경우가 많습니다
안전성 근거	해악·품질·형평성을 다룬 연구	효과 연구보다 늦게 나오며, 여기서 격차가 보고되면 효과 결론의 강도를 낮춰야 합니다

세 층이 같은 방향을 가리킬 때에만 효과에 대한 주장으로 나아갑니다. 어긋나면 질문을 더 좁히거나 gap으로 남깁니다.

"지금은 답할 수 없다"는 판정을 연구자들은 자주 실패로 받아들입니다. 그래서 무리해서 답을 만들거나, 답할 수 있는 척 결론을 씁니다.

gap은 다음 연구 설계의 출발점입니다. 무엇이 비어 있는지 정확히 말할 수 있다면 그 자체가 논문의 rationale이 되고, 좁힌 질문 하나가 곧 다음 연구의 제목이 됩니다.

직접 해 보기약 15분

지금 쓰고 싶은 주제를 한 문장 질문으로 적습니다. 다듬지 말고 머릿속에 있는 그대로 적는 것이 중요합니다.

그 아래에 세 층을 만들고, 각 칸에 아는 만큼만 적습니다. 모르면 "모름"이라고 적습니다.

마지막에 셋 중 하나로 판정하고, 판정한 이유를 한 줄로 적습니다.

"모름"이 많다는 것은 아직 판정할 수 없다는 뜻이지 질문이 나쁘다는 뜻이 아닙니다. 그 경우 무엇을 확인해야 판정할 수 있는지를 대신 적습니다. 이 파일은 다음 레슨에서 그대로 이어서 씁니다.

연구에 적용하면

연구 질문의 첫 관문은 흥미로움이 아니라 대답 가능성입니다. 그리고 대답 가능성은 취향이 아니라 근거의 양·질·동질성으로 판정하는 것입니다.

방금 만든 판정표는 앞으로 이 코스에서 계속 쓰입니다. 다음 레슨에서는 이 질문을 PICO와 PCC로 나누어, 검색과 심사가 가능한 형태로 바꿉니다.