채팅이 남기지 않는 것

문제를 바르게 놓기

앞 레슨의 결론을 "AI가 거짓말을 한다"로 정리하면 다음 선택이 전부 어긋납니다. 정확한 진단은 이것입니다. 아무것도 남지 않습니다. 조작된 인용이 걸러지지 않은 것도 거짓말이 특별히 교묘해서가 아니라, 걸러 낼 기록이 애초에 없었기 때문입니다.

챗봇 창을 닫고 나면 사라지는 것은 문장이 아니라 문장에 이르는 경로입니다. 어떤 검색어로 어디를 찾았는지, 무엇을 왜 뺐는지, 어느 문장이 어느 원문에 걸려 있는지. 여기에 실무적인 손실이 더 붙습니다. 버전이 관리되지 않고, 서지관리 프로그램과 분리되며, 같은 작업을 다음 달에 또 하려면 처음부터 다시 설명해야 합니다.

연구가 요구하는 두 가지

연구는 결과물만으로 성립하지 않습니다. 두 가지를 더 요구합니다.

첫째는 다시 확인할 수 있는 산출물입니다. 반년 뒤 심사자가 "이 문장의 근거가 무엇입니까"라고 물었을 때 열어서 보여 줄 수 있는 파일입니다. 대화 스크롤은 그 역할을 하지 못합니다.

둘째는 재현 가능한 절차입니다. 같은 검색을 다시 돌렸을 때 같은 결과에 도달할 수 있어야 합니다. 챗봇은 같은 질문에도 매번 다른 문단을 돌려주고, 그 차이가 어디서 왔는지 알 방법이 없습니다.

챗봇에 물을 때	이 코스가 쓰는 방식
답이 한 덩어리로 옴	단계마다 파일이 남음
창을 닫으면 사라짐	내 폴더에 그대로 쌓임
같은 결과를 다시 못 냄	기록으로 다시 확인 가능

직접 해 보기약 12분

최근에 AI에게 받은 답 하나를 고릅니다. 초록 요약이든, 서론 초안이든, 문헌 정리든 상관없습니다. 그 답을 오늘 처음부터 다시 만든다고 가정하고 필요한 항목을 적어 봅니다.

• 어떤 자료원을 어떤 검색어로 찾았는가
• 몇 건이 나왔고 그중 무엇을 왜 뺐는가
• 각 문장이 어느 원문의 어느 대목에 걸려 있는가
• 이 답을 만든 날짜와 사용한 모델은 무엇인가

각 항목 옆에 복구 가능 / 복구 불가만 표시합니다. 복구 불가로 표시된 줄의 목록이 이번 레슨의 산출물입니다. 그 목록이 곧 지금 방식이 남기지 못하는 것의 정확한 크기이고, 앞으로 도구를 바꿀 때마다 같은 목록을 다시 채워 보면 무엇이 실제로 나아졌는지 눈으로 확인할 수 있습니다.

커뮤니티에 결과를 남겨 보세요

연구에 적용하면

이 모듈의 벽은 여기입니다. 채팅은 대화를 남기지만, 다시 확인할 수 있는 산출물과 절차를 남기지 않습니다. 이 코스가 도구를 바꾸는 이유도 성능이 아니라 이것입니다. 도구가 기록을 남기고, AI는 판단과 종합을 돕고, 결정은 끝까지 사람이 합니다.

그러면 무엇으로 넘어가야 할까요. 다음 레슨에서 이 코스가 쓰는 세 가지 방식을 한자리에 놓고, 각각이 어느 자리에 맞는지 정리합니다.