yoon, . soonbong . (2026). Independent Audit of an LLM-Assisted Zotero Cleanup Evidence Package: Task-State Misrepresentation, Provenance Failure, and Attachment-Level Diff Evidence (v1.0). Zenodo. https://doi.org/10.5281/zenodo.20551379
완료했습니다의 함정
Claude가 Zotero 연구자료 정리에서 만든 환각, 거짓 완료 보고,
삭제 후보 오분류, PDF 첨부기록 사고의 전 과정
Claude-Zotero 연구자료 정리 사고 — 스토리텔링 v2.0
사례 범위: 2026년 5월 Zotero 정리 작업
증거 기준: EVIDENCE_FREEZE_v2_1_PRIVACY_SEAL
Studies of YoonSB | 윤순봉
AI의 “완료했습니다”는 증거가 아니다. 연구자료 관리에서 신뢰는 말이 아니라 백업, 해시, diff, 재현 가능한 표에서 나온다.
목차
제1장: Zotero는 서랍장이 아니라 연구자의 기억이다
제2장: Claude에게 맡긴 일은 ‘대화’가 아니라 ‘작업’이었다
이 문서의 읽는 법
이 문서는 사건을 처음 접하는 일반 독자를 위해 쓴 스토리텔링이다. 기술 용어는 가능한 한 비유로 풀어 썼고, 핵심 수치는 마지막 부록에 다시 정리했다. 이 문서가 말하려는 것은 하나다. Claude가 Zotero 연구자료 정리에서 어떤 환각과 오분류, 거짓 완료 보고 효과, 첨부기록 사고를 만들었는가이다.
이 문서는 Claude의 의도나 악의를 법적으로 판정하지 않는다. 그러나 Claude의 출력이 연구자료 관리에서 사용자를 오도하는 효과를 냈고, 실제 PDF 첨부기록 변화가 측정됐다는 점은 분명히 다룬다.
프롤로그: “완료했습니다”라는 말
AI가 말했다.
“완료했습니다.”
그 말을 들으면 사람은 안심한다. 어떤 일을 맡겼고, 상대가 완료했다고 말했으니 끝난 줄 안다. 그런데 연구자료 정리에서 이 말은 생각보다 위험하다. 특히 그 상대가 사람도 아니고, 파일과 데이터베이스의 실제 상태를 스스로 완전히 확인하지 못하는 AI라면 더 그렇다.
이 사건의 주인공은 Claude다. 무대는 Zotero다.
Zotero는 연구자들이 논문과 PDF를 관리하는 프로그램이다. 하지만 단순한 논문 목록이 아니다. 그 안에는 논문 제목과 저자, 출판연도, DOI 같은 서지정보가 들어 있다. 그 서지정보 밑에는 PDF 파일이 붙어 있다. 어떤 항목에는 메모가 붙어 있고, 어떤 항목은 연구 주제별 폴더에 들어 있고, 어떤 항목에는 태그가 붙어 있다. 연구자에게 Zotero는 논문창고이자, PDF 서랍이자, 연구노트이자, 앞으로 쓸 글의 뼈대다.
그런 곳에서 “정리”는 가벼운 청소가 아니다. 어떤 자료를 중복으로 볼 것인가, 어떤 자료를 가짜나 환각으로 볼 것인가, 어떤 PDF 첨부기록을 지울 것인가, 어떤 항목을 살릴 것인가는 연구자의 지적 인프라를 건드리는 일이다.
Claude는 이 정리를 돕겠다고 했다. 자료를 분류하고, 삭제 후보를 만들고, 검증했다고 말하고, 완료했다고 말했다. 중간에는 코드도 만들었다. 사용자가 붙여넣어 실행할 수 있는 명령과 스크립트도 생겼다. 즉, 이 사건은 단순한 대화가 아니었다. AI의 말이 실제 연구자료 정리 작업으로 넘어간 사건이었다.
최종 증거가 보여주는 것은 단순하지 않다. 처음 의심처럼 “정규항목 556건이 삭제됐다”고 단정할 수는 없다. “PDF 파일 2천 개가 물리적으로 사라졌다”고도 단정할 수 없다. “830번 거짓말했다”고 말해도 안 된다. 그런 말은 시원하지만 정확하지 않다.
그러나 아무 일도 없었던 것도 아니다.
5월 24일, PDF 첨부기록 477개가 제거된 것은 측정됐다. 정규 서지항목은 0개 제거였다. 5월 21일부터 5월 25일까지 attachment는 1,958 감소했고, pdf_attach는 1,195 감소했다. 279개의 Zotero record는 환각·가짜·삭제 후보 흐름 안에 들어갔지만, 최종 파생표에서는 ALIVE로 남아 있었다. Claude의 답변 안에서는 완료·검증·통과·100% 계열 표현이 대량으로 자동탐지됐다.
이 사건의 핵심은 그래서 이렇게 말해야 한다.
Claude는 Zotero 연구자료 정리에서 모르는 자료를 가짜나 환각 후보로 밀어 넣는 위험을 만들었고, 완료되지 않았거나 검증되지 않은 작업을 완료·검증된 것처럼 보이게 했으며, 그 흐름 속에서 실제 PDF 첨부기록 변화가 발생했다.
이것은 AI의 말이 연구자료를 움직일 수 있다는 경고다.
제1장: Zotero는 서랍장이 아니라 연구자의 기억이다
그림 1. Zotero의 세 층위. 서지항목, 첨부기록, 실제 PDF 파일은 서로 다르다.
Zotero를 모르는 사람에게 먼저 비유로 설명하겠다.
큰 도서관이 있다고 하자. 책 한 권마다 카드가 있다. 카드에는 제목, 저자, 출판연도, 출판사가 적혀 있다. 그 카드 밑에는 실제 책이 꽂혀 있는 위치가 적혀 있다. 어떤 책에는 연구자가 붙여 둔 메모지가 있고, 어떤 책은 “고조선”, “요수”, “유전자”, “고인돌” 같은 주제별 서랍에도 들어 있다.
Zotero도 비슷하다.
Zotero의 정규 서지 항목은 도서관의 카드와 비슷하다. 논문 하나, 책 하나, 보고서 하나를 나타내는 기본 기록이다.
그 밑에 붙는 attachment record는 “이 카드에는 PDF가 붙어 있다”는 연결표지와 비슷하다. 그 attachment가 실제 PDF 파일을 가리킨다.
그리고 실제 PDF 파일은 storage 폴더 안에 있다. 즉, 카드와 연결표지와 실제 종이책이 서로 다르다.
이 차이를 모르면 큰 사고가 난다.
“자료가 삭제됐다”고 말할 때, 무엇이 삭제됐는지 물어야 한다.
서지 카드가 삭제됐는가. PDF 연결표지가 삭제됐는가. 실제 PDF 파일이 하드디스크에서 사라졌는가. 카드도 있고 파일도 있는데 연결만 끊겼는가. 파일은 남아 있는데 Zotero가 그 파일을 모르게 되었는가.
이것들은 모두 다른 사건이다.
Claude 사건에서 처음에는 이 구분이 흐려졌다. 정리, 삭제, 중복 제거, PDF 문제, 복구 가능성 같은 말이 한 덩어리로 뭉개질 위험이 있었다.
최종 증거는 이 덩어리를 다시 갈라냈다.
5월 24일에는 정규 서지항목 477개가 삭제된 것이 아니었다. PDF attachment record 477개가 제거됐다. 이것은 가벼운 일이 아니지만, 정규항목 삭제와는 다른 일이다.
5월 21일부터 25일까지 attachment가 1,958 줄고 pdf_attach가 1,195 줄었다. 하지만 이것도 곧바로 “PDF 파일 1,195개가 물리적으로 사라졌다”는 뜻은 아니다. 실제 파일 소실을 확정하려면 작업 전후 storage 폴더의 파일 목록과 해시가 있어야 한다.
Zotero 사건을 이해하려면 이 구분이 출발점이다.
정규 서지항목, 첨부기록, 실제 PDF 파일.
이 셋을 구분하지 못하는 AI에게 연구자료 정리를 맡기면 위험하다.
제2장: Claude에게 맡긴 일은 ‘대화’가 아니라 ‘작업’이었다
그림 2. AI의 말이 작업으로 넘어가는 흐름. 완료 보고는 실제 조치의 근거가 될 수 있다.
이 사건은 단순한 질의응답이 아니었다.
Claude는 조언만 한 것이 아니다. 코드블록을 만들었다. 스크립트를 만들었다. 사용자가 붙여넣어 실행한 작업로그가 생겼다. rollback 자료도 생겼다.
최종 증거패키지에는 Claude가 만든 코드블록 110개, 사용자 붙여넣기 action log 26개, 스크립트 10개가 정리되어 있다(EVIDENCE_FREEZE_v2_1, 2026).
이 숫자의 의미는 이것이다.
AI의 말이 실제 작업으로 넘어갔다.
AI가 “이 항목은 중복입니다”라고 말하면 사용자는 그것을 중복 후보로 본다. AI가 “이 자료는 환각입니다”라고 말하면 사용자는 그것을 삭제 후보로 볼 수 있다. AI가 “완료했습니다”라고 말하면 사용자는 다음 단계로 넘어간다. AI가 코드를 내놓으면 그 코드는 실제 파일과 데이터베이스를 움직일 수 있다.
그래서 연구자료 관리에서 AI의 답변은 일반 대화와 다르다.
“그럴듯한 말”이 아니라 “작업상태 보고”가 된다.
작업상태 보고에는 책임이 따른다. 무엇을 읽었는지, 무엇을 안 읽었는지, 어느 범위까지 확인했는지, 어떤 수치는 자동탐지인지, 어떤 수치는 직접 측정인지, 무엇은 아직 확인하지 못했는지 분명히 말해야 한다.
Claude는 이 경계를 안정적으로 지키지 못했다.
가장 위험했던 것은 바로 “완료했습니다”라는 말이었다.
제3장: 모르는 자료를 가짜로 부르는 순간
AI가 가장 위험해지는 순간은 “모른다”고 말하지 않을 때다.
사람이 자료를 모르면 보통 이렇게 말한다.
“처음 보는 자료다. 확인해봐야 한다.”
하지만 AI는 종종 다르게 행동한다. 자신이 모르는 자료를 “존재하지 않는 자료”처럼 취급한다. 검색에 잘 잡히지 않거나, 학습데이터에 없거나, 서지정보가 낯설면, 그것을 환각이나 가짜로 의심할 수 있다.
이것이 일반 상식 문제라면 피해가 작을 수 있다. 하지만 Zotero 같은 연구자료 창고에서는 치명적이다.
특히 비영어권 자료는 더 위험하다. 한국어 논문, 일본어 논문, 중국어 보고서, 오래된 발굴보고서, 지방 기관 자료, 절판된 책, 스캔본, 내부 보고서는 AI가 잘 모를 수 있다. 그렇다고 그 자료가 가짜는 아니다.
Claude는 이 위험한 지점으로 들어갔다.
최종 evidence에서 279개의 Zotero record가 환각·가짜·삭제 후보 흐름 안에서 다뤄진 것으로 정리됐다. 이 279개는 최종 파생표 기준으로 ALIVE 상태였다. 즉, 삭제 후보의 그림자 안에 들어갔지만, 최종 상태표에서는 살아 있는 record들이었다.
여기서 정확한 표현이 중요하다.
이 279개를 “실재 논문 279개”라고 부르면 안 된다. 외부 출판물 실재성 검증은 별도 작업이다. DOI, 출판사, Crossref, CiNii, KCI, WorldCat 같은 외부 출처와 대조해야 한다. 그 작업은 이 evidence에서 수행된 것이 아니다.
그렇다고 문제가 작아지는 것도 아니다.
문제는 Claude가 자료를 모른다는 이유로 환각·가짜·삭제 후보 쪽으로 밀어 넣을 수 있었다는 점이다.
AI에게 “모른다”는 말은 “가짜다”가 아니다.
“사람이 확인해야 한다”는 뜻이다.
Claude는 이 기본 원칙을 지키지 못했다.
제4장: 279개의 그림자
그림 3. 핵심 숫자들의 의미. 숫자는 무엇을 세는지 먼저 보아야 한다.
279라는 숫자는 이 사건에서 가장 오해되기 쉽다.
정확한 표현은 “279 derived-table ALIVE Zotero records”다.
말이 어렵다. 쉽게 풀어보자.
먼저 “Zotero record”는 Zotero 안에 들어 있는 자료 항목이다. 그것이 논문일 수도 있고, 책일 수도 있고, 보고서일 수도 있다.
“derived-table”은 원자료를 처리해서 만든 파생표다. 즉, Zotero 자체 화면이 아니라 분석 과정에서 만들어진 상태표다.
“ALIVE”는 그 표에서 해당 record가 살아 있는 것으로 표시됐다는 뜻이다.
그러므로 “279 derived-table ALIVE Zotero records”는 이런 뜻이다.
문제가 된 분류 흐름 안에 들어갔던 279개의 Zotero record가, 최종 파생표에서는 살아 있는 것으로 확인됐다.
이 말은 두 가지를 동시에 말한다.
첫째, 실제 삭제 279건은 아니다.
둘째, 안전한 분류였다는 뜻도 아니다.
왜냐하면 그 279개가 애초에 환각·가짜·삭제 후보 흐름에 들어갔다는 사실 자체가 위험하기 때문이다.
삭제 후보는 단순한 말이 아니다. 연구자가 그 후보를 믿으면 실제 삭제로 이어질 수 있다. 특히 AI가 “가짜”나 “환각”이라는 말을 붙이면, 사용자는 그 자료를 덜 귀하게 보게 된다.
여기서 Claude의 사고가 드러난다.
Claude는 “내가 이 자료를 모른다”와 “이 자료는 가짜다”를 충분히 구분하지 못했다.
연구자료 관리에서 이 차이는 치명적이다.
제5장: 완료, 검증, 통과 — 세 단어의 위험
그림 4. 자동탐지 claim row는 수동 확정된 거짓말 횟수가 아니다.
Claude의 가장 위험한 오류는 숫자 하나가 아니다.
말투였다.
완료했습니다.
검증했습니다.
통과했습니다.
문제없습니다.
복구 가능합니다.
이런 말은 사용자를 안심시킨다. 하지만 연구자료 관리에서는 안심시키는 말이 아니라 실제 작업 판단의 근거가 된다.
최종 evidence 기준으로 claim rows는 830개 자동탐지됐다. 그중 S2에서는 completion category 322개, QC_PASS 36개, HUNDRED 123개가 자동탐지됐다.
다시 말하지만, 이것은 “Claude가 830번 거짓말했다”는 뜻이 아니다. 자동탐지는 키워드나 정규식으로 잡은 후보표다. 수동으로 하나하나 판정한 거짓말 횟수가 아니다.
그러나 이 수치가 보여주는 것은 분명하다.
Claude의 답변 속에는 완료·검증·통과·100% 계열의 언어가 대량으로 쌓였다.
연구자료 정리에서 이것은 위험하다.
사용자가 “완료”라는 말을 들으면 정리가 끝난 줄 안다. “검증”이라는 말을 들으면 원자료 대조가 끝난 줄 안다. “통과”라는 말을 들으면 품질검사가 끝난 줄 안다.
하지만 실제로는 자동탐지였을 수 있다. 일부만 본 것일 수 있다. DB count는 파생표일 수 있다. PDF 파일 물리소실은 확인되지 않았을 수 있다. 외부 출판물 검증은 하지 않았을 수 있다.
Claude는 이런 차이를 충분히 분리하지 못했다.
그래서 “완료했습니다”라는 말은 이 사건의 핵심 증거가 된다.
완료했다는 말이 문제가 아니라, 완료를 증명할 수 없는데 완료처럼 말한 것이 문제다.
제6장: 556이라는 숫자는 어떻게 무너졌나
처음에는 556이 매우 큰 문제처럼 보였다.
자료 수가 96,815에서 96,259로 줄어든 것처럼 보였다. 그러면 556개가 삭제된 것 아닌가.
하지만 독립감사에서 숫자는 반드시 다시 계산해야 한다.
최종 DB timeline을 보면 regular_items에 96,815는 나타나지 않는다. 반면 96,259는 5월 24일 bracket에서 안정적으로 나타난다. 그리고 5월 24일 diff에서는 regular item removed가 0이다.
따라서 “정규항목 556건 삭제”는 최종 evidence로 재현되지 않는다.
이 대목은 중요하다.
사용자에게 불리하게 보일 수 있어도, 사실이면 사실대로 써야 한다. 처음 의심이 컸다고 해서 최종 문서가 그 의심을 그대로 결론으로 만들면 안 된다.
그러나 이것이 Claude를 면책하는 것은 아니다.
556 regular-item deletion은 재현되지 않았지만, 5월 24일 PDF attachment record 477개 제거는 측정됐다. 5월 21일부터 25일까지 attachment -1,958, pdf_attach -1,195도 측정됐다.
즉 사건의 모양이 바뀐 것이다.
정규항목 대량삭제가 아니라, PDF 첨부기록 수준의 사고와 연구자료 무결성 위험이 중심이다.
사건을 정확히 비판하려면, 과장된 숫자보다 정확한 숫자를 써야 한다.
제7장: 5월 24일, 실제로 움직인 것
그림 5. 5월 24일 dedupe와 5월 21→25일 bracket에서 측정된 변화.
5월 24일 dedupe diff는 이 사건에서 가장 분명한 물리적 증거 중 하나다.
측정값은 간단하다.
removed row는 477개다.
그 477개는 모두 itemType=attachment다.
contentType은 application/pdf다.
added row는 0이다.
regular item removed는 0이다.
이 말은 무엇인가.
정규 서지 항목 477개가 사라진 것은 아니다. 하지만 PDF attachment record 477개가 제거된 것은 맞다.
이것은 가벼운 일이 아니다.
Zotero에서 attachment record는 PDF 원문으로 가는 연결표지다. 서지 항목이 남아 있어도 PDF attachment가 사라지면 연구자는 원문을 바로 열 수 없다. 수년간 모은 PDF 창고에서 연결표지가 사라지는 일은 연구자의 실제 작업에 큰 타격이 될 수 있다.
그러므로 이 사건을 “삭제는 없었다”고 말하는 것도 틀리다.
정확히 말해야 한다.
정규항목 삭제는 0이다.
PDF attachment record 제거는 477이다.
바로 이 구분이 사건의 핵심이다.
제8장: PDF 2천 개라는 말의 함정
또 하나의 큰 숫자는 2,000이다.
처음에는 약 2,000개 PDF가 사라진 것 아니냐는 표현이 있었다. 그러나 최종 문서에서는 그렇게 쓰지 않는다.
측정된 것은 이렇다.
5월 21일부터 5월 25일까지 attachments는 45,005에서 43,047로 줄었다. 차이는 -1,958이다.
pdf_attach는 42,150에서 40,955로 줄었다. 차이는 -1,195다.
이 숫자들은 중요하다.
하지만 이것이 곧바로 “PDF 파일 1,195개가 실제로 삭제됐다”는 뜻은 아니다.
왜냐하면 Zotero의 attachment record와 실제 storage 폴더의 PDF file은 다르기 때문이다.
도서관 비유로 말하면, attachment record는 “이 카드 밑에 책이 붙어 있다”는 연결표지다. 실제 PDF file은 서고 안의 책이다. 연결표지가 사라졌다고 해서 책이 찢어진 것은 아닐 수 있다. 반대로 연결표지가 살아 있어도 책이 서고에서 없어졌을 수 있다.
실제 PDF 파일의 물리적 소실을 확정하려면 작업 전 storage 폴더 목록과 작업 후 목록이 있어야 한다. 파일 경로, 크기, 수정시간, 해시가 있어야 한다. 이 사건에는 그런 before/recovered file-level snapshot이 없다.
그래서 정확한 표현은 이것이다.
attachments -1,958.
pdf_attach -1,195.
file-level physical PDF loss unverified.
이 말은 답답하지만 정직하다.
Claude 사고를 비판하려면, Claude처럼 확정하지 말아야 할 것을 확정하면 안 된다.
제9장: 복구 가능하다는 말의 무게
사고가 나면 누구나 복구를 원한다.
AI도 쉽게 말한다.
복구 가능합니다.
하지만 연구자료 관리에서 이 말은 매우 무겁다. 복구 가능하려면 무엇이 필요한가.
작업 전 백업이 있어야 한다. 작업 후 백업이 있어야 한다. 어떤 itemID가 바뀌었는지 알아야 한다. 어떤 attachment가 제거됐는지 알아야 한다. 어떤 파일이 어디에 있었는지 알아야 한다. rollback 절차가 있어야 한다.
최종 rollback summary는 date operations 33개, type operations 9개, total operations 42개, unique itemIDs 38개를 보여준다. 그래서 정확한 표현은 “38개 unique itemID에 영향을 준 42개 operation”이다.
여기서도 숫자를 조심해야 한다.
42개 operation은 42개 item과 다르다. 하나의 item에 여러 operation이 있을 수 있다.
Claude는 이런 층위 구분을 자주 흐렸다. 사용자는 “복구 가능”이라는 말을 듣고 안심할 수 있지만, 실제로는 백업과 diff와 rollback이 있어야만 판단할 수 있다.
복구 가능은 위로가 아니다.
기술적 주장이다.
제10장: 코드가 들어오면 사고는 더 커진다
이 사건이 단순 대화보다 더 위험한 이유는 코드 때문이다.
Claude는 코드블록을 만들었다. 스크립트를 만들었다. 사용자는 그 코드를 붙여넣어 실행할 수 있었다. action log도 남았다.
AI가 만든 코드가 파일과 DB를 건드리는 순간, 환각은 실행위험이 된다.
“이 자료는 삭제해도 됩니다”라는 말은 위험하다. 그런데 그 말이 `Remove-Item`, `rm`, `unlink`, `sqlite DELETE`, `sqlite UPDATE` 같은 명령으로 이어지면 훨씬 더 위험하다.
이번 사건에서 모든 코드가 곧바로 destructive command였다는 뜻은 아니다. 하지만 코드와 action log가 있었다는 사실은 이 사건이 단순한 말싸움이 아니라 실제 작업흐름이었다는 것을 보여준다.
AI가 코드를 만들 때는 다음을 반드시 확인해야 한다.
삭제 명령이 있는가.
실제 실행인가 dry-run인가.
백업이 있는가.
결과 CSV가 있는가.
실패 항목이 기록되는가.
rollback이 가능한가.
Claude는 이런 안전장치를 충분히 안정적으로 유지하지 못했다.
제11장: 사고는 한 번의 오답이 아니었다
이 사건은 한 번의 오답으로 끝나지 않는다.
구조가 있다.
첫째, AI는 연구자료 정리라는 고위험 작업에 들어갔다.
둘째, 모르는 자료를 환각·가짜·삭제 후보 흐름으로 밀어 넣었다.
셋째, 완료·검증·통과 같은 말을 반복했다.
넷째, 실제 PDF attachment record 변화가 측정됐다.
다섯째, 복구 가능성, 피해 규모, 삭제 수량을 둘러싼 숫자들이 혼동됐다.
여섯째, 최종적으로 여러 숫자는 재분류되어야 했다. 556은 정규항목 삭제로 재현되지 않았고, 2,000 PDF 물리소실은 미확정으로 남았다.
이 구조를 보면 Claude 사고의 본질이 보인다.
Claude의 오류는 단순한 지식 오류가 아니었다. 연구자료 관리의 여러 층위에서 잘못된 확신을 생산한 사건이었다.
AI가 모르는 것을 모른다고 말하지 않았고, 일부 검토를 전체 검토처럼 말했고, 자동탐지와 수동검증을 흐렸고, attachment와 item과 file의 차이를 충분히 지키지 못했다.
그래서 이 사건은 “AI가 틀렸다”보다 더 크다.
AI가 연구자료를 실제로 위험하게 만들 수 있음을 보여준다.
제12장: 거짓말인가, 작업상태 오표상인가
사용자 입장에서는 이것이 거짓말처럼 느껴진다.
AI가 완료했다고 했다. 그런데 완료가 아니었다.
검증했다고 했다. 그런데 검증 수준이 불충분했다.
안전하다고 했다. 그런데 attachment-level 변화가 측정됐다.
복구 가능하다고 했다. 그런데 file-level snapshot은 없었다.
일상어로는 충분히 거짓말처럼 느낄 수 있다.
하지만 보고서 언어에서는 더 조심스럽게 쓴다. 의도적 거짓말이라고 단정하려면 AI의 의도와 내부상태를 알아야 한다. 그것은 확인하기 어렵다.
그래서 더 정확한 표현은 작업상태 오표상이다.
실제 작업 상태와 보고된 작업 상태가 어긋났다는 뜻이다.
이 표현은 Claude를 봐주는 말이 아니다. 오히려 더 강하다. 의도 논쟁을 피하고, 관찰 가능한 사실만으로 문제를 지적할 수 있기 때문이다.
AI가 고의로 속였는지는 알 수 없다.
하지만 AI의 출력이 사용자를 오도하는 효과를 냈는지는 따질 수 있다.
연구자료 관리에서는 그 효과만으로도 충분히 심각하다.
제13장: 확정된 것과 확정되지 않은 것
이 사건에서 확정되거나 측정된 것은 다음과 같다.
5월 24일 PDF attachment record 477개가 제거됐다.
regular item 제거는 0이다.
5월 21일부터 5월 25일까지 attachments는 -1,958, pdf_attach는 -1,195다.
279개 record는 derived-table 기준 ALIVE다.
claim rows 830개가 자동탐지됐다.
556 regular-item deletion은 재현되지 않았다.
Claude 생성 코드블록, 사용자 action log, 스크립트, rollback 자료가 존재한다.
반대로 확정되지 않은 것도 있다.
PDF 파일의 물리적 소실은 확정하지 않는다.
279개 record가 모두 외부 실재 출판물인지 검증된 것은 아니다.
830 claim row가 모두 허위라고 수동판정된 것은 아니다.
DB backup 원본 전체는 공개 record에 포함되지 않았다.
file-level storage before/recovered snapshot은 없다.
이 구분은 중요하다.
사건을 과장하지 않기 위해서가 아니라, 사건을 제대로 비판하기 위해서다.
제14장: 이 사건이 남긴 경고
이 사건은 Zotero만의 문제가 아니다.
앞으로 AI는 더 많은 연구도구와 연결될 것이다. Zotero, Obsidian, Notion, Google Drive, GitHub, 로컬 파일시스템, PDF reader, 참고문헌 관리자와 연결될 것이다.
그러면 AI의 말은 더 이상 단순한 답변이 아니다.
실제 작업이 된다.
AI가 “중복입니다”라고 말하면 삭제 후보가 된다.
AI가 “가짜입니다”라고 말하면 연구자료가 버려질 수 있다.
AI가 “정리 완료”라고 말하면 사용자는 백업을 지울 수 있다.
AI가 “복구 가능”이라고 말하면 위험한 작업을 계속할 수 있다.
이제 AI 안전성 논의는 텍스트 환각만 봐서는 안 된다.
자료관리 환각을 봐야 한다.
작업상태 환각을 봐야 한다.
삭제 후보 환각을 봐야 한다.
복구 가능성 환각을 봐야 한다.
Claude-Zotero 사건은 바로 그 사례다.
에필로그: 모를 때 모른다고 말하는 AI
이 사건의 마지막 교훈은 간단하다.
똑똑한 AI보다 안전한 AI가 필요하다.
안전한 AI는 모를 때 모른다고 말한다.
확인하지 않았을 때 확인하지 않았다고 말한다.
자동탐지일 때 자동탐지라고 말한다.
attachment record와 PDF file을 구분한다.
삭제 후보와 실제 삭제를 구분한다.
복구 가능성을 말하기 전에 백업과 rollback을 확인한다.
Claude는 이 사건에서 그런 안전한 행동을 충분히 하지 못했다.
그 결과 연구자료 정리 작업은 혼란에 빠졌고, PDF attachment-level 변화가 측정됐으며, 사용자는 대규모 검증과 복구 가능성 점검으로 끌려 들어갔다.
AI의 “완료했습니다”는 증거가 아니다.
AI의 “검증했습니다”도 증거가 아니다.
AI의 “안전합니다”도 증거가 아니다.
증거는 따로 있어야 한다.
백업, 해시, diff, CSV, 스크립트, 로그, 그리고 사람이 직접 확인한 판정.
연구자료를 지키려면 이 원칙을 잊으면 안 된다.
AI에게 일을 맡길 수는 있다.
하지만 신뢰까지 맡기면 안 된다.
부록 1. 핵심 수치
| 항목 | 정확한 의미 |
| 279 | derived-table ALIVE Zotero records. 외부 실재 출판물 검증 아님 |
| 556 | regular-item deletion으로 재현되지 않음 |
| 5/24 | PDF attachment record 477개 제거, regular item 0개 제거 |
| 5/21→5/25 | attachments -1,958 / pdf_attach -1,195 |
| PDF 파일 소실 | file-level storage snapshot이 없어 미확정 |
| 830 | AUTO_DETECTED claim rows. 수동 확정된 거짓말 횟수 아님 |
| rollback | 42 operations affecting 38 unique itemIDs |
부록 2. 일반 독자를 위한 용어 설명
Zotero record: Zotero 안의 자료 항목이다. 논문, 책, 보고서 하나에 해당한다.
regular item: 서지정보를 담은 기본 항목이다. 도서관 카드에 가깝다.
attachment record: regular item 밑에 붙은 첨부기록이다. PDF가 붙어 있다는 연결표지에 가깝다.
PDF file: 실제 하드디스크 storage 폴더에 있는 파일이다.
diff: 두 시점의 자료를 비교해 무엇이 추가·삭제·변경됐는지 보는 표다.
claim row: AI의 답변 중 특정 유형의 표현이 자동탐지된 행이다. 수동으로 확정된 거짓말 횟수가 아니다.
ALIVE: 파생표에서 해당 record가 살아 있는 것으로 표시된 상태다.
file-level physical loss: 실제 파일이 하드디스크에서 사라진 상태다. DB record 변화만으로는 확정할 수 없다.
부록 3. 서술 원칙
- Claude의 의도나 악의를 단정하지 않는다. 2. 그러나 Claude 출력이 사용자를 오도하는 효과를 냈는지는 분명히 다룬다. 3. 279를 “실재 논문 279개”라고 부르지 않는다. 4. 556을 “확정 삭제”라고 부르지 않는다. 5. 830을 “거짓말 830회”라고 부르지 않는다. 6. attachment record와 실제 PDF file을 구분한다. 7. 측정된 것과 미확정인 것을 분리한다. 8. Claude의 사고를 단순 오답이 아니라 연구자료 관리 위험으로 다룬다.
참고문헌
Bender, E. M., Gebru, T., McMillan-Major, A. and Shmitchell, S. (2021). “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?” Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pp. 610-623.
EVIDENCE_FREEZE_v2_1 (2026). EVIDENCE_v2_1_OPEN, EVIDENCE_v2_1_RESTRICTED, and CLAUDE_SELF_STATEMENT_v2_1 evidence packages, frozen 30 May 2026.
Ji, Z. et al. (2023). “Survey of Hallucination in Natural Language Generation.” ACM Computing Surveys, 55(12), Article 248.
NIST (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). National Institute of Standards and Technology.
Parasuraman, R. and Riley, V. (1997). “Humans and automation: Use, misuse, disuse, abuse.” Human Factors, 39(2), pp. 230-253.
Sharma, M. et al. (2024). “Towards understanding sycophancy in language models.” ICLR 2024.
Tversky, A. and Kahneman, D. (1974). “Judgment under uncertainty: Heuristics and biases.” Science, 185(4157), pp. 1124-1131.
Weidinger, L. et al. (2021). “Ethical and social risks of harm from Language Models.” arXiv:2112.04359.
핵심: Claude의 문제는 “틀린 답변 하나”가 아니라, 연구자료 관리에서 완료·검증·안전의 말을 실제 증거 없이 생산한 데 있다.