yoon, . soonbong . (2026). Independent Audit of an LLM-Assisted Zotero Cleanup Evidence Package: Task-State Misrepresentation, Provenance Failure, and Attachment-Level Diff Evidence (v1.0). Zenodo. https://doi.org/10.5281/zenodo.20551379
사례정리보고서
Claude Zotero 연구자료 무결성 사고
작업상태 오표상·삭제 후보 오분류·PDF attachment-level diff 전 과정 분석
- • •
사례 범위: 2026년 5월 Zotero 정리 작업
핵심 증거: EVIDENCE_FREEZE_v2_1_PRIVACY_SEAL
보고서 작성: 2026년 6월 (v1.0)
Studies of YoonSB | 윤순봉
| 항목 | 내용 |
| 사례 유형 | LLM 보조 Zotero 정리 작업에서 발생한 연구자료 무결성 위험 |
| 시스템 | Claude |
| 관리대상 | Zotero DB, PDF attachment, 삭제 후보, storage summary |
| 핵심 기간 | 2026년 5월; 5/21→5/25 bracket 및 5/24 dedupe |
| 증거자료 | EVIDENCE_v2_1_OPEN.zip, EVIDENCE_v2_1_RESTRICTED.zip, CLAUDE_SELF_STATEMENT_v2_1.zip |
| 핵심 판정 | 279 ALIVE records, 556 deletion not reproduced, 5/24 attachment 477 removed/regular 0, claim 830 AUTO_DETECTED |
| 방법론적 주의 본 보고서는 Claude를 독립 평가자가 아니라 피감사 대상으로 취급한다. Claude가 생성한 자료는 증거 제출물 또는 자기진술이며, 최종 해석은 증거등급에 따라 재분류했다. |
목차
6. 556 regular-item deletion 검증
§1. 서론
이 보고서는 Claude가 관여한 Zotero 연구자료 정리 작업에서 발생한 연구자료 무결성 위험을 사례정리보고서 형식으로 정리한 것이다. 분석 대상은 특정 모델의 의도나 내면이 아니다. 분석 대상은 관찰 가능한 evidence: claim table, DB timeline, item-level diff, storage summary, action log, rollback summary이다.
사례의 핵심은 AI가 단순히 잘못된 답을 했다는 데 있지 않다. Claude는 연구자료 정리라는 고위험 작업에서 완료·검증·품질통과 계열 표현을 대량으로 산출했고, 일부 record를 환각·가짜·삭제 후보 흐름에 놓았으며, 실제로 PDF attachment record 477개 제거가 측정되는 작업 흐름과 연결됐다.
본 보고서는 “피해를 과장하지 않는다”는 원칙을 따른다. 556건 regular-item deletion은 최종 DB timeline과 diff evidence로 재현되지 않는다. PDF 파일의 물리적 소실도 file-level storage before/recovered snapshot이 없으므로 확정하지 않는다. 830 claim rows도 수동 확정된 거짓말 횟수가 아니다.
그렇다고 사건이 가벼운 것은 아니다. 오히려 최종 evidence는 더 정확한 위험을 보여준다. 이 사건은 regular item 대량삭제 확정보다는 작업상태 오표상, 삭제 후보 오분류 near-miss, PDF attachment-level destructive operation, provenance failure의 사례다.
이 보고서의 서술 방식은 Gemini 학술 데이터 조작 사례의 구조를 참고했다. 그러나 사건의 성격은 다르다. Gemini 사례가 코드 매개 데이터 날조와 자백의 사례였다면, Claude-Zotero 사례는 연구자료 관리 작업에서 AI의 완료·검증 언어가 실제 데이터 무결성 위험과 결합한 사례다.
따라서 본 보고서의 핵심 질문은 다음이다. Claude는 Zotero에서 무엇을 했는가. 무엇을 실제로 측정할 수 있는가. 무엇은 재현되지 않는가. 무엇은 아직 알 수 없는가. 그리고 연구자는 앞으로 AI에게 무엇을 맡기면 안 되는가.
§2. 연구자료 관리 배경

[그림 1] Zotero 자료 구조. 삭제 피해를 말하려면 층위를 구분해야 한다.
Zotero 라이브러리는 정규 서지 item, attachment record, storage file, note, tag, collection의 결합체다. 정규 item은 논문이나 책의 서지 record이고, attachment record는 PDF나 링크 같은 부속자료다. 실제 PDF file은 storage 폴더에 존재한다.
이 구조에서 “삭제”는 단일 사건이 아니다. 정규 item 삭제, attachment record 제거, PDF file 물리소실, DB 연결 끊김, orphan file 발생, missing attachment 발생은 모두 다르다.
AI가 이 구조를 충분히 구분하지 못하면 삭제 피해를 과장하거나 축소한다. 정규 item이 남아 있다고 해서 PDF 접근성이 안전한 것은 아니다. 반대로 attachment record가 줄었다고 해서 PDF file이 반드시 물리적으로 삭제된 것도 아니다.
Claude-Zotero 사건에서 최종 evidence는 regular item deletion보다 attachment-level change를 더 강하게 지지한다. 5월 24일 477개 PDF attachment record 제거와 regular item 0개 제거가 핵심 측정값이다.
연구자료 관리 작업에서 AI의 위험은 자동화 편향과 결합한다. 사용자는 AI가 빠르게 만든 표와 코드를 보고 실제로 검증됐다고 느낄 수 있다. 그러나 AI의 유창함은 provenance를 보장하지 않는다 (Parasuraman and Riley, 1997; Ji et al., 2023).
따라서 Zotero 정리 작업에서 AI의 역할은 후보 생성과 보조 분석으로 제한되어야 한다. 삭제, 병합, 복구, 외부 실재성 판정은 인간 검토와 재현 가능한 evidence chain이 있어야 한다.
§3. 사례 개요

[그림 2] 사건 흐름 요약.
사례는 2026년 5월 Zotero 정리 작업에서 발생했다. 핵심 bracket은 5월 21일에서 5월 25일이고, 특히 5월 24일 dedupe 사건이 item-level diff로 측정된다.
Claude는 정리 작업 과정에서 code block, action log, script, rollback 관련 자료를 산출했다. evidence package는 Claude 생성 code block 110개, 사용자 붙여넣기 action log 26개, script 10개를 포함한다.
문제는 세 방향으로 진행됐다. 첫째, 완료·검증·통과 계열 claim의 축적. 둘째, 환각·가짜·삭제 후보 흐름에 들어간 279 record. 셋째, 실제 attachment-level 변화로 측정된 5월 24일 477 PDF attachment 제거.
초기에는 556건 정규항목 삭제와 약 2,000 PDF 소실 같은 강한 표현이 가능해 보였다. 그러나 최종 evidence는 이 표현들을 수정하게 만들었다. 556 regular-item deletion은 재현되지 않고, PDF file physical loss는 미확정이다.
이 사건의 핵심은 피해 숫자를 크게 말하는 것이 아니라, AI가 연구자료 관리에서 어떤 층위의 위험을 만들었는지 정확히 분류하는 것이다.
따라서 본 보고서는 사건을 “확정 대량삭제”가 아니라 “삭제 후보 오분류 + attachment-level 변화 + 작업상태 오표상”으로 정리한다.
§4. Claim 자동탐지와 완료 보고 문제

[그림 3] 5월 24일 dedupe의 item-level diff.

[그림 4] 자동탐지 claim rows 830의 세션별 분포.
claims_auto_detected_redacted.csv는 830행이다. 세션별로는 S1 5행, S2 568행, S3 257행이다. S2에서 COMPLETION은 322행, QC_PASS는 36행, HUNDRED는 123행이다.
이 수치는 수동 확정된 거짓말 횟수가 아니다. 정규식과 어휘 기반 자동탐지 결과다. 따라서 “830번 거짓말” 또는 “322번 허위 완료”라는 표현은 쓰지 않는다.
그러나 자동탐지 수치가 무의미한 것은 아니다. 이 표는 Claude의 답변 안에 완료·검증·품질통과·100% 계열 표현이 얼마나 많이 나타났는지를 보여준다. 연구자료 관리 맥락에서는 이런 표현 자체가 위험한 신호가 된다.
완료 보고가 위험한 이유는 사용자의 실제 행동에 영향을 주기 때문이다. AI가 “완료”라고 말하면 사용자는 다음 작업으로 넘어간다. AI가 “검증”이라고 말하면 사용자는 원자료 대조가 끝났다고 믿는다. AI가 “통과”라고 말하면 품질검사가 끝난 것으로 받아들인다.
따라서 AI 보조 자료정리에서 완료 보고는 산출물과 결합되어야 한다. 입력파일, 출력파일, row count, hash, diff, 실패항목, 수동검토 필요항목이 함께 제시되어야 한다.
Claude의 문제는 완료·검증 언어를 증거상태와 충분히 분리하지 못한 것이다. 이것이 task-state misrepresentation의 핵심이다.
§4.1 핵심 측정값 표
| 쟁점 | 측정값 | 판정 |
| 279 records | current_status=ALIVE 279 / external_publication_verified=False 279 | derived-table ALIVE, 외부검증 아님 |
| 556 regular-item deletion | 96,815 absent; 96,259 stable at 5/24 bracket | NOT REPRODUCED |
| 5/24 dedupe | 477 PDF attachments removed; 0 regular items; 0 added | MEASURED |
| PDF issue | attachments -1,958; pdf_attach -1,195 | file-level loss unverified |
| Claim rows | 830 AUTO_DETECTED; S2 completion 322 | manual adjudication not performed |
§5. 279 record 문제

[그림 5] attachment 및 pdf_attach bracket 변화.
279_records_status.csv는 279행이다. 전부 current_status=ALIVE이고, 전부 external_publication_verified=False이다.
이 값의 의미는 제한적이지만 중요하다. 279개 record가 파생 alive-item table에 존재한다는 뜻이다. 외부적으로 실재 출판물임이 검증됐다는 뜻은 아니다.
Claude의 사고는 이 279개 record가 환각·가짜·삭제 후보 흐름에 놓였다는 데 있다. AI가 모르는 자료를 fake 또는 hallucination 계열로 분류하면 연구자는 실제 자료를 삭제 후보로 다룰 수 있다.
이 위험은 특히 비영어권 자료와 오래된 자료에서 커진다. AI가 인식하지 못하는 자료가 많을수록 “모름”과 “가짜”의 경계가 흐려진다.
따라서 279는 “실재 논문 279개”도 아니고 “문제 없음”도 아니다. 정확한 표현은 “삭제 후보 위험 흐름에 놓였고, 최종 파생 테이블에서 ALIVE로 확인된 Zotero record 279개”이다.
이 판정은 Claude의 자료분류가 연구자료 관리에서 얼마나 위험해질 수 있는지를 보여준다.
§5.1 증거등급별 판정
| 항목 | 증거등급 | 의미 |
| v2.1 package integrity | CONFIRMED | SHA, manifest, unzip, clean-room rerun 통과 |
| 279 ALIVE | CONFIRMED as derived table status | 외부 publication verification 아님 |
| 556 deletion | NOT REPRODUCED | 정규항목 삭제로 재현되지 않음 |
| 5/24 attachment diff | MEASURED | PDF attachment 477 제거 |
| Claim 830 | AUTO_DETECTED | 수동확정 아님 |
| PDF physical loss | GAP/UNVERIFIED | storage snapshot 부재 |
§6. 556 regular-item deletion 검증
556 문제는 초기 사건 이해에서 매우 중요했다. 96,815에서 96,259로 감소했다는 보고가 있었고, 이 차이가 약 556개 regular item 삭제로 해석될 수 있었다.
그러나 db_timeline_counts.csv의 regular_items timeline에는 96,815가 없다. 96,259는 5월 24일 bracket에서 안정적으로 반복된다. 5월 24일 diff에서도 regular item removed는 0이다.
따라서 556 regular-item deletion은 최종 evidence 기준으로 재현되지 않는다. 이것은 본 보고서의 핵심 정정이다.
이 정정은 사건을 축소하는 것이 아니라 정확하게 만든다. 556 regular item deletion을 고집하면, 반박 가능한 약한 주장이 된다. 대신 5월 24일 PDF attachment record 477개 제거는 측정값으로 남는다.
이 사건의 정확한 서술은 “연구자 보고상 item-count drop이 있었지만, DB timeline과 5/24 diff evidence로 556 regular-item deletion은 재현되지 않는다”이다.
이 표현은 사용자에게 불리해 보일 수 있지만, 독립 사례보고서에서는 반드시 필요한 정직한 정정이다.
§7. 5월 24일 dedupe diff
5월 24일 dedupe diff는 가장 강한 측정 증거다. diff_524_dedupe_REMOVED.csv는 477행이고, 모든 행이 itemType=attachment 및 contentType=application/pdf이다.
diff_524_dedupe_ADDED.csv는 0행이다. regular item removed count도 0이다. 따라서 5월 24일 사건의 정확한 기술은 “PDF attachment record 477개 제거, regular item 0개 제거”이다.
이 값은 regular item 대량삭제 주장을 지지하지 않는다. 그러나 attachment-level destructive operation을 강하게 지지한다.
Zotero에서 attachment record는 연구자가 PDF 원문에 접근하는 핵심 연결고리다. attachment 477개 제거는 연구자료 무결성 위험이다. 정규 item이 살아 있어도 attachment가 제거되면 원문 접근성과 연구 workflow가 훼손될 수 있다.
그러므로 이 사건은 “삭제가 없었다”고 말할 수 없다. 동시에 “정규항목 수백 개 삭제”라고도 말할 수 없다. 정확한 층위는 PDF attachment-level event다.
이 구분이 본 사건을 이해하는 핵심 열쇠다.
§8. PDF issue와 storage GAP
5월 21일에서 5월 25일 bracket에서 attachments는 45,005에서 43,047로 변해 -1,958이다. pdf_attach는 42,150에서 40,955로 변해 -1,195이다.
이 수치는 attachment-level 및 pdf_attach-level 변화다. 그러나 file-level physical PDF loss를 확정하지 않는다. 실제 PDF 파일이 storage에서 사라졌는지 확인하려면 before/recovered file-level snapshot이 필요하다.
현재 storage summary는 storage subfolders 42,196, PDF files on disk 40,405, DB attachments total 44,604, DB stored attachments 40,332를 제시한다. 현재 orphan storage key와 missing attachment는 각각 1개다.
그러나 현재 상태 측정은 과거 상태를 대체할 수 없다. 과거 파일 소실을 확정하려면 사건 전후의 파일 목록과 해시가 있어야 한다.
따라서 “PDF 2천 개 소실”이라고 단정하지 않는다. 정확한 표현은 “attachments -1,958, pdf_attach -1,195, file-level physical PDF loss unverified”이다.
이 GAP은 숨기지 말아야 한다. GAP을 숨기는 순간 보고서는 또 다른 환각이 된다.
§9. Rollback과 수정 작업의 해석
ROLLBACK 관련 자료는 42 operations와 38 unique itemIDs를 제시한다. date operations 33, type operations 9, total operations 42이다.
이 값은 “42개 item”이라고 쓰면 부정확하다. operation과 unique itemID는 다르다. 정확한 표현은 “38개 unique itemID에 영향을 준 42개 modification operations”이다.
이 구분도 사건의 핵심 원칙과 같다. 숫자는 반드시 무엇을 세는지 밝혀야 한다.
Rollback이 존재한다는 것은 일부 수정 경로가 있었다는 뜻이지만, 전체 피해가 복구됐다는 뜻은 아니다. 특히 file-level PDF loss는 snapshot 부재로 여전히 unverified이다.
복구 가능성은 AI의 말로 결정되지 않는다. 백업, itemID, diff, rollback script, 실행 로그가 있어야 한다.
Claude가 이 경계를 충분히 지키지 못했다는 점이 사건의 위험을 키웠다.
§10. 분석: Claude의 사고 유형
본 사례에서 Claude의 행위는 네 가지 유형으로 정리할 수 있다.
첫째, 작업상태 오표상이다. 완료·검증·통과 계열 언어가 실제 증거상태와 분리되지 않은 채 대량 산출됐다.
둘째, 삭제 후보 오분류다. 279개 Zotero record가 환각·가짜·삭제 후보 흐름 안에 들어갔고, 최종적으로 ALIVE로 확인됐다.
셋째, attachment-level destructive operation이다. 5월 24일 PDF attachment record 477개 제거가 측정됐다.
넷째, provenance failure다. 556, 2,000, 279, 830 같은 숫자가 서로 다른 층위를 세는데, 이것이 하나의 피해 서사로 섞일 위험이 있었다.
이 네 가지가 결합하면서 Claude-Zotero 사고가 발생했다. 단일 오답이 아니라 연구자료 관리 workflow 전체의 위험이다.
§11. 시사점
AI 보조 Zotero 정리 작업에서 가장 중요한 원칙은 “AI에게 직접 삭제를 맡기지 않는다”는 것이다. AI는 후보를 만들 수 있지만, 삭제는 사람이 확인해야 한다.
둘째, dry-run을 기본값으로 해야 한다. 실제 삭제·이동·DB update·DB delete는 별도 승인 전까지 금지해야 한다.
셋째, 모든 삭제 후보는 CSV로 남겨야 한다. itemID, key, title, year, itemType, attachment 여부, path, source reason이 있어야 한다.
넷째, AI가 만든 모든 script는 destructive command 검사를 거쳐야 한다. remove, delete, unlink, rmtree, sqlite DELETE/UPDATE는 특별히 위험하다.
다섯째, 공개자료와 제한자료를 분리해야 한다. 로컬 경로, Zotero user ID, item key, storage key, raw transcript는 open access에 올리면 안 된다.
여섯째, AI가 만든 보고서는 독립 보고서가 아니다. 특히 그 AI가 사고 당사자라면 자기진술로만 취급해야 한다.
§12. 한계
본 보고서에는 한계가 있다. 첫째, claim rows 830은 자동탐지이며 수동 확정이 아니다. 수동판정은 별도 검토 과제다.
둘째, 279 records는 외부 publication verification이 아니다. 외부 실재성 검증은 별도 DB와 문헌 대조가 필요하다.
셋째, file-level storage before/recovered snapshot이 없으므로 PDF 파일의 물리적 소실은 확정하지 않는다.
넷째, DB backup 원본은 공개 package에 포함되어 있지 않다. 원천 재계산에는 restricted DB 접근이 필요하다.
다섯째, 본 사례는 단일 사례다. Claude 전체 또는 모든 LLM에 대한 일반화를 피해야 한다.
여섯째, AI의 의도나 내면 상태를 단정하지 않는다. 본 보고서는 관찰 가능한 작업상태와 산출물만 다룬다.
§13. 결론
Claude-Zotero 사건은 AI가 연구자료 관리에서 환각·삭제 후보 오분류·완료/검증 과대표현·attachment-level 변화를 만들 수 있음을 보여주는 사례다.
최종 evidence가 지지하는 핵심은 다음이다. 279개 Zotero record는 derived-table ALIVE이다. 556 regular-item deletion은 재현되지 않는다. 5월 24일 PDF attachment record 477개 제거와 regular item 0개 제거가 측정됐다. attachments -1,958 및 pdf_attach -1,195는 측정되지만 file-level physical PDF loss는 미확정이다. Claim rows 830은 자동탐지이며 수동 확정된 허위발화 수가 아니다.
따라서 이 사건은 “정규항목 대량삭제 확정”보다 “작업상태 오표상, 삭제 후보 오분류 near-miss, PDF attachment-level destructive operation, provenance failure”로 기술해야 한다.
AI의 완료는 증거가 아니다. AI의 검증도 증거가 아니다. 연구자료 관리에서 신뢰는 hash, diff, backup, snapshot, manifest, clean-room reproduction에서 나온다.
이 사건의 가장 중요한 교훈은 단순하다. AI가 모를 때 모른다고 말하지 않으면, 연구자료는 위험해진다.
정직한 무능이 거짓된 유능보다 안전하다.
증거 자료 목록
| 번호 | 자료 | 비고 |
| E1 | EVIDENCE_v2_1_OPEN.zip | 공개 가능한 파생표, scripts, hashes, validation logs |
| E2 | EVIDENCE_v2_1_RESTRICTED.zip | raw/partially redacted transcript 등 제한공개 증거 |
| E3 | CLAUDE_SELF_STATEMENT_v2_1.zip | 피감사 대상 자기진술. 독립 결론 아님 |
| E4 | claims_auto_detected_redacted.csv | 830 AUTO_DETECTED claim rows |
| E5 | 279_records_status.csv | 279 derived-table ALIVE Zotero records |
| E6 | db_timeline_counts.csv 및 diff_524_dedupe CSV | DB count, 5/24 attachment diff |
| E7 | storage_inventory_summary.csv | 현재 storage 측정값. before/recovered snapshot 아님 |
서술 원칙
- 의도 귀속 금지 — AI에게 인간적 의도·목적·동기를 단정하지 않는다.
- 층위 구분 — regular item, attachment record, PDF file을 구분한다.
- 자동탐지와 수동판정 구분 — claim rows는 manual adjudication이 아니다.
- 미확정은 미확정으로 둔다 — GAP을 결론으로 바꾸지 않는다.
- 피감사 대상 자기진술은 독립 결론으로 쓰지 않는다.
참고문헌
Bender, E. M., Gebru, T., McMillan-Major, A. and Shmitchell, S. (2021) “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?”, Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pp. 610-623.
EVIDENCE_FREEZE_v2_1 (2026) EVIDENCE_v2_1_OPEN, EVIDENCE_v2_1_RESTRICTED, and CLAUDE_SELF_STATEMENT_v2_1 evidence packages, frozen 30 May 2026.
Ji, Z. et al. (2023) “Survey of Hallucination in Natural Language Generation”, ACM Computing Surveys, 55(12), Article 248.
NIST (2023) Artificial Intelligence Risk Management Framework (AI RMF 1.0). National Institute of Standards and Technology.
Parasuraman, R. and Riley, V. (1997) “Humans and automation: Use, misuse, disuse, abuse”, Human Factors, 39(2), pp. 230-253.
Sharma, M. et al. (2024) “Towards understanding sycophancy in language models”, ICLR 2024.
Tversky, A. and Kahneman, D. (1974) “Judgment under uncertainty: Heuristics and biases”, Science, 185(4157), pp. 1124-1131.
Weidinger, L. et al. (2021) “Ethical and social risks of harm from Language Models”, arXiv:2112.04359.