yoon, . soonbong . (2026). Independent Audit of an LLM-Assisted Zotero Cleanup Evidence Package: Task-State Misrepresentation, Provenance Failure, and Attachment-Level Diff Evidence (v1.0). Zenodo. https://doi.org/10.5281/zenodo.20551379
LLM 보조 Zotero 정리 작업에서 발생한 연구자료 무결성 위험: EVIDENCE_FREEZE_v2_1 독립 감사보고서
2026-05-30
LLM 보조 Zotero 정리 작업에서 발생한 연구자료 무결성 위험
EVIDENCE_FREEZE_v2_1 독립 감사보고서
작성일: 2026-05-30
감사 기준 입력: EVIDENCE_v2_1_DELIVERY.Zip 내부의 EVIDENCE_v2_1_OPEN.zip, EVIDENCE_v2_1_RESTRICTED.zip, CLAUDE_SELF_STATEMENT_v2_1.zip
보고서 성격: 독립 감사보고서. Claude가 작성한 report 초안은 최종 본문으로 사용하지 않았다.
주의: 본 보고서는 법률감정서가 아니라 연구자료 무결성 및 증거패키지 재현성에 관한 기술적·학술적 감사보고서이다.
초록
본 보고서는 LLM 보조 Zotero 정리 작업에서 발생한 연구자료 무결성 위험을 EVIDENCE_FREEZE_v2_1 증거패키지에 근거해 독립적으로 검토한 것이다. 검토 결과, v2.1 증거패키지는 해시, ZIP 무결성, 내부 manifest, clean-room claim 재생성, D10 279 status 재생성, OPEN privacy scan, forbidden-framing scan을 통과했다. 따라서 이 패키지는 독립보고서 작성용 evidence input으로 사용할 수 있다. 그러나 이 패키지가 모든 피해 규모를 확정하는 것은 아니다. 핵심 판정은 다음과 같다. 279건은 외부적으로 실재 출판물임이 검증된 자료가 아니라 파생 테이블에서 ALIVE로 표시된 Zotero record이다. 556개 정규항목 삭제는 v2.1 DB timeline과 5/24 diff로 재현되지 않는다. 측정된 5/24 dedupe 사건은 PDF attachment record 477개 제거와 정규항목 0개 제거이다. 5/21→5/25 bracket의 변화는 attachments -1,958 및 pdf_attach -1,195이지만, 파일 단위 PDF 물리소실은 before/recovered storage snapshot 부재로 확정되지 않는다. Claim row 830개는 자동탐지 결과이며, 수동으로 확정된 허위완료 수가 아니다. 이 사건의 핵심은 LLM이 고위험 연구자료 관리 작업에서 작업상태와 검증상태를 과대표상했을 위험, 그리고 그 위험을 검증 가능한 provenance chain으로 통제하지 못했다는 데 있다. 이러한 해석은 LLM hallucination과 AI risk management의 일반 문헌에서 강조하는 provenance, risk measurement, human-computer interaction harm의 문제와 연결된다 (Ji et al., 2023; NIST, 2023; Weidinger et al., 2021).
목차
4.5 Storage current summary와 rollback
1. 감사 범위와 자료
본 감사의 직접 자료는 EVIDENCE_FREEZE_v2_1이다. 이 자료는 Claude가 피감사 대상으로 제출한 evidence package이며, 최종 보고서가 아니다. EVIDENCE_v2_1_OPEN.zip은 공개 가능한 파생표, 스크립트, 해시, 검증로그로 구성되어 있고, EVIDENCE_v2_1_RESTRICTED.zip은 raw 및 partially redacted transcript를 포함하는 제한공개 증거자료이다. CLAUDE_SELF_STATEMENT_v2_1.zip은 피감사 대상의 자기진술이며, 독립 결론이 아니다 (EVIDENCE_FREEZE_v2_1, 2026).
본 보고서가 직접 검증한 범위는 다음과 같다. 첫째, ZIP SHA256, sidecar, 내부 manifest, unzip -t 결과를 확인했다. 둘째, OPEN과 RESTRICTED를 새 임시 폴더에 형제 디렉터리로 풀고 claim table 및 D10 279 table을 clean-room 방식으로 재생성했다. 셋째, OPEN 패키지의 민감 문자열과 forbidden framing scan을 재수행했다. 넷째, DB timeline, 5/24 dedupe diff, storage summary, rollback summary를 읽어 핵심 수치가 무엇을 의미하는지 재분류했다.
본 보고서가 확정하지 않는 범위도 분명하다. DB 원본은 패키지에 들어 있지 않고 해시 및 추출표만 있다. 따라서 DB count/diff의 원천 재계산은 restricted DB backup 접근이 있어야 가능하다. 파일 단위 storage before/recovered snapshot은 존재하지 않는다. 830개 claim row의 수동 허위판정은 수행되지 않았다. 279개 record의 외부 출판물 실재성 검증도 수행되지 않았다.
2. 방법
검토는 evidence-grade 분류 방식으로 수행했다. 각 주장은 CONFIRMED, MEASURED, AUTO_DETECTED, TRANSCRIPT_REPORTED, GAP, NOT REPRODUCED, RESTRICTED ONLY로 나누었다. 이 방식은 LLM 산출물의 문장 자체를 곧바로 사실로 보지 않고, 산출물이 어떤 원자료와 재현 절차에 의해 지지되는지를 먼저 따지는 방식이다. LLM hallucination 연구는 생성 모델이 유창한 언어를 산출하면서도 사실성과 provenance를 보장하지 못할 수 있음을 지적해 왔고, AI risk management 문헌은 측정, 검증, 문서화, 위험관리 절차를 분리할 필요를 강조한다 (Ji et al., 2023; NIST, 2023). 따라서 본 감사는 Claude의 자기서술이 아니라 package-level reproducibility와 evidence-level classification을 기준으로 삼았다.
검증 명령의 핵심은 다음이었다.
sha256sum -c SHA256SUMS.txt
unzip -t EVIDENCE_v2_1_OPEN.zip
unzip -t EVIDENCE_v2_1_RESTRICTED.zip
unzip -t CLAUDE_SELF_STATEMENT_v2_1.zip
cd OPEN && sha256sum -c MANIFEST.sha256
cd RESTRICTED && sha256sum -c MANIFEST.sha256
cd OPEN/D03_04_claims && python build_claim_tables.py
cd OPEN/D10_279_status && python build_279_status.py
OPEN package의 공개 안전성 검사는 로컬 경로, Windows drive path, Zotero API URL, numeric user ID, item key, storage key, email pattern, 그리고 금지 framing 표현을 대상으로 다시 수행했다. v2.0에서 누락됐던 /users/<digits>와 /items/<KEY> 계열의 URL-shaped Zotero identifier는 v2.1에서 해소됐다.
3. 패키지 무결성 검증
업로드된 바깥 wrapper ZIP의 SHA256은 40eb033b3dc1f8af017ed47d0b6a00a5b9c59bb2fe1dd8ec3b77be0aede686b1이다. 다만 공식 제출 단위로 사용하는 것이 더 안전한 것은 그 내부의 3개 ZIP이다. 그 3개 ZIP은 다음과 같이 검증됐다.
| ZIP | bytes | SHA256 | 판정 |
| EVIDENCE_v2_1_OPEN.zip | 378,296 | 5f0cb980b808565 |
통과 |
| EVIDENCE_v2_1_RESTRICTED.zip | 27,669,536 | 352ea526995f447 |
통과 |
| CLAUDE_SELF_STATEMENT_v2_1.zip | 3,179 | c868b40142efa49 |
통과 |
세 ZIP은 sidecar와 실제 SHA256이 일치했고, unzip -t와 내부 MANIFEST.sha256 검사를 통과했다. OPEN package는 공개용 파생자료만 포함하며, RESTRICTED package는 제한공개 증거자료임을 명시하고 있다. SELF_STATEMENT package는 첫 문장에서 “This package is a statement submitted by the system under review. It is not an independent audit report.”라고 선언한다.
4. 핵심 측정값
4.1 Claim rows
claims_auto_detected_redacted.csv는 총 830행이다. 이 값은 자동탐지 결과이며, 수동으로 확정된 허위발화 수가 아니다.
| 세션 | claim rows | 주요 세부값 |
| S1 | 5 | COMPLETION 4, HALLUCIN 1 |
| S2 | 568 | COMPLETION 322, QC_PASS 36, HUNDRED 123, SAFETY 45, HALLUCIN 42 |
| S3 | 257 | COMPLETION 151, QC_PASS 9, HUNDRED 50, SAFETY 4, HALLUCIN 43 |
S2의 COMPLETION 322, QC_PASS 36, HUNDRED 123은 재현되는 headline number이다. 그러나 이것은 “322회 허위완료”나 “322회 거짓말”이 아니다. 정확한 표현은 “S2 transcript에서 completion-related vocabulary가 자동탐지된 행 322개”이다.
4.2 279 records
279_records_status.csv는 279행이다. 전부 current_status=ALIVE이고, 전부 external_publication_verified=False이다. 따라서 정확한 표현은 “279 derived-table ALIVE Zotero records”이다. 이것은 279개가 외부적으로 실재 출판물임이 검증됐다는 뜻이 아니다.
4.3 DB timeline과 556 문제
db_timeline_counts.csv는 45개 timeline row를 포함한다. 그중 44개는 readable이고, 1개는 NO:file is not a database로 표시되어 있다. regular_items의 전체 범위는 79,184–102,978이다. 96,815는 이 timeline에 없고, 96,259는 5/24 bracket에서 6회 반복된다. 그러므로 “556개 정규항목 삭제”는 v2.1 evidence로 재현되지 않는다.
5/24 dedupe diff는 훨씬 분명하다. diff_524_dedupe_REMOVED.csv는 477행이고, 전부 itemType=attachment, contentType=application/pdf이다. diff_524_dedupe_ADDED.csv는 0행이다. 이 사건에 한정한 정확한 측정값은 “PDF attachment record 477개 제거, 정규항목 0개 제거”이다.
4.4 PDF issue
5/21 13:05:25와 5/25 18:19:35 사이의 bracket에서 attachments는 45,005에서 43,047로 바뀌어 -1,958 감소했다. pdf_attach는 42,150에서 40,955로 바뀌어 -1,195 감소했다. 이 수치는 attachment-level 및 pdf_attach-level 변화이며, PDF 파일의 물리적 소실을 확정하지 않는다. 파일 단위 storage before/recovered snapshot이 없으므로 physical file loss는 unverified로 남는다.
4.5 Storage current summary와 rollback
현재 storage summary는 storage subfolder 42196, PDF files on disk 40405, DB attachments total 44604, DB stored attachments 40332를 제시한다. 현재 상태에서 orphan storage key와 missing attachment는 각각 1개이다. 이것은 현재 상태 측정값일 뿐, 과거 before/recovered 상태를 대체하지 않는다.
Rollback summary는 date operations 33, type operations 9, total operations 42, unique itemIDs 38을 제시한다. 따라서 정확한 표현은 “42 modification operations affecting 38 unique itemIDs”이다. 42 unique items라고 쓰면 부정확하다.
5. 증거등급별 판정표
| 쟁점 | 판정 | 이유 |
| v2.1 evidence package 무결성 | CONFIRMED | SHA256 sidecar, unzip -t, internal manifest 통과 |
| OPEN package 공개 안전성 | CONFIRMED for tested patterns | 민감 literal/regex 및 forbidden framing 재검사 0건 |
| Claim 830행 | AUTO_DETECTED | 정규식·어휘 탐지 결과. 수동판정 아님 |
| S2 COMPLETION 322 | AUTO_DETECTED | completion-related vocabulary 탐지 수. 허위완료 확정 수 아님 |
| 279건 | CONFIRMED as derived-table ALIVE | 외부 실재 출판물 검증 아님 |
| 556 regular-item deletion | NOT REPRODUCED | DB timeline에 96,815 없음. 5/24 measured diff는 attachment-level 사건 |
| 5/24 dedupe | CONFIRMED measured event | 477 PDF attachment records removed, 0 regular items removed |
| PDF physical loss | UNVERIFIED | attachment/pdf_attach count 변화는 측정됐으나 file-level before/recovered snapshot 없음 |
| Current storage orphan/missing | MEASURED current state | orphan 1, missing 1. 과거 상태 확정 아님 |
| Restricted transcripts | RESTRICTED ONLY | partially_redacted.restricted이며 public-safe redaction 아님 |
6. 사건의 학술적 의미
이 사건은 단순히 “LLM이 틀린 문장을 만들었다”는 문제로 환원하기 어렵다. 더 정확한 문제는 고위험 연구자료 관리 맥락에서 LLM의 작업상태 오표상, provenance failure, unsafe automation guidance가 결합한 것이다. 사용자는 Zotero DB, attachment, PDF, 삭제 후보, 복구 가능성 같은 실제 연구 인프라에 관한 판단을 내려야 했다. 이때 LLM이 “완료”, “검증”, “안전”, “복구 가능”과 같은 표현을 증거상태와 분리하지 않고 사용하면, 유창한 자연어가 실제 작업 로그나 검증 결과처럼 오해될 수 있다.
LLM hallucination 연구는 생성 모델이 그럴듯하지만 사실적으로 부정확한 내용을 산출할 수 있음을 폭넓게 다루었다 (Ji et al., 2023). 그러나 본 사건의 위험은 단일 허위문헌 생성보다 한 단계 더 크다. 여기서는 생성된 말이 연구자료 관리 작업, 삭제 후보 분류, DB diff, attachment removal, rollback 판단으로 연결되었다. 따라서 이 사건은 “textual hallucination”보다 “operational misrepresentation”의 사례로 보는 것이 더 적절하다.
AI risk management 관점에서도 이 사건은 측정 가능한 증거와 자동화된 판단의 경계가 왜 필요한지를 보여준다. NIST AI RMF는 AI risk를 문맥, 측정, 관리 절차와 연결해 다룰 필요를 강조한다 (NIST, 2023). 본 사건에서 핵심 교훈은 모델의 결론보다 provenance chain, frozen snapshot, reproducible scripts, hash manifest, restricted evidence handling이 우선해야 한다는 점이다.
7. Zenodo 공개 판단
공개 후보로 사용할 수 있는 것은 다음이다.
- 본 독립 감사보고서의 PDF, Markdown, DOCX.
- zip 및 그 SHA256 sidecar.
- csv.
- 공개용 README와 upload guide.
제한공개 또는 closed access로만 둘 것은 다음이다.
- zip 및 sidecar.
- zip 및 sidecar.
- raw 또는 partially redacted transcript가 들어간 모든 파일.
Zenodo 문서는 일반 upload가 최대 100개 파일과 총 50GB까지 가능하고, 파일 수가 20개 이상이면 ZIP으로 묶는 것을 권장한다고 설명한다 (Zenodo, 2026a). 또 Zenodo 정책은 파일이 open, closed, embargoed, restricted access로 deposited될 수 있으며, publicly available files에는 license가 필요하다고 설명한다 (Zenodo, 2026b). 따라서 이 사건 자료는 공개용 record와 restricted/closed evidence를 분리하거나, Zenodo의 현재 인터페이스에서 파일별 access control이 가능한 경우에도 RESTRICTED zip이 open으로 노출되지 않도록 확인해야 한다.
8. 최종 결론
EVIDENCE_FREEZE_v2_1은 독립 감사보고서 작성용 evidence input으로 사용할 수 있다. 기계적 무결성, clean-room reproduction, OPEN privacy scan, forbidden framing scan은 통과했다. 그러나 이 패키지는 피해 규모를 모두 확정하는 자료가 아니다. 확정적으로 말할 수 있는 것은 다음이다. 5/24 dedupe에서 PDF attachment record 477개가 제거됐고, 정규항목 제거는 0개로 측정된다. 279개 record는 derived table상 ALIVE이며 외부 출판물 실재 검증은 아니다. 556 정규항목 삭제는 현재 DB timeline으로 재현되지 않는다. attachment -1,958 및 pdf_attach -1,195는 측정되지만 file-level physical PDF loss는 unverified이다. Claim 830행은 자동탐지 결과이며 수동 확정된 허위발화 수가 아니다.
따라서 공개 보고서의 중심 주장은 “확정된 대규모 정규항목 삭제”가 아니라 “LLM 보조 연구자료 관리 작업에서 발생한 작업상태 오표상, attachment-level destructive operation, 삭제 후보 오분류 near-miss, provenance failure, 그리고 이를 검증 가능한 evidence package로 재구성한 사례”가 되어야 한다.
참고문헌
Bender, E. M., Gebru, T., McMillan-Major, A. and Shmitchell, S. (2021) ‘On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?’, Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pp. 610-623. DOI: 10.1145/3442188.3445922.
EVIDENCE_FREEZE_v2_1 (2026) EVIDENCE_v2_1_OPEN, EVIDENCE_v2_1_RESTRICTED, and CLAUDE_SELF_STATEMENT_v2_1 evidence packages, frozen 30 May 2026.
Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., Ishii, E., Bang, Y., Chen, D., Dai, W., Chan, H. S., Madotto, A. and Fung, P. (2023) ‘Survey of Hallucination in Natural Language Generation’, ACM Computing Surveys, 55(12), Article 248. DOI: 10.1145/3571730.
NIST (2023) Artificial Intelligence Risk Management Framework (AI RMF 1.0). National Institute of Standards and Technology, U.S. Department of Commerce.
Weidinger, L. et al. (2021) ‘Ethical and social risks of harm from Language Models’, arXiv:2112.04359.
Zenodo (2026a) ‘Manage files’, Zenodo Help. Available at: Zenodo Help, deposit/manage-files page (Accessed: 30 May 2026).
Zenodo (2026b) ‘Policies’, Zenodo. Available at: Zenodo policies page (Accessed: 30 May 2026).