디지털 역사 신문 연구는 OCR 정확도보다 오류 전파와 표본 회수율을 검증해야 한다
역사 신문 디지털화는 방대한 자료를 검색 가능하게 만들었지만, 검색 결과는 보존·선정·스캔·레이아웃 분석·광학문자인식·색인·질의의 누적 산물이다. 기존 평가는 문자 오류율 하나로 품질을 요약하는 경우가 많아, 컬렉션 누락과 과업별 회수 편향이 최종 역사 주장으로 전파되는 경로를 충분히 드러내지 못한다. 본 연구는 AlexandrAI 그래프 검색과 20개 외부 검색을 통해 선별한 60개 자료 중 18개를 심층 검토하고, OCR 평가·정보검색·자연어 처리·이용자 연구·코퍼스 대표성 근거를 개념적으로 종합했다. 결과는 단일 정확도 임계값이 성립하지 않음을 보여 준다. 단어·구문·개체명·주제모형은 서로 다른 오류에 민감하며, OCR 교정은 검색가능성과 결과 노출 분포를 바꾸지만 디지털화되지 않은 신문의 누락은 고치지 못한다. 이에 출판 지형, 선정·접근, 이미지 출처, 레이아웃·OCR, 과업별 품질, 질의·검색, 코퍼스 조립, 분석·검증을 잇는 8단계 검색-주장 증거 원장을 제안한다. 가장 약한 검증 단계에 맞춰 주장 범위를 제한하고 대체 질의와 OCR 버전의 민감도를 공개하는 것이, 무오류 코퍼스를 가정하는 것보다 재현 가능한 디지털 역사 연구에 더 적합하다.
서론
디지털 역사 신문은 물리적 열람의 한계를 낮추고 수백만 쪽을 질의 가능한 자료로 바꾸었다. 그러나 검색창이 보여 주는 질서는 완전한 과거가 아니다. 어떤 신문이 디지털화되었는지, 어느 판본이 남았는지, 어떤 이미지와 인식기가 텍스트를 만들었는지, 검색기가 무엇을 누락했는지가 결과 집합을 함께 구성한다. 캐나다 역사학에서 온라인 제공 신문의 인용이 비제공 신문보다 빠르게 늘어난 현상과, OCR 텍스트를 별도의 디지털 판본으로 읽어야 한다는 서지학적 논증은 접근성이 사료 가시성을 형성할 수 있음을 보여 준다. [[cite:milligan2013,cordell2016]] 다만 캐나다 사례는 관찰 연구이므로 데이터베이스 가용성의 인과효과를 다른 역사학 변화와 완전히 분리하지 못한다.
기존 논의는 종종 두 문제를 하나의 ‘데이터 품질’로 묶는다. 첫째는 출판된 신문 가운데 무엇이 보존·선정·디지털화되었는가라는 컬렉션 누락이다. 둘째는 선택된 이미지가 레이아웃 분석, OCR, 색인, 질의와 순위화를 거치며 어떤 문서를 다시 누락시키는가라는 기술적 회수 편향이다. 영국 신문 환경 스캔 연구는 디지털 표본의 정치 성향·가격·지역 구성이 알려진 신문 지형과 다를 수 있고, 그 편향이 디지털화 순서에 따라 바뀐다고 보였다. [[cite:beelen2023,beelen2025]] 따라서 OCR을 완벽히 교정해도 애초에 디지털화되지 않은 신문과 목소리는 복구되지 않는다.
본 연구는 ‘디지털 역사 신문을 이용한 계산적 주장에 오류와 누락이 어떤 경로로 전파되며, 이를 재현 가능하게 보고하기 위한 최소 증거 단위는 무엇인가’를 묻는다. 기여는 컬렉션 우주에서 역사 주장까지 이어지는 8단계 검색-주장 증거 원장 이다. 이 원장은 문자 오류율 하나를 품질의 대리변수로 쓰지 않고, 각 단계의 증거와 실패 모드를 분리하며, 검증되지 않은 가장 이른 단계가 허용하는 주장 범위를 명시한다.
방법
2026년 7월 10일 개념적 종합을 수행했다. AlexandrAI에서 6개의 영어 핵심어를 검색해 직접 중복과 인접 연구를 확인하고, 웹·학술 검색에서 20개의 질의를 사용해 OCR 평가, 정보검색, 자연어 처리, 이용자 연구, 코퍼스 대표성을 조사했다. 제목·초록·공식 요약 수준에서 60개 자료를 선별했으며, 최종 참고문헌 17개와 독창성 확인용 내부 자료 1개를 전문 또는 충분한 공개 본문으로 읽었다. 포함 기준은 (a) 역사 신문 또는 그와 직접 비교 가능한 역사 텍스트, (b) OCR·레이아웃·검색·분석 결과 사이의 관계, (c) 컬렉션 누락 또는 연구자 실제 과업을 관찰한 연구와 공식 자료였다.
근거를 다섯 층으로 코딩했다. 컬렉션 층은 출판 지형과 디지털 표본의 차이, 캡처 층은 이미지·레이아웃·OCR 버전, 검색 층은 질의·색인·순위와 회수, 분석 층은 빈도·주제·개체명 같은 후속 과업, 이용 층은 연구자가 결과를 선택하고 주장으로 바꾸는 과정을 포함했다. 네 명의 역사가를 면담한 탐색 연구는 최초 언급 탐색, 부분집합 구성, 추세 분석에 서로 다른 오류 정보가 필요함을 보였고, British History Online 등록 이용자 1,439명의 설문은 학술 이용자와 계보 연구자의 검색 통제·표적 검색 선호가 다름을 보였다. [[cite:traub2015,crymble2016]] 두 연구 모두 자기보고 자료이므로 실제 검색 로그나 오류 효과크기로 해석하지 않았다.
연구 간 지표와 자료가 이질적이므로 효과크기를 합산하지 않았다. 대신 각 연구의 모집단, 매체, 기준자료, 과업, 오류지표, 결과변수, 외삽 한계를 기록하고, 같은 과업에 대해 상반되거나 제한적인 결과를 우선적으로 비교했다. 정량값은 원 연구의 조건 안에서만 사용했다. 이 방법은 새 OCR 벤치마크가 아니라 기존 실증을 역사적 주장 단위로 재배열하는 개념적 종합이다.
OCR 품질은 단일 숫자가 아니다
문자 정확도는 필요한 출발점이지만 검색과 해석의 충분조건이 아니다. 영국 19세기 신문 프로젝트 평가에서 평균 단어 정확도는 78%, 중요 단어 정확도는 68.4%였고, 같은 문자 정확도에서도 검색에 중요한 단어의 보존 정도가 달랐다. 다만 약 1% 표본에서 페이지마다 비교적 선명한 100단어 영역 두 곳을 수동 선택해 저자들이 상한으로 규정한 결과다. 이 수치는 해당 컬렉션과 당시 기술의 결과이지 보편 임계값이 아니다. 핵심은 평가 단위가 이용 목적과 맞아야 한다는 점이다. [[cite:tanner2009]]
레이아웃 오류는 문자 오류와 다른 경로로 전파된다. 열 두 개를 하나로 합쳐도 개별 단어는 남을 수 있어 키워드 검색은 성공하지만, 잘못된 읽기 순서 때문에 구문 검색과 기사 단위 분석은 실패할 수 있다. Europeana 워크플로 평가는 키워드 검색, 구문 검색, 내용 구조 접근을 별도 시나리오로 평가했다. [[cite:pletschacher2015]] 그러므로 페이지 평균 문자 오류율만 보고 기사 경계, 열 순서, 제목-본문 결합의 신뢰성을 추정해서는 안 된다.
정답 자료도 목적에 따라 만들어진다. KB의 2,000쪽 기준자료는 원 OCR과 수동 교정 ALTO를 함께 제공하지만, 전사 지침은 일부 특수문자를 정규화하고 굵기·들여쓰기 같은 레이아웃 정보를 무시하도록 한다. [[cite:kb2020]] 이는 결함이 아니라 명시적 설계 선택이다. 다만 철자사, 광고 레이아웃, 기사 분할을 연구한다면 같은 기준자료가 필요한 속성을 보존하지 않을 수 있다. 따라서 ‘ground truth 사용’이라는 표기보다 전사 정책과 과업 적합성을 함께 보고해야 한다.
대규모 서비스는 OCR 텍스트뿐 아니라 버전과 품질 주석을 연구 객체로 다뤄야 한다. Chronicling America는 데이터와 API를 제공하지만 접근 가능성이 각 항목의 정확도나 대표성을 보증하지는 않는다. Impresso는 텍스트와 함께 품질 추정, 개체명, 주제, 텍스트 재사용 자료를 분리된 주석으로 배포했다. [[cite:loc2026,ehrmann2020]] 이런 구조는 연구자가 원 OCR, 보정판, 파생 주석 가운데 무엇을 사용했는지 식별하게 한다.
검색 오류는 분석 표본을 다시 만든다
검색은 이미 정해진 코퍼스에서 문서를 단순히 꺼내는 중립 단계가 아니다. Traub 등의 2018년 연구는 수동 교정 기준자료 822개와 실제 이용자 질의를 사용했다. 원 OCR의 평균 문자 오류율은 29%, 중앙값은 37%였으며, 오류율과 검색가능성 점수의 상관은 Pearson -0.57, Spearman -0.61이었다. 교정 후 검색가능성 점수의 총합인 wealth는 최상위 1건만 볼 때 8%, 모든 결과를 볼 때 34% 늘었고 검색가능성의 Gini 계수도 낮아졌다. [[cite:traub2018]] 이는 관련 문서 수나 검색 효과성의 증가가 아니다. 관련성 판정이 없어 정밀도와 재현율을 직접 평가하지 못했고, 혼합 실험은 50:50 교정 조건만 사용했으며 두 시대·질의 적합성과 오류 효과가 얽혀 있다.
이용자의 판단도 화면에 표시된 OCR 버전에 반응한다. 핀란드 신문 실험에서는 32명의 비역사학자 정보과학 전공자가 30개 사전 작성 주제에 관해 1,861건을 평정했다. 순위는 항상 개선 OCR 인덱스에서 만들고 클리핑에 표시할 OCR만 무작위로 바꿨을 때, 0~3 척도의 평균 유용성 평정은 1.26에서 1.36으로 7.94% 높았다. [[cite:kettunen2022]] 이는 표시 텍스트의 지각된 유용성 차이이며, 두 검색 결과 집합의 회수율이나 효과성 차이는 아니다.
두 연구가 함께 보여 주는 것은 검색 결과 집합 자체가 OCR 버전의 함수 라는 사실이다. 같은 질의라도 교정 전후에 포함 문서와 순위가 달라지고, 연구자가 검토하는 상위 결과 수에 따라 차이의 크기도 달라진다. 따라서 논문이 ‘데이터베이스에서 검색했다’고만 쓰면 표본 구성은 재현되지 않는다. 정확한 질의, 날짜, 필터, 정규화, 검색 엔진, 결과 한도, OCR 버전, 수동 제외 규칙을 하나의 검색 추적으로 보존해야 한다.
후속 분석의 민감도는 과업마다 다르다
OCR 오류가 텍스트 분석을 항상 같은 방향과 크기로 훼손한다는 주장은 근거가 없다. 살인사건 보도 코퍼스 사례에서 교정되지 않은 자료는 중요 단어를 잘못 부각하거나 놓쳤다. 사전 기반 단어 정확도는 81.7%에서 97.6%로 높아졌지만 약 100시간의 수작업이 들었고, 저품질 문서·중복·무관 텍스트 제거와 장르 메타데이터 추가가 함께 이루어져 코퍼스도 478,762단어에서 345,181단어로 줄었다. [[cite:strange2014]] 따라서 차이를 OCR 교정만의 효과로 분리할 수 없으며, 같은 절차를 수백만 쪽에 그대로 외삽할 수도 없다.
주제모형 근거는 혼합되어 있다. Hill과 Hengchen은 ECCO OCR판과 교정판을 비교해 탐색적 주제모형이 상대적으로 견고할 수 있다고 보았지만, 연어·벡터 표현·저자 판별의 영향은 달랐다. 반면 Mutuvi 등은 다른 코퍼스와 LDA·NMF 설정에서 원 OCR의 주제 안정성과 응집도가 교정판보다 낮음을 관찰했다. [[cite:hill2019,mutuvi2018]] 두 결과는 모순을 제거할 이유가 아니라 보편적인 ‘허용 문자 오류율’을 거부할 이유다. 코퍼스, 전처리, 모델, 분석 목적을 고정한 민감도 검사가 필요하다.
개체명 인식은 희귀한 사람·장소 이름의 철자 오류에 특히 취약하다. 프랑스어·독일어 역사 자료에서 OCR 오류와 역사 철자 변이를 고려한 계층형 Transformer는 기준선보다 성능이 높았지만, 이는 특정 자료와 모델의 개선이지 OCR 위험의 소멸이 아니다. [[cite:boros2020]] 검색 질의에서 자주 쓰이지만 코퍼스에서 드문 이름 하나가 깨지면 평균 문자 정확도에는 작은 변화만 남아도 해당 인물의 문서는 모두 표본 밖으로 밀릴 수 있다.
따라서 품질 평가는 연구 과업의 오류 함수로 작성해야 한다. 키워드 탐색은 중요 단어 재현율, 구문 분석은 읽기 순서, 기사 분류는 분할 경계, 개체명 연구는 엔티티별 정밀도·재현율, 주제 연구는 여러 OCR 버전과 난수 초기화 사이의 안정성을 보고해야 한다. 전역 CER은 이 지표들을 대체하지 않고, 층화 표본을 설계하는 보조 정보로 사용해야 한다.
완벽한 OCR도 컬렉션 누락을 고치지 못한다
OCR 교정은 이미 디지털화된 이미지 안의 가시성을 높인다. 그러나 연구자가 보고 싶은 신문이 보존되지 않았거나, 디지털화 우선순위에서 빠졌거나, 라이선스 때문에 분석할 수 없다면 교정할 텍스트 자체가 없다. 환경 스캔은 디지털 신문 표본을 당시 출판 지형의 참조 메타데이터와 비교해 누락을 측정한다. 초기 JISC 표본은 보수 성향과 고가·정치 신문을 상대적으로 더 포함하고 값싼 지역·중립 신문을 덜 포함했다. [[cite:beelen2023]]
2025년 확장 연구가 분석한 BNA 버전도 영국도서관 신문 보유분의 20% 미만이었으며, 디지털화 순서에 따라 대표성 지표가 변했다. 또한 특징어 목록의 OCR 오류가 정치 성향과 가격 집단에 고르게 나타나지 않을 가능성이 관찰되었다. [[cite:beelen2025]] 이는 선택 편향과 인식 편향이 단순히 더해지는 것이 아니라 결합할 수 있음을 뜻한다. 낮은 품질의 종이·잉크를 쓴 신문이 특정 독자층과 연결된다면 기술 오류는 역사적 목소리의 불균형을 증폭할 수 있다.
따라서 표본의 분모는 최소 세 개로 분리해야 한다. 알려진 출판 지형, 보존·접근 가능한 아카이브, 실제로 검색·선택된 분석 코퍼스다. 각 단계의 누락률은 서로 다른 원인을 가지며, 마지막 분석 코퍼스의 문서 수만 보고하면 앞선 두 단계의 침묵이 숨는다. 대표성은 ‘좋음/나쁨’ 판정이 아니라 어떤 역사적 질문에 어떤 집단이 과소·과대 대표되는지 기술하는 조건부 속성이다.
검색-주장 증거 원장
앞선 근거를 하나의 검사 순서로 종합한 결과가 표 1이다. 이 원장은 새 통계량이 아니라 출처 비평의 단위를 계산 파이프라인 전체로 확장한 보고 모델이다. 컬렉션 누락 연구, 과업별 OCR 평가, 검색가능성 실험, 이용자 검색 선호 연구가 각각 따로 검증한 경계를 하나의 인과적 순서로 배열했다. [[cite:beelen2023,tanner2009,traub2018,crymble2016]]
원장의 핵심 규칙은 ‘가장 약한 검증 단계가 주장 상한을 정한다’는 것이다. 이는 수학적 정리가 아니라 과도한 일반화를 막는 논증 규칙이다. 예를 들어 OCR 품질과 검색 추적은 충분하지만 출판 지형을 모르면 ‘디지털 컬렉션에서 이 표현이 늘었다’고 말할 수는 있어도 ‘당시 사회에서 이 관념이 확산했다’고 바로 말할 수 없다. 반대로 대표성 메타데이터가 있어도 구문 검색의 읽기 순서를 검증하지 않았다면 구절 빈도의 정밀 비교는 보류해야 한다.
최소 검증 묶음은 질문에 맞춰 구성한다. 시기·신문·원매체·레이아웃을 층화해 정답 표본을 만들고, 연구 과업의 지표를 계산하며, 원 OCR과 교정판 또는 대체 OCR에서 질의를 재실행한다. 그 다음 결과 집합의 포함 문서와 핵심 통계가 얼마나 변하는지 보고하고, 변화가 큰 층을 수동으로 읽는다. 전체를 교정하는 것보다 주장에 민감한 토큰·문서·기간을 식별하는 것이 비용과 증거를 더 직접 연결한다.
아카이브와 연구자를 위한 구현 원칙
아카이브는 검색 인터페이스 뒤의 증거를 내보낼 수 있어야 한다. 페이지·기사의 안정 식별자, 이미지와 OCR의 배치·버전, 레이아웃 좌표, 품질 지표의 산출법, 색인 시점, 질의 가능한 API 또는 결과 내보내기가 필요하다. 교정판이 추가되면 이전 텍스트를 덮어쓰지 말고 버전 관계를 남겨야 한다. 교정은 검색가능성 점수와 결과 노출 분포를 바꾸므로, 서로 다른 OCR 버전이 섞인 코퍼스는 하나의 고정 자료가 아니다. [[cite:traub2018,loc2026,ehrmann2020]]
연구자는 검색 로그와 분석 코퍼스 명세를 별도 보충자료로 남겨야 한다. 최소 항목은 데이터베이스·접근일, 정확한 질의, 날짜·신문 필터, 퍼지·형태 변이 설정, 결과 한도, 중복 제거, 기사 경계 수정, 제외 사유, OCR 버전이다. 표본 빈도나 추세를 주장할 때는 무작위 또는 층화 표본에서 거짓 양성·거짓 음성을 수동 평가하고, 핵심 결과가 대체 질의와 OCR판에서 유지되는지 확인한다.
모든 문서를 최고 정확도로 교정하는 것은 현실적이지도, 항상 필요하지도 않다. 중요한 것은 연구 질문의 손실 함수다. 인물 네트워크라면 이름과 기사 경계, 담론 추세라면 중요 단어의 시계열 회수, 구문 연구라면 읽기 순서, 정치 대표성 연구라면 컬렉션 분모가 우선이다. 같은 예산으로 전역 CER을 조금 낮추는 것보다 이러한 취약 지점을 층화 검증하는 편이 주장 신뢰도를 더 직접 높일 수 있다.
논의와 한계
증거 원장은 OCR 오류를 이유로 디지털 역사학을 거부하지 않는다. 오히려 대규모 접근의 장점을 유지하면서 어떤 분석이 어느 조건에서 견고한지 말하게 한다. Hill과 Hengchen의 주제모형 결과처럼 일부 탐색 과업은 상당한 오류를 견딜 수 있고, Traub 등의 검색 실험처럼 희귀 질의와 짧은 문서는 작은 오류에도 크게 사라질 수 있다. [[cite:hill2019,traub2018]] 중요한 구분은 ‘자료가 더럽다’가 아니라 ‘이 질문의 결과가 어떤 오류에 민감한가’다.
본 연구에는 네 가지 한계가 있다. 첫째, 새 코퍼스 실험이나 메타분석이 아닌 개념적 종합이다. 둘째, 공개 접근 가능한 영어권·유럽 자료가 많아 비라틴 문자와 식민지·지역 언론의 오류 구조를 충분히 다루지 못했다. 셋째, 상업 데이터베이스의 색인·순위 규칙은 완전히 관찰하기 어렵다. 넷째, 기준자료와 교정판도 전사 정책과 인간 오류를 포함한다. 따라서 8단계 원장은 완결된 표준이 아니라 실제 프로젝트에서 반증·수정해야 할 연구 의제다.
후속 연구는 같은 역사 질문을 여러 OCR 버전, 검색 엔진, 질의 변형에서 사전등록해 원장 각 단계의 민감도를 측정해야 한다. 특히 저품질 인쇄와 사회적 주변성이 결합하는지, 교정 우선순위가 이미 잘 보이는 신문을 더 잘 보이게 하는지, 품질 주석을 이용자에게 제시하면 검색 판단이 어떻게 달라지는지 검증할 필요가 있다. 검색 결과의 변화뿐 아니라 최종 역사 서술의 결론과 불확실성이 어떻게 바뀌는지도 평가해야 한다.
결론
디지털 역사 신문의 신뢰성은 하나의 OCR 정확도 점수로 판정할 수 없다. 역사 주장은 출판 지형, 디지털화 선정, 이미지 출처, 레이아웃·OCR 버전, 과업별 품질, 질의·검색 추적, 코퍼스 조립, 분석 민감도의 연속 증거에 의존한다. 이 중 한 단계가 비어 있으면 이후 단계의 정밀한 통계도 그 공백을 소급해 메우지 못한다.
따라서 연구자는 ‘검색 결과가 있었다’와 ‘역사적 현상이 있었다’를 구분하고, 아카이브는 텍스트뿐 아니라 텍스트가 만들어지고 검색된 경로를 제공해야 한다. 제안한 검색-주장 증거 원장은 그 경로를 감사 가능한 단위로 바꾸며, 가장 약한 단계에 맞춰 주장의 범위를 낮추는 실용 규칙을 제공한다. 디지털 신문 연구의 목표는 오류가 없는 코퍼스가 아니라, 오류와 누락이 결론에 미치는 영향을 드러낸 조건부이고 재현 가능한 역사 주장이다.