2.1.1.ETL 파이프라인 구축 및 DB 무손실 이관
I단계에서 구축된 로컬 시범 DB(1,607건)를 신규 서버 환경으로 데이터의 손실 없이 전량 이관하고, 실무 조사관이 대용량 사례를 신속·정확하게 조회할 수 있도록 검색 성능을 최적화하고자 하였다. 이때 I단계 구축 DB의 필드 구조 및 데이터 품질을 사전 점검한 후 신규 서버로의 ETL(Extract(추출)·Transform(변환)·Load(적재)) 프로세스를 설계·수행하고자 하였다. 적재 단계에서는 이관 전후 정합성 검증을 수행하였다.
2.1.2.전문 인덱스 수립 및 쿼리 최적화
2.2.1. 유해인자 추출 스키마 설정
직종과 질병은 표준 분류체계에 따라 단일 데이터 요소로 표현할 수 있으나, 유해인자는 이에 해당하는 데이터 요소가 하나로 정해져 있지 않다. 유해인자를 특정하기 위해서는 인자명과 함께 발생 공정, 노출 형태, 노출 경로, 노출 수준, 노출 기간 등 복수의 데이터 요소가 함께 확보되어야 하며, 그 조합과 세분화 수준도 활용 목적에 따라 달라진다.
이에 본 연구에서는 먼저 Google Scholar와 PubMed를 통해 국내외 유해인자 노출 자료 구축 연구를 검토하여 사용되고 있는 데이터 요소를 후보군으로 도출하였다. 도출된 후보 데이터 요소가 본 연구의 비정형 원천 데이터인 업무상질병 판정서 사례집 보고서에서 실제로 추출 가능한지를 원천 문서의 기재 수준과 대조하여, 원시값을 확보할 수 없는 데이터요소는 제외하였다. 이후 실무자 자문을 통해 역학조사 수행 시 실제로 활용되는 항목을 확인하여 데이터 요소를 보완하여 최종적으로 추출항목을 확립하였다.
2.2.2. 유해인자 표준화 방법론 개발
유해인자 노출 정보의 표준화는 비정형 원천 데이터에서 원시값을 추출하고, 데이터 요소의 성격에 따라 표준코드 또는 정준값을 부여한 뒤 표준화 데이터셋으로 적재하는 세 단계로 수행하였다. 추출에 앞서 국내외 노출 데이터 표준을 검토하여 자료원 계층별 데이터 요소를 정리하고, 본 연구의 원천 문서에서 실제로 원시값을 확보할 수 있는 요소를 선별한 후 산업보건 실무자 자문을 거쳐 추출 스키마를 확정하였다. 표준화는 데이터 요소의 성격에 따라 세 갈래로 구분하여, 유해인자명은 표준 참조 테이블의 코드값을 부여하고, 보호구 착용여부와 작업공간 환기조건은 자유서술 원시값을 정준 범주값으로 부여하며, 측정단위는 표기 변이를 정준형으로 통일하였다. 이 중 유해인자명의 경우 I단계에서 CAS 번호를 기준으로 표준화를 수행하였으나 혼합물·물리적 인자·포괄적 개념어로 인해 대상 220종 중 44.5%에만 부여가 가능하였으므로, II단계에서는 국내외 유해인자 목록 체계를 검토하여 단일 식별 체계가 유해인자 전체를 포괄하지 못함을 확인하고 복수 자료원을 통합한 유해인자 표준 마스터 테이블을 표준화 기준으로 채택하였다. 표준코드 부여는 매칭 경로에 따라 매핑 등급을 부여하여 자동 확정 범위를 제한하고, 나머지는 검수 대상으로 분류하는 방식으로 수행하였다. 모든 단계에서 원시값과 원문 인용을 함께 보존하였다.
2.2.3. DB 구축
현 연구에서 다루는 역학조사 사례집 보고서인 비정형 원천 데이터에서 확립된 추출항목별로 원시값을 추출하였고, 데이터요소별로 원시값과 원시값을 추출한 원문 문장을 함께 인용하여 추출 데이터셋을 구축하였다. 그리고 표준화 체계에 맞게 용어 표준 매핑 작업을 수행하였으며, 유해인자명의 경우 마스터테이블을 기준으로 표준코드부여 작업을 수행하여 매핑테이블을 구축하였다. 메타데이터를 추가하였고, 표준화 데이터셋의 데이터베이스 설계도 함께 구성하였다.
2.2.4. DB 검증
구축된 변수 항목들을 실무자들이 모두 검토하여, 추출과 변환, DB로의 적재가 잘 이루어졌는지를 검증하였다.
2.2.5. 결과 분석
표준화 및 검증이 완료된 데이터를 기반으로, 기본적인 DB에 대한 분석과 실제 데이터에서 역학조사에 사용될 가능성이 있는 데이터 분석과 몇가지의 대표 질병과 직종을 예시로 추가 교차 분석을 수행하였다.
III단계에서 예정된 외부 자료 본격 연계에 앞서, 본 II단계에서는 연계 요구사항 정의와 보안 프로토콜의 선제적으로 마련하고자 하였다.
2.3.1. 기존 성공 사례 분석
근로자 관련 데이터 연계 인프라의 설계 방향을 정하기 위해, 기존 연구에서 근로자 관련 데이터를 연계하여 근로자 건강에 관한 영향을 분석한 국내 성공 사례를 체계적으로 파악하고, 이를 통해 본 연구의 실현 가능성을 검토하고자 하였다. 실제 연계 변수(사업장 코드·직종 분류·개인 식별자 등), 비식별화·가명처리 절차[^13], 행정적 진행 과정 등을 정리하여 본 연구의 목적에 반영하였다.
2.3.2. 유관 기관 회의
성공 사례 분석 결과를 바탕으로, 근로자 관련 데이터를 보유하고 있는 유관 기관을 파악하고 관련 부서와의 협의를 순차적으로 수행하고자 하였다. 유관기관과의 회의에서는 연계 목적·요구 변수·법적 근거·비식별화 절차·보안 프로토콜을 조율하는 한편, 관련 부서에서 데이터 연계 인프라를 구축할 수 있는 방안을 지속적으로 논의하여 현실 가능성을 파악하였다. 이를 통해 III단계에서 실질 자료 반입이 이루어질 수 있도록 필요 사항을 사전 정리하는 것을 목표로 하였다.