I.

방사선과 보고서의 효율적인 UMLS concept indexing을 위한 연구

A Study of effective UMLS concept indexing in radiology reports

JungAe Lee*, HwaIeoung Seo PhD.*, KeeWon Kim M.D., MinGoo Kim M.D., SeungKwon Hong M.D., YuRang Park,  JuHan Kim M.D., Ph.D.*

* SNUBI: Seoul National University Biomedical Informatics, Seoul National University College of Medicine, Seoul 110-799, jungae@snu.ac.kr

Abstract: For the effective retrieval of clinical information, the indexing process is essential. We evaluated the UMLS subset mapping and semantic type filtering methods to improve the precision of UMLS concept indexing in diagnosis section of radiology reports by MetaMap. In this study MSH2004+RCD99+SNMI+UWDA and RCD99+SNMI+UWDA vocabulary combinations are useful for the improvement in precision. After calculating the candidates from subset combinations, we obtained more effectively improved results by semantic type filtering.

Keyword: UMLS concept indexing, UMLS subset mapping, Semantic type filtering

배 경

생의학 분야의 지식이나 임상데이터는 임상 실험 데이터나 처방전 데이터와 같이 코드화된 형태로 존재하거나, 경과기록지나 퇴원요약지, 검사소견과 같은 비정형문(free text) 형태로 존재하는데, 대부분이 구조화되지 않은 텍스트 형식으로 되어있어, 컴퓨터를 사용해 논리적이고 일관된 방법으로 처리하기가 어렵다. 이러한 문제를 처리하기 위하여, 텍스트로부터 정보를 얻는 많은 시스템들은 문서에 있는 단어나 구의 개념을 식별해 주는 툴을 사용한다. 이러한 생의학 개념 식별(biomedical concept identification)의 과정은 비정형문을 구조화된 표현으로 변환하는데 있어서 중요한 과정이며, 정보 검색을 용이하게 하기 위해 필요한 과정이다[1]. SAPHIRE, PhraseX[2], MetaMap[3], IndexFinder[4] 등과 같은 프로그램들이 비정형문에 있는 용어를 표준화된 UMLS 개념으로 매핑하는데 사용되어 왔다.

문서 색인화(Document Indexing)는 정보 검색 목적으로 문서를 대표하는 인덱스를 만드는 작업으로, 향후 HL7 CDA 모델과 같은 문서 중심의 모델을 사용하는 전자의무기록시스템 하에서[5] 임상 문서에 있는 용어를 표준화된 개념으로 색인화하는 작업은 환자 치료를 위한 임상의사결정이나 의학 교육 등을 위해 정보 검색의 효율을 향상시키기 위한 중요한 작업이다. 정확한 문서의 인덱싱을 위해서는 그 분야의 전문가에 의해 직접 인덱싱이 이루어져야겠지만, 방대한 양의 의무기록 데이터에 대해서 수동 인덱싱에만 의존할 수 없으며 자동화된 처리 과정이 필수적이라 할 수 있겠다. 그러나 자동 인덱싱에만 의존하기에는 그 효율이 미흡해 이에 대한 연구가 이루어져 왔다[5,6]. 본 연구는 방대한 양의 의무기록 데

이터의 검색을 용이하게 하기 위한 기반 연구로서, 생의학 개념을 식별하는데 보편적으로 사용되는 MetaMap 프로그램을 사용하여 의무기록 데이터를 UMLS 개념으로 자동 인덱싱하였고, UMLS를 구성하고 있는 어휘록들을 조합시킨 어휘록 부분집합의 용어와 매핑하여 효율적인 조합을 찾은 후, 중요한 개념을 선택적으로 인덱싱하기 위해 Semantic yype filtering을 통하여 인덱싱의 정확률(precesion)을 향상시키기고자 하였다.

II. 방 법

1. 테스트 문서

임상문서 인덱싱을 위해 사용한 테스트 문서는 2004년 3월에 입원 중인 서울대학교 병원의 신경외과와 외과 환자의 진단방사선과 보고서 110개로부터 진단(Diagnosis)부분을 추출하여 구성하였다. 그림 1은 방사선과 검사결과 보고서의 예시이다. 테스트 문서는 신경외과 환자 36명, 외과 환자 19명의 보고서로 구성하였다. 환자들은 남자 환자 28명, 여자 환자 27명이며, 평균나이는 51.2세(표준편차 15.3세)이고, 신경외과 환자의  평균 입원일은 9일, 외과 환자는 12일이었다. 환자당 평균 2개의 검사결과 보고서를 가지고 있으며, Abdomen CT 검사 결과 보고서 13개, Brain CT 25개,  Brain MRI 15개, Chest X-ray 16개,  Chest CT, Spine CT 등 기타 검사 결과 보고서 41개로 테스트 데이터를 구성하였다.

2. 데이터 정화(Cleaning)

110개의 방사선과 보고서의 진단부분을 추출하여 다음과 같은 방법으로 데이터를 정화하였다.

① 잘못 표기된 철자를 수정하였다.

② 불필요한 기호나, 구두점(punctuation), 여백 (space)을 삭제하였다.(예: --->)

③ 표준 약어가 아닌 단어는 방사선과 의사가 본래 어형으로 수정하였다. (예: Rt. -> Right, SI -> Sa- croiliac)

Fig . 방사선과 검사결과 보고서 예

3. 인덱서에 의한 테스트 문서 인덱싱

전문적인 의학지식을 갖춘 두 명의 인덱서가 방사선과 보고서의 진단부분에서 중요한 용어들을 추출하여, UMLS Knowledge Source Server(http://umlsk-  s5.nlm.nih.gov/kss/index.html)를 통하여, UMLS2003  AC의 개념(concept)으로 인덱싱하였다.

4. UMLS Subset Mapping

이 방법은 UMLS 어휘록들의 일부를 선택하여, 다른 종류의 문서에 있는 용어들의 문맥(context)을 고려하여 인덱싱의 정확률을 향상시키기 위한 방법이다[5,7]. UMLS2003AA를 기준으로 구성하고 있는 100여개의 어휘록 중 개념의 수가 많고, 임상적으로 주요한 어휘록 6개를 선정하여(표 1) 이들의 조합 63([eqn: 2^{ `^{ 6 } } -1])개의 어휘록 조합을 만들었다. 다음으로 MMTx data file builder를 사용하여 전체 UMLS2003AC로부터 부분 어휘록 데이터 파일을 생성한 후, MetaMap 툴을 사용하여 자동으로 테스트 문서와 각각 매핑하였다. NLM (National Library of Medicine)에서 개발한 MetaMap은 비정형문에서 UMLS 메타시소러스 개념를 찾아주는 자연어 처리 기반의 툴이다[3].

Table 1. UMLS 주요 어휘록

SAB	Full Source Name
MeSH2004	Medical Subject Headings, 2004_ 2003_08_08
RCD99	Clinical Terms Version 3 (Read Codes)
SNMI99	SNOMED International, 1998
UWDA	University of Washington Digital Anatomist, 1.7.3
SNM2	Systematized Nomenclature of Medicine, 2nd Edition
ICD10	International Statistical Classification of Diseases and Related Health Problems 10th rev.

5. 정확률 향상을 위한 Semantic Type Filtering

자동 인덱싱에 있어서 불필요한 인덱스를 제거하고, 중요한 개념들만을 인덱싱하여  정확률을 개선하기 위한 방안으로 semantic type filtering[6] 방법을 적용하였다. 이 필터링은 UMLS의 모든 semantic type의 용어가 방사선과 보고서의 인덱싱을 위해 필요한 것이 아니기 때문에 적절한 semantic type의 개념만을 인덱싱하기 위한 방법이다. Semantic type의 선택은 인덱서에 의해 인덱싱된 테스트 문서의 개념들의 semantic type을 직접 검토하여 필터링을 위한 목록을 정하였다(그림 2, 표 2). 또한 방사선과 보고서에 수록되어있는 개념들의 semantic type들에 대해 의미적으로 유사한 그룹인 semantic group[8]으로 분류해본 결과, Disorders 그룹의 개념이 42.3%, Anatomy 그룹이 28.2%, Concepts & Ideas 그룹이 15.7%를 차지하고 있었다.

Table 2. Filtering을 위한 semantic type 목록

UI	Name of the Semantic Type(STY)	Semantic Groups
T020	Acquired Abnormality	Disorders
T190	Anatomical Abnormality	Disorders
T029	Body Location or Region	Anatomy
T023	Body Part, Organ, or Organ Component	Anatomy
T030	Body Space or Junction	Anatomy
T060	Diagnostic Procedure	Procedures
T047	Disease or Syndrome	Disorders
T033	Finding	Disorders
T169	Functional Concept	Concepts & Ideas
T074	Medical Device	Devices
T191	Neoplastic Process	Disorders
T046	Pathologic Function	Disorders
T184	Sign or Symptom	Disorders
T082	Spatial Concept	Concepts & Ideas
T061	Therapeutic or Preventive Procedure	Procedures
T024	Tissue	Anatomy

Fig . Test Set내에 있는 개념들의 Semantic Types

6. 인덱싱의 성능 평가

위 방법을 적용한 인덱싱의 결과를 평가하기 위해 정확률(precision)과 재현율(recall) 측정을 개념 중심으로 재정의한 식 1과 식 2를 사용하였다[1,6].

Precision = (Number of terms correctly assigned) /(Number of total terms assigned)	- 식 1.

Recall = (Number of terms correctly assigned) /(Total number of correct terms)	- 식 2.

III. 결 과

1. UMLS　Subset Mapping 결과

표 3은 UMLS의 부분 어휘록의 조합과 테스트 문서를 매핑한 결과를 보여준다. 어휘록의 수가 증가할수록 재현율은 증가하고, 정확률은 감소하는 경향을 보였으며, 본 연구에서는 전체 UMLS로 매핑한 결과와 비교하여 재현율에 영향을 미치치 않으며, 정확률을 향상시키는 어휘록의 조합을 찾고자 하였다. 이러한 기준으로 표 3에 결과를 나타내었고, 적은 수의 어휘록 조합으로 정확률의 개선을 보인 MSH+RCD+ SNMI+UWDA(42), RCD+SNMI+UWDA(32), RCD+ SNMI(12)의 조합을 적당한 조합으로 판단하였다.

Table 3.  Subset mapping 결과(d_R: 재현율의 변화율(%), d_P: 정확률의 변화율(%))

SID	Vocabulary Combination	Recall	Precis-ion	d_R (%)	d_P (%)
64	UMLS Full	0.733	0.319
57	MSH+RCD+SNMI+ UWDA+SNM2	0.693	0.352	-5.530	10.188
63	MSH+RCD+SNMI+ UWDA+SNM2+ICD10	0.693	0.352	-5.530	10.188
42	MSH+RCD+SNMI+ UWDA	0.689	0.351	-5.991	10.028
58	MSH+RCD+SNMI+ UWDA+ICD10	0.689	0.351	-5.991	10.028
52	RCD+SNMI+UWDA+ SNM2	0.672	0.355	-8.295	11.356
62	RCD+SNMI+UWDA+ SNM2+ICD10	0.672	0.353	-8.295	10.763
32	RCD+SNMI+UWDA	0.669	0.355	-8.756	11.393
53	RCD+SNMI+UWDA+ ICD10	0.669	0.354	-8.756	10.797
43	MSH+RCD+SNMI+ SNM2	0.659	0.355	-10.138	11.304
59	MSH+RCD+SNMI+ SNM2+ICD10	0.659	0.355	-10.138	11.304
22	MSH+RCD+SNMI	0.655	0.355	-10.599	11.138
44	MSH+RCD+SNMI+ ICD10	0.655	0.355	-10.599	11.138
45	MSH+RCD+UWDA+ SNM2	0.639	0.359	-12.903	12.383
61	MSH+SNMI+UWDA+ SNM2+ICD10	0.635	0.366	-13.364	14.839
48	MSH+SNMI+UWDA+ SNM2	0.635	0.364	-13.364	13.951
12	RCD+SNMI	0.635	0.360	-13.364	12.859

2. Semantic Type Filtering 결과

위에서 계산된 부분 어휘록 조합에 semantic type filtering을 적용하여 각각의 재현율과 정확률을 계산하였다. Subset mapping의 결과보다 semantic type filtering을 적용했을 때 정확률이 더욱 향상되었으며, 두 방법을 적용한 결과 MSH+RCD+SNMI+ UWDA 조합의 결과가 가장 우수하였다.

Table 4. Semantic type filtering 결과(d_R: 재현율의 변화율(%), d_P: 정확률의 변화율(%))

Filtered Vocabulary Combination	Recall	Precision	d_R(%)	d_P(%)
UMLS (not filtered)	0.733	0.319
UMLS	0.696	0.428	-5.069	34.206
MSH+RCD+SNMI+UWDA(42)	0.645	0.443	-11.982	38.869
RCD+SNMI+UWDA (32)	0.628	0.435	-14.286	36.182
RCD+SNMI(12)	0.591	0.446	-19.355	39.895

IV. 결 론

본 연구는 의무기록 데이터의 검색을 용이하게 하기 위한 기반 연구로서, MetaMap 프로그램을 사용하여 방사선과 보고서에 있는 용어들을 UMLS 개념으로 자동 인덱싱하였고, 인덱싱의 효율을 향상시키기 위하여 UMLS 부분 어휘록과의 매핑과 semantic type filtering 방법을 적용하였다. 그 결과 semantic type filtering 방법이 subset 매핑의 방법보다 정확률의 개선에 더욱 효과적이었으며, MSH2004+RCD99+SN- MI+UWDA 어휘록 조합에 filtering을 적용하였을 때에 가장 우수한 결과를 보였다.

문서의 종류에 따라 혹은 단락의 형태에 따라 존재하는 용어와 매핑되는 어휘록들이 서로 다를 것이 라는 가정 하에, 방사선과 보고서의 진단 부분에 적절한 어휘록 조합을 찾았고, 이 부분에 있는 용어 개념에 대한 semantic type을 조사하여 이를 제시하였다. 이렇게 UMLS 어휘록 조합으로 의미적인 전후관계를 고려한 인덱싱(contextual indexing)[5] 방법을 다양한 생의학 분야의 문서별로 지식베이스화 하여 문서 인덱싱 시 이를 적용하도록 하고, 성능이 떨어질 경우 모든 UMLS 어휘록을 사용하는 방안이 제안된 바 있다. 본 연구에서는 이러한 시도에 필터링의 방법을 추가하여 자동 인덱싱을 수행하였다. 본 연구에서 수행된 방법에 영향을 미치는 중요한 요인으로 테스트 문서의 크기를 들 수 있는데, 사용한 방사선과 보고서의 수가 적었던 한계점이 있다. 또한 테스트 문서의 정화 정도에 따라 상이한 인덱싱 결과가 나올 수 있으므로, 정화를 위한 심층 분석이 필요하며, 이를 위하여 테스트 문서에 존재하는 비표준 약어나 오자 등의 유형을 조사하고, 다량의 데이터를 정화하기 위한 자동 처리 과정이 필요할 것으로 생각된다.

MetaMap을 통한 자동 인덱싱 결과 우수한 재현율을 보였으나, 미흡한 정확률로[1] 인해 위의 두 방법을 적용하여 정확률을 개선하였지만, 여전히 자동 인덱싱에만 전적으로 의존하기에는 부족한 결과를 보였다. 이에 대한 개선 방안으로 Hersh W.외[6]의 연구에서는 자연어 처리 기술과의 결합과 보다 정교한 구(phrase) 식별 방법을 적용하거나, 단어나 구를 표준화된 개념으로 매핑함에 있어서 확률론적인 접근 방법 등을 적용할 수 있을 것을 제안하였고, 이러한 연구가 후속으로 이루어져야 할 것으로 사료된다.

감사의 글

This study was supported by a grant from Korea Health 21 R&D Project, Ministry of Health & Welfare, Republic of Korea

(03-PJ1-PG3-21000-0009).

참고문헌

1. Pratt W, Yetisgen-Yildiz M., A Study of Biomedical Concept Identification: MetaMap vs. People. Proc AMIA Symp. 2003;:529-33.

2. Srinivasan S, et al.. Finding UMLS Metathesaurus concepts in MEDLINE. Proc AMIA Symp. 2002;: 727-31.

3. A.R. Aronson, Effective mapping of biomedical text to the UMLS Metathesaurus: the MetaMap program. Proc. AMIA Symp.2001;:17□21.

4. Zou Q, Chu WW, Morioka C, Leazer GH, Kangarloo H. IndexFinder: A Method of Extracting Key Concepts from Clinical Texts for Indexing. Proc AMIA Symp. 2003;:763-7.

5. Huang Y, Lowe HJ, Hersh WR., A pilot study of contextual UMLS indexing to improve the precision of concept-based representation in XML-structured clinical radiology reports. J Am Med Inform Assoc. 2003 Nov-Dec;10(6):580-7.

6. Hersh W, Mailhot M, Arnott-Smith C, Lowe H., Selective automated indexing of findings and diagnoses in radiology reports. J Biomed Inform. 2001 Aug;34(4):262-73.

7. Brennan PF, Aronson A.R., Towards linking patients and clinical information: detecting UMLS concepts in e-mail. J Biomed Inform. 2003 Aug-Oct;36(4-5):334- 41.

8. Bodenreider O, McCray AT. Exploring semantic groups through visual approaches. J Biomed Inform. 2003 Dec;36(6):414-32.