I.

의료 정보검색에서 효과적인 질의어 확장을 위한 축약된 시소러스의 개발 및 평가

Exploiting and Assessing a Condensed Thesaurus for Effective Query Expansion in Medical Information Retrieval

Seung-Bin Han M.S., MyoungSeon Choi, Jeapil Kim, Jinwook Choi M.D.,PhD.

Department of Biomedical Engineering, College of Medicine, Seoul National University, Seoul 110-799, sbinhan@snu.ac.kr

Abstract: We present a medical document retrieval system, which utilizes the UMLS Metathesaurus, and that incorporates query expansion methodology. To improve the retrieval performance of relevant documents and to reduce retrieval time, we constructed a condensed Metathesaurus (CMT), consisting of practically used terms in medical records and then evaluated its retrieval performance and time for relevant documents. The devised system had average 22% effectiveness for searching relevant documents in the UMLS Metathesaurus (MT) implemented information retrieval (IR) system for query expansion. However, MT implemented system took 3.5 times longer to retrieve documents than a non-MT implemented IR system. When we applied the CMT into IR system, the retrieval time reduced by 50% and the retrieval performance reduced by 8.7% compared with all MT implemented IR system. We expect that the UMLS Metathesaurus and its sophisticated methods for information retrieval will make good use of medical information systems.

Keyword: Unified Medical Language System, Metathesaurus, Information Storage and Retrieval, Evaluation Studies, Computing Methodologies

배 경

의무기록에서 사용되는 의학 용어들은 같은 개념일지라도 여러 동의어가 사용되며, 기록하는 사람에 따라 다양한 표현방법을 사용한다. 환자기록 검색, 의학 논문검색 등 의료분야에서 사용되는 정보 검색 시스템에서 단순 키워드 (keyword) 검색만이 이루어진다면 사용자의 요구를 충분히 만족시키기 어렵다.

UMLS(Unified Medical Language System) 메타시소러스(Metathesaurus, MT)는 미국 국립 의학도서관(NLM)에서 개발한 의학 분야에서　사용되는　가장 큰 시소러스로서 동의어, 계층 관계, 관련용어등에 관한 정보가 잘 조직화되어 있으며０ 질의어 확장 검색에 이용되어 왔다.

그러므로 의료분야에서 사용되는 환자기록의 검색, 의학 논문 검색등의 시스템이 시소러스를 적용하여 사용자의 질의를 개념적으로 확장하면, 관련된 문서의 검색 결과가 더 향상될 것이라고 기대할 수 있다[1,2]. 그러나 MEDLINE 또는 TREC에 UMLS MT를 적용한 이전의 연구들에서 특정 도메인의 동의어에 대한 질의어 확장은 일반적으로 검색 향상을 가져오나, 부모-자식 관계 개념 또는 관련 용어 확장 등 계층관계까지 질의어를 확장하게 하는 것은 오히려 관련 문서의 정확도를 감소시키며 너무 많은 비 관련문서를 검색하는 결과를 가져온다는　단점이　지적되기도 하였다[3-5]. 또한 　질의어 　확장에 　많은　시간이　소요되어 　정보검색 시스템의 　효용을 　감소시키게　된다２.

본 연구에서는 의료 문서검색을 위한 효과적인 질의어 확장을 도구로 UMLS를 정보 검색시스템에 도입하여　 보았다２. 　관련 문서 검색의 효용은 유지시키면서도 검색시간은 단축시킬 수 있도록 실제 의무기록에서 주로 사용되는 용어들을 UMLS MT로부터 추출하여 재구성한 축약된　시소러스를　(condensed Metathesaurus, CMT)를 사용하여 효과적으로 질의어 확장을 할 수 있는　 방법을 　제시하였고 　시소러스　성능을 　평가하였다.

II. 　재료 및　방법

1.  검색 실험문헌 및 질의어의 구성

1999.7.2부터 2003.1.31 까지 서울대학병원 진단방사선과 brain CT와 brain MRI 판독결과 40,000건을 실험자료로 이용하였다. 환자의 정보를 보호하기 위하여 환자이름을 삭제한 후 연구용 데이터베이스에 입력하였다. 실험을 위해, 문서들을 5,000건씩 8개의 분리된 문서 집합들로 구성하였다. 표５과　같이０　각 문서집합의 평균 데이터 사이즈는 2.42 MB, 한 문서 당 평균 색인어 수는 84개, 한 문서 집합에 포함되어 있는 중복되지 않은 고유한 색인어 수는 7,100 여개로 구성되었다.  검색실험을 위한　질의문은　서울대학병원 진단방사선과 판독결과에서 가장 빈도수가 높은 진단명 70개를 선정하였다２　질의문은 □meningioma□와 같이 하나의 단어(single query)부터 □angina pectoris□, □systemic lupus erythematosus□와 같이 대소문자가 혼용되어 있는 2~3개의 단어로 구성하였다(표 1).

source : 서울대학병원 진단 방사선과 판독결과 (1999.08.6~2003.1.30)
number of docsets	8
docs	5000
avg. doc size	2.42 MB (2,480 KB)
avg. distinct terms	7,117
avg. of terms per doc	84
avg. of docs per terms	37.15
queries	74

Table  1. Characteristics of Dataset

2.  축약된 메타시소러스(CMT)의 구축

본 실험에서는 의무기록에서 주로 사용되는 개념과 그 개념에 대한 동의어만을 　UMLS 2003AA (14th edition) MT로부터 추출하여 축약된 시소러스를 구성하기로 하였다. 그림５과　 같이　 5,000건씩의 8개로　나뉜　각　문서 집합에 인덱스를 구성한 후 동일한 7４개의 질의어 (query list)에 대해 MT를 적용한 검색을 실시하였다，(그림 1)５－.

Fig.1  The process of Building Condensed Metathesaurus(CMT)

MT에서 확장된 동의어와 용어표현들이 문서에서 사용되었으면 해당 빈도수를 CMT에 기록하게 하였다. 예를 들어, 질의어 angina　pectoris에 대해 MT에서 확장된 동의어 집합을 1번 문서집합에서　찾게 했을 때 angina-49번０　angina pectoris-30번, ischemic chest pain-2번의 빈도로 문서에서 찾아졌지만 MT에 있는 동의어 중  anginal pain, angor pectoris, stenocardia, anginal syndrome등은 한 건도　사용되지 않았다. 한 질의어에 대해 같은 concept identifier(CUI)를 가지고 있는 용어의 리스트는 보통 10개 이상인데, 그 중 판독 결과기록에서 주로 사용되는 용어들과 거의 사용되지 않는 용어들에 대한  빈도수의 차이가 매우 컸다. 그러므로 CMT에 들어가는 용어는 빈도수가 1 이상인 용어만을 CMT에 넣기로 하였다. 1~8까지의 문서 집합으로부터 각 CMT가 얻어지게 되고, Accumulator가 CMT를 차례대로 합하게 된다. 각각의 합쳐진 CMT는 또 차례대로 다음 문서집합에 적용되어 전체 MT를 사용했을 때와의 정보검색  효율을 비교하였다. 즉, 1번과 2번을 합친 CMT를 2 번 문서집합의 질의어 확장 시소러스로 사용하고, 위의 둘을 합친 것과 3번 문서로부터 나온 CMT를 합하여 3번 문서검색에 사용하여 7건의 문서 집합에서 시소러스를 사용하지 않았을 때 (MT-), 전체 MT를 사용했을 때(MT+), CMT를 사용했을 때 각각의 문서 검색 수와 검색시간을 비교하였다.

III. 결 과

본 연구에서는 의무기록에서 자주 사용되는 동의어들만을 UMLS 메타시소러스로부터 추출하여 재구성한 축약된 시소러스가 도메인에 적절한 질의어 확장으로 검색효용을 증가시킬 뿐 아니라, 검색시간을 단축시켜 효과적인 정보검색을 제공할 것이라 가정하였다. 이를 확인하기 위해서 8개의 문서집합에서 각각 MT(-), MT(+), CMT를 적용한 결과 평균문서 검색의 개수와 검색 시간을 비교 평가하였다. 그림 2는 70개의 실험 질의문 중 무작위로 15개의 질의어에 대한 검색 결과이다. 질의 확장 효과는 MT(+)에서 가장 크게 나타났지만 CMT도 MT(+)만큼의 검색 효과가 있는 것으로 나타났다. 　'acoustic neuroma'는 acoustic neurinoma; schwannoma; acoustic neurilemmoma; vestibular schwannoma등의 동의어로 질의어 확장효과를 보였다. 그러나 질의어 'craniopharyngioma'는 MT에 다음과 같은 동의어들 - Rathke's pouch tumor; craniopharyngioma; craniopharyngiomas; adamantinoma, pituitary; brain tumor, craniopharyngioma; Rathke's cleft neoplasm 등의 동의어가 있지만 실험대상이 된 방사선과 판독결과 문서집합에는 □craniopharyngioma□라는 용어만 사용되었기 시소러스를 　적용해도 　문서검색　 효용에는　차이가　 없었다(그림 2)２. 평균 　검색문서 수와 　검색시간에 　대해７ 세 가지　 검색시스템을 　비교한 　결과는 　그림3, 4와 ８　같다.

Fig. 2 ６２　Retrieval performance on each IR system: MT(-) vs MT(+) vs CMT

각 질의어에 대해 검색된 평균 문서수는 MT(-) : 43.31, MT(+) : 55.02, CMT : 53.11로 CMT의 문서 검색효용은 MT(+)보다 약 8.7% 낮을 뿐 MT(-)와 비교하여 약 22.6%나 증가되었음을 볼 수 있다.

Fig 3. ６２　Retrieval performance on each IR system: MT(-) vs MT(+) vs CMT

평균 검색 시간은 MT(-) : 2.15, MT(+) : 7.86, CMT : 3.73 초가　 소요되었다２ 전체 　메타시소러스，MT+)를 　검색시스템에　 적용하면　 시소러스를　 적용하지　 않았을　때보다 약　７ 세배의 　시간이 　지연되는데０ 이는　 같은 Concept identifier로 묶여있는 모든 용어를 질의어 집합으로 가져와 인덱스 테이블에서 검색하는 데 많은 시간이 소요되기　 때문이다(그림 4).

Fig 4. Average retrieval time on each IR system

그러나０ CMT를 적용했을 때는 질의어 확장으로 인한 소요된 시간이 50%나 감소시킬 수 있음을 확인할 수 있었다.

IV. 고　찰

향후 UMLS MT를 더욱 전문화된 정보검색 시스템에 적용하기 위해서는 다음과 같은 몇 가지 사항을 검토해 볼 수 있다.

첫째, 재현율은 정보검색 시스템에 들어있는 적합한 문서 중에서 검색시스템에 의하여 검색된 적합한 문서의 비율이고, 정확률은 검색된 전체 문서 중에서 적합한 문서의 비율이다.

본 연구에서는 단지 문서검색 수에 기초한 평가를 하였다.

둘째, 적용 도메인에 적절한 용어를 신중하게 골라 시소러스를 구축할 필요가 있다.

UMLS를 이용한 질의어 확장을 위한 본 연구의 도메인에서 UMLS를 이용한 질의어 확장이 매우 유용했던 개념은 종양 또는 암과 관련된 용어들이었다. 예를 들어, 뇌종양을 뜻하는 brain tumor에 대해, brain neoplasm; intracranial tumor; metastasis of brain등의 동의어가 사용되기 때문이다. 그러나, UMLS의 두문자어나 약어는 검색에 긍정적인 영향을 줄 수도, 부정적인 영향을  줄 수도 있다. 예를 들어, 질의어 □temporal lobe epilepsy□를 검색하면, □TLE□의 약어로만 작성된 많은 판독결과도 놓치지 않고 검색이 되었다. 그러나, 국내 의무기록에서 거의 사용이 되지 않는 약어들의 확장, 예를 들어, □headache□의 □ha□는 false-negative 영향을 가져와 오히려 전체 검색의 정확률을 감소시켰다. 그러므로 본 연구에서 제안한 condensed MT는 도메인에 적합한 질의어를 요약해 놓았으면서도 효과적인 질의어 확장기능을 제공할 수 있었다.

셋째, 부정의미 문제(negation problem)은 향후 정보 검색분야에서 해결해야 할 과제이다.

Negation problem이란 해당 개념에 대한 단어는 포함되어 있지만 전체 문장 또는 구에서 □~을 시사하는 소견은 없었음.□, □ ~할만한 소견은 없음.□, □~라 보기는 어려움.□ 등의 부정어가 쓰여 전체 문장 또는 문서의 의미를 전환시켜 false-positive match를 일으킨다.

넷째, 본 연구에서 이용한 검색 모델인 불리언(boolean) 검색은 질의문과 완전히 일치되는 문헌만이 검색되므로 검색된 문헌들을 질문에 대한 적합성의 순으로 순위를 매겨 출력하지 못한다.

향후 색인어에 가중치를 부여하여 문헌이 다루고 있는 개념의 중요도를 나타내도록 하는 방법인 벡터 공간 (vector space) 검색 모델도 적용해볼 수 있을 것이다.

Ⅴ. 결 론

본 논문에서는 의료분야의 효과적인 정보검색 질의어 확장을 위해, 같은 의미로 사용되지만 다르게 표현된 용어들을 하나의 개념으로 연결하여 구성한 통합의학용어 데이터베이스인 UMLS 메타시소러스를 질의어 확장 모듈에 적용한 정보검색시스템을　제안하였다.　실제 방사선과 판독 결과지에서 주로 사용되는 용어들만으로　축약된 시소러스를 구성하여 관련문서 검색에 평균　20%　이상의 검색 효율을 증가시키면서도 검색시간은 단축시킬 수 있는 효과적인 정보검색 질의어 확장 방법을 제시하고　성능을　평가하였다２ 향후 이　방법이　일반적인 의료분야의 정보검색 시스템에 유용하게 사용될 수 있을 　것이다.

참고문헌

1.　Ricardo Baeza-Yates, Modern information retrieval, Addison Wesley, ACM press 1999: 1~3

2.　 Magennis M, The potential and actual effectiveness of interactive query expansion, SIGIR 97: 324-332

3.　 UMLS Knowledge Sources. (14th ed.) Bethesda (MD): National Library of Medicine, 2003AA

4. Gauch S０　Smith.　J, Search Improvement via Automatic Query Reformulation, ACM Transactions on Information Systems, 1991; 9(3): 249-280.

5. W. R. Hersh, S. Price, L. Donohoe, Assessing Thesaurus-Based Query Expansion Using the UMLS Metathesaurus, Proceedings of AMIA Fall Symposium 2000.