I.

DISCERN 평가 도구를 이용한 대장암 웹 사이트 정보의 질 평가

The Quality Evaluation of Information of Websites on Colorectal Cancer Using the DISCERN Instrument

Dae Kyung Sohn M.D.*, Jin Seok Lee M.D.†, Young Sung Lee M.D., Ph.D†

* Center for Colorectal Cancer, National Cancer Center, Goyang, Korea 411-769

† Department of Medical Informatics & Health Policy and Management, College of Medicine, Chungbuk National University

Cheongju, Korea 361-763, yslee@chungbuk.ac.kr

Medical Research Information Center, KOSEF, MOST

Abstract: There are many websites providing medical information, but the quality of these websites relating to colorectal cancer remains to be clarified. This study was performed to evaluate the quality of the information of websites providing on colorectal cancer. Firstly, sites were identified using four major domestic search engines, and were classified as administrator. And then, 12 sites (including two foreign sites) were assessed using 'DISCERN' instrument for reliability and quality of information on treatment choices by two surgical oncologists. Total 297 sites were identified using the search term 'colorectal cancer'. Excluding dead links or duplicated sites, 148 sites were identified. Being classified as administrator of websites, about 80% of websites were identified as private or local hospital sites. As evaluating domestic site by DISCERN, there were serious or important shortcomings in terms of the quality of information on treatment choices as well as reliability.

Keyword: Colorectal cancer, Internet, Information, Website, Quality evaluation

배 경

인터넷의 발달과 대중화와 더불어 인터넷을 이용한 의료정보의 수요도 급격하게 증가하였으며, 다양한 형태의 의료정보가 인터넷을 통해 제공되고 있다. 1997년 미국 조사에 의하면 일반인의 36.7%가 건강 및 의료정보를 인터넷을 통하여 얻는 것으로 나타났다.[1] 우리나라의 경우에도 2004년 하반기 정보화실태조사 최종보고서에 의하면 약 68% 이상의 국민이 인터넷을 이용하고 있으며, 인터넷 이용자들의 70% 이상이 자료 및 정보 검색을 위해 인터넷을 이용하는 것으로 보고하였다.[2] 또한 한국보건사회연구원의 2001년 보고서에 의하면 인터넷 사용자의 87.3%가 인터넷을 통해 건강정보를 이용한 경험이 있다고 응답하였으며, 이들 중 20%는 정기적으로 이용한다고 응답하였다.[3] 하지만 의학적으로 검증되지 않은 민간요법 등의 정보 제공이 일반 국민 보건의료 행태에 부정적인 영향을 미치며, 실제 국내 가장 많은 사람들이 방문하는 100개의 건강사이트를 평가한 서 등[4]의 연구에 의하면 조사 대상 사이트의 반수 이상이 평가 기준을 만족시키지 못하고 있는 것으로 나타났다. 최근 들어 이러한 검증되지 않은 보건의료정보에 대한 우려가 커지면서, 국내 보건의료 전문가들에 의해 인터넷상의 건강정보에 대한 평가 작업이 시도되고 있다. 박 등[5]은 유방암, 천식, 우울증, 비만 등의 건강 정보를 제공하는 웹 사이트를 운영 주체별로 분류하여 평가하고 연구 결과를 분석하여, 운영 주체에 따른 건강 정보의 질에 차이가 있음을 보고하였다.

인터넷 정보의 질 평가를 위한 평가 도구로는 HON CODE[6], HITI[7], DISCERN[8] 등이 소개되어 사용되고 있다. 이 중 DISCERN 평가 도구는 의료 정보의 신뢰성 및 치료 방법에 대한 정보의 질 등을 평가하는 총 16개의 문항으로 구성되어 있으며, 타당도와 일치도가 입증된 도구로서 인터넷 의료정보 평가에 많이 이용되고 있다.[9,10]

국내 대장암의 발생률이 다른 암에 비해 지속적으로 증가하고 있고 이에 대한 새로운 치료법이 개발되어 임상에 적용되고 있으며, 또한 많은 의원 및 병원에서는 인터넷매체를 통해 자체 홍보 및 대장암에 대한 의료 정보를 제공하고 있다. 하지만 이들 웹 사이트에 게재되어 있는 의료정보의 질을 평가하고자 하는 노력은 이제까지 없었을 뿐만 아니라, 대장암에 대한 의료정보를 제공하는 웹 사이트의 현황조차 파악되지 못한 것이 현실이다.

이에 본 연구에서는 국내 대장암에 대한 정보를 제공하는 웹 사이트의 현황을 파악하고, 운영주체에 따른 웹 사이트의 질을 평가하였다. 그리고 국내 웹 사이트와 외국 웹 사이트 비교를 통해 국내 인터넷 정보사이트의 질적 수준을 파악함으로써 인터넷 대장암 정보 제공자와 이용자에게 유용한 평가지침이 될 수 있는 기초를 마련하고자 한다.

II. 방 법

연구는 2004년 11월 24일부터 2005년 2월 17일까지의 기간 동안 두 단계로 나누어 진행되었다. 첫 번째 단계에서는 대장암 정보를 제공하는 국내 웹 사이트의 현황을 파악하기 위한 단계로서, 2003년 국가고객만족지수 평가 결과를 참조하여 선정된 상위 4개의 검색 포탈 사이트  '네이버(http://www.naver.com)', '야후(http://kr.yahoo.com)',

Table . The DISCERN instrument

영역 1. 신뢰도 평가 항목
	1. 목적이 분명하게 제시되어 있는가?
	2. 목적을 달성하고 있는가?
	3. 내용이 독자에게 적절한가?
	4. 내용의 출처가 정확하게 기술되어 있는가?
	5. 정보 생성시기가 기술되어 있는가?
	6. 내용이 일방적인 견해를 담거나 편향되어 있지 않은가?
	7. 추가적인 정보를 얻을 수 있는 방법을 제시하고 있는가?
	8. 치료효과에 대한 불확실성에 대해 언급하고 있는가?
영역 2. 질 평가 항목
	9. 치료방법이 작용하는 과정에 대해 기술되어 있는가?
	10. 치료를 함으로써 얻는 이익이 제시되어 있는가?
	11. 치료를 함으로써 얻는 해가 제시되어 있는가?
	12. 치료를 하지 않을 경우 생기는 결과에 대해 언급하고 있는가?
	13. 치료가 삶의 질에 미치는 영향이 기술되어 있는가?
	14. 다른 가능성 있는 치료에 대해 언급하고 있는가?
	15. 조언을 얻을 수 있는 방법에 대해 명시하고 있는가?
영역 3. 최종 질 평가 항목
	16. 1-15의 평가 점수를 참고로 하여 최종 정보의 질을 평가하시오

'엠파스(http://www.empas.com)', '파란(http://www.paran.com)'의 검색엔진을 이용하여 ‘대장암'이라는 검색어를 통해 검색된 웹 사이트를 인기도 순으로 정렬한 후, 각각의 웹 사이트를 방문하여 운영 주체 및 주요 대상 등을 확인하였다. 웹 사이트의 분류는 운영 주체에 따라 각각 개인 의원 및 병원, 공공기관 및 비영리 단체, 대학병원, 영리목적(건강식품 및 상품 판매), 개인 홈페이지 및 기타 등으로 분류하였으며, 주요 대상에 따라 일반인, 의료인, 일반인과 의료인으로 분류하였다(Table 1).

두 번째 단계로는 대장암 정보 제공 웹 사이트의 질 평가를 위한 단계로서 첫 번째 단계에서 각 운영 주체별로 나누어 인기도 순으로 정렬된 국내 웹 사이트들 중 일반인을 대상으로 하고, 대장암에 대한 전반적인 내용을 담고 있으며, 상품 판매 등의 영리 목적이 아닌 사이트를 운영 주체별, 인기도 순으로 선정하였다. 총 10개의 웹 사이트가 선정되었으며, 개인 의원 및 병원 사이트 3개, 공공기관 및 비영리 단체 3개, 대학병원 2개, 기타 개인 운영 사이트 2개가 선정되었다. 국내 대장암 정보 제공 웹 사이트의 질적 수준을 외국의 것과 비교하기 위해 외국의 건강정보 제공 웹 사이트 중 ‘MEDLINE plus (http://medline plus.gov)'와 ‘NHS direct (http://www.nhsdirect.nhs.uk)'를 선정하였다.

* Number of websites except dead links or duplicated site

Table 1. Classification of websites according to administrator

Administrator	Naver	Yahoo	Empas	Paran	Total	Websites* (%)
Local clinic or hospital	60	63	49	54	226	115 (77.7)
Institute or public health	5	4	5	4	18	7 (4.7)
Medical school	6	5	2	2	15	8 (5.4)
Commercial	6	3	6	0	15	11 (7.4)
Private or others	6	5	2	1	14	7 (4.7)
Dead links	4	2	1	2	9
Total	87	82	65	63	297	148

인터넷상의 건강관련 정보의 질을 평가하기 위한 도구로서 DISCERN을 이용하였다. 본 연구에 사용된 DISCERN은 인터넷 건강정보 질 평가를 위해 박 등[5]이 사용하였던 DISCERN 번역본을 이용하였다(Table 2).

대장암 정보 제공 웹 사이트에서 제공하는 정보의 질 평가는 대장암을 전공하고 있는 외과전문의 2인에 의해 행해졌으며, 박 등[5]에 의해 번역된 DISCERN 평가지침서의 숙지 후 평가자 2인이 독립적으로 평가 대상으로 선정된 각 웹 사이트를 방문하여 평가하였다. 두 평가자간 결과에 대한 신뢰도의 확인은 평가자간 점수에 대한 일치도를 측정하는 카파 통계량을 산출하여 확인하였다.

국내 웹 사이트의 경우 운영 주체별로 평가 항목에 대한 평균점수를 계산하였으며, 각 운영주체에 따른 평균 점수의 차이 및 외국사이트와의 비교는 일원배치 분산분석 및 Kruskal-Wallis 법을 이용하여 분석하였고, P값이 0.05 미만인 경우를 통계적으로 유의한 것으로 판정하였다.

III. 결 과

Fig. . Results of the evaluation for the reliability of websites according to administrator

4개의 검색 포탈 사이트 검색 엔진을 통해 총 297개의 웹 사이트가 검색되었다. 이들 중 중복되는 웹 사이트와 링크가 되지 않는 6개의 웹 사이트를 제외한 148개의 웹 사이트를 방문하였다. 각각의 웹 사이트를 운영주체별로 분류하여 살펴보았을 때 개인 의원 및 병원이 운영하는 사이트는 115개(77.7%), 대학병원 8개(5.4%), 공공기관 및 비영리단체 7개(4.7%), 영리 목적 11개(7.4%), 그리고 개인 등이 운영하는 기타는 7개(4.7%)로 확인되었다(Table 1). 이 들 사이트 중 전문가를 대상으로 하는 사이트는 1개였으며, 나머지 147개의 웹 사이트는 모두 일반인을 대상으로 하는 사이트였다.

두 평가자간 결과의 일치도에 대한 신뢰도 확인을 위해 카파 통계량을 산출한 결과, 전체 문항에 대한 카파 통계값은 0.41로 중등도의 일치도를 보였으며 통계적으로도 유의하였다(p<0.001). 각 영역별로 나누어 살펴보았을 때, 정보의 신뢰성 평가 영역에서의 카파 통계값은 0.46, 치료정보의 질 평가 영역에서의 카파 통계값은 0.37이었다(p<0.001).

질 평가 대상으로 선정된 총 12개의 웹 사이트를 DISCERN 평가 도구를 이용하여 평가한 결과, 10개의 국내 대장암 정보 제공 웹 사이트의 문항별 평균 점수는 1.84점, 2개의 외국 웹 사이트 평균점수는 4.09점으로 뚜렷한 차이를 나타냈다(p<0.001). 국내 웹 사이트 문항별 평균점수를 운영 주체별로 분석한 결과에서는 개인 운영 사이트 1.49점, 개인 의원 및 병원 1.62점, 대학병원 1.65점, 공공기관 2.40점 순이었으며, 이러한 결과는 통계적으로 유의하였다(p<0.001).

Fig. . Results of the evaluation for the quality of information on treatment choice according to administrator

각 웹 사이트의 평가 결과를 영역별로 분석한 결과, 정보의 신뢰성을 평가하는 영역에서는 개인 의원 및 병원 1.57점, 개인 운영 사이트 1.72점, 대학병원 1.82점, 공공기관 2.45점, 외국 4.19점이었으며(p<0.001), 각 사이트의 운영 주체별 정보의 신뢰성 영역의 항목에 대한 평가 결과는 Fig. 1과 같다.

대장암의 치료 정보에 대한 질을 평가하는 영역에서는 개인 운영 사이트 1.21점, 대학병원 1.39점, 개인 의원 및 병원 1.62점, 공공기관 2.31점, 외국 3.96점 순이었으며, 이러한 차이 역시 통계적으로 유의하였다(p<0.001). 각 사이트의 운영 주체별 치료 정보의 질 영역의 항목에 대한 평가 결과는 Fig. 2와 같다.

최종적으로 전반적인 정보의 질 평가 영역에서는 개인 운영 사이트 1.75점, 개인 의원 및 병원 2.00점, 대학병원 2.25점, 공공기관 2.67점, 외국 4.25점 순이었으며, 통계적으로도 유의하였다(p<0.01).

IV. 결 론

본 연구에서는 한글로 번역된 DISCERN을 사용하여 웹 사이트를 평가하였으며, 비록단일 질환이기는 하나 최근 급격한 증가 추세를 보이고 있는 대장암에 대한 인터넷 의료 정보의 질을 대장암 치료를 전문으로 하는 외과전문의에 의해 평가하여 질 평가를 시도해보고자 하였다. 본 연구 결과, DISCERN 도구를 이용한 대장암 정보 제공 웹사이트의 평가는 정보의 신뢰성과 치료 정보의 균형성 등을 평가하는 데는 유익하였으나, 최신 치료법이나 최근 갱신된 정보 유무에 대한 평가에는 한계가 있는 것을 확인할 수 있었다.

치료에 대한 조언을 얻는 방법에 대한 언급이 있는 지에 대한 항목의 국내 웹 사이트 평균 점수는 1.2점으로 모든 항목 중 가장 낮은 점수를 보여 두 개의 외국 사이트가 5점을 받은 것에 비해 큰 차이를 보였으며, 통계적으로도 유의한 차이를 나타내었다(p<0.001). 반면 치료를 하지 않을 경우 생기는 결과에 대한 언급이 있는지에 대한 항목은 국내 웹 사이트의 평균 점수는 1.4점, 외국 사이트의 평균 점수는 2점으로 국내 및 국외 웹 사이트 모두 이에 대한 내용이 부족하였다. 또한 치료가 삶의 질에 미칠 수 있는 영향에 대한 설명도 국내 웹 사이트 1.5점, 외국 사이트 2.3점으로 모두 낮은 점수를 얻어 이에 대한 내용이 매우 부족하였다.

또한 국내 사이트가 외국 사이트에 비해 취약한 항목들 중 하나는 정보의 신뢰성을 확인하는 항목인 출처의 기술이나 정보 생성 시기의 기술에 대한 부분으로, 이 문항에서 얻은 평균 점수가 각각 1.4점, 1.6점으로 외국사이트의 3.5점, 3.8점과 유의한 차이를 보였다(p<0.01). 이러한 결과는 출판물의 신뢰도를 떨어뜨리는 중요한 원인이 될 수 있으므로, 정보 제공자의 많은 관심과 노력이 필요한 부분이라 할 수 있을 것이다. 또한 정보 이용자들도 인터넷을 통해 제공된 정보가 잘못된 정보일 수 있음을 항상 염두에 두고 제공된 정보에 대한 신뢰 여부를 판단하는데 보다 적극적인 관심을 보여야 할 것이다.

본 연구 결과, 운영주체에 따라 질적 수준의 차이가 큰 것을 확인할 수 있었다. 민간 의료정보 사이트(개인 운영 사이트와 개인 의원 및 병원 사이트)와 공공 의료정보 사이트(대학병원과 공공기관 및 비영리단체)로 나누어 전체 항목의 결과에 대한 평균을 비교한 결과, 민간 의료정보 사이트의 평균 점수는 1.6점, 공공 의료정보 사이트의 평균 점수는 2.1점으로 유의한 차이를 나타내었다(p<0.001). 즉 민간 의료정보 사이트의 정보 내용이 상대적으로 공공 의료정보 사이트의 정보 내용보다 뒤떨어진 것으로 확인되었다. 민간 의료정보 사이트가 전체 대장암 정보 제공 사이트의 80% 이상을 차지하고 있는 현실을 고려할 때, 공공 의료정보 사이트의 개발 및 관리와 더불어 민간 의료정보 사이트의 보다 적극적인 관리가 필요함을 확인할 수 있었다.

요약하면, 국내 대장암에 대한 정보 제공 웹 사이트의 80% 이상은 민간의료 정보 사이트였으며, 외국의 웹 사이트에 비해 정보의 신뢰성 및 질에서 모두 취약하였다. 향후 인터넷상의 의료 정보에 대해 지속적이고, 체계적인 관리 및 평가가 절실히 필요하며, 이러한 작업을 통해 일반인들에게 보다 양질의 정보가 제공될 수 있도록 노력해야 할 것이다.

참고문헌

1. Jadad AR, Gagliardi A. Rating health information on the Internet: navigating to knowledge or to Babel? JAMA 1998;279:611-4

2. 한국인터넷진흥원, 정보화실태조사 최종보고서. 2004. http://www.nic.or.kr (2005년 2월 4일 인용)

3. 송태민, 박은자, 임은주, 이상영. 건강정보 데이터베이스 구축 및 활용방안. 서울:한국보건사회연구원;2001

4. 서미경, 정영철, 오유미, 이수창. 인터넷 건강정보 분석. 서울:한국보건사회연구원;2000

5. 박재현, 조비룡, 김용익, 신영수, 김윤. DISCERN을 이용한 우리나라 인터넷 건강정보 질 평가. 대한예방의학회 제 56차 추계학술대회 연제집 2004:78

6. Health on the Net Foundation. HON code conduct (HONcode) for medical and health web sites. 2004. http://www.hon.ch/HONcode (2004년 11월 24일 접속)

7. Ambre J, Guard R, Perveiler FM, Renner J, Rippen H. Criteria for assessing the quality of health information on the internet. 1999. http://hitiweb.mitretek.org/docs/criteria.html (2004년 11월 24일 접속)

8. Discern online. Discern online-quality criteria for consumer health information. 1997. http://www.discern.org.uk (2004년 11월 24일 접속)

9. Rees CE, Ford JE, Sheard CE. Evaluating the reliability of DISCERN: a tool for assessing the quality of written patient information on treatment choices. Patient Educ Couns 2002;47:273-5

10. Ademiluyi G, Rees CE, Sheard CE. Evaluating the reliability and validity of three tools to assess the quality of health information on the Internet. Patient Educ Couns 2003 Jun;50:151-5