체계적 문헌고찰은 근거중심의학(evidence-based medicine)에서 특정 연구 질문에 대한 신뢰성 있는 정보를 제공하기 위해 명확하고 체계적인 방법을 적용하여 관련된 기존 연구 자료들을 포괄적으로 종합하고 분석하는 연구 방법이다¹⁾. 미리 정해진 기준에 따라 문헌을 선택하거나 배제하며, 선택된 문헌들의 비뚤림 위험을 평가한 후 결과를 합성하여 종합적인 결론을 도출하므로 개별 연구에서 해결할 수 없는 질문에 답할 수 있고, 향후 연구에서 수정되어야 하는 일차 연구의 문제를 식별할 수 있다. 따라서 가장 높은 근거 수준을 가지며 환자, 의료인, 연구자, 정책 입안자를 위한 주요한 연구 방법이다^2,3).

그러나 부적절하게 수행된 체계적 문헌고찰은 치료 효과 추정에 부정확한 결과와 부족한 재현성, 잘못된 결론을 제공할 수 있다⁴⁾. 사용자에게 의미 있는 결과를 제공하기 위해서 저자는 최신 보고 지침을 통해 검토가 수행된 이유, 수행한 작업 및 발견한 내용에 대한 투명하고 완전하며 정확한 절차를 확인해야 한다⁵⁾.

2009년에 발표된 Preferred Reporting Items for Systematic review and Meta-Analysis (PRISMA) 선언문(PRISMA 2009)은 체계적 문헌고찰의 잘못된 보고를 해결하기 위해 고안된 보고 지침으로 이후 많은 체계적 문헌고찰의 작성 지침이 되었으며, 동시에 질적 평가에 활용되었다⁶⁾. PRISMA 2009 발표 이후 지금까지 체계적 문헌고찰의 수행에 관련된 많은 혁신이 이루어졌는데, 메타 분석이 시행되지 않았을 때 결과를 종합하고 제시하는 방법이 제안되었고^7-9), 포함된 연구 결과에서 비뚤림 위험을 평가하기 위한 방법이 개발되었다^10,11). 또한 비뚤림의 원인에 대한 증거가 축적되었고^12,13), 출판 환경이 변화하여 체계적 문헌고찰의 프로토콜을 등록하고 배포하는 다양한 방법을 사용할 수 있게 되었다^14,15). 이러한 개선점들을 반영하기 위해 PRISMA 선언문이 2020년에 갱신되어 여러 문헌을 통해 배포되었으며, 아직 한국어판은 보고되지 않았다¹⁶⁾.

한의학 분야에서 PRISMA를 활용하여 체계적 문헌고찰의 질을 평가한 연구는 2019년 대한예방한의학회지¹⁷⁾, 2020년 대한한방소아과학회지¹⁸⁾, 2021년 대한한방부인과학회지¹⁹⁾의 3건이 있으며 모두 PRISMA 2009를 이용하였다. 한방재활의학과학회지에 출판된 체계적 문헌고찰은 최근 5년간 2017년 7편, 2018년 3편, 2019년 4편, 2020년 5편, 2021년 8편으로 상대적으로 큰 비중을 차지하고 있으나, 이에 대한 질 평가는 아직 보고된 바 없다.

이에 저자는 최신 지견을 반영하여 2020년 갱신된 PRISMA 선언문(PRISMA 2020)을 통해 창간호부터 2022년 1월까지 한방재활의학과학회지에 게재된 체계적 문헌고찰을 대상으로 보고의 질을 평가하였다. 이를 통해 한방재활의학과학회지에 보고된 체계적 문헌고찰의 현황을 파악하고, 향후 개선 방향을 제안하여 신뢰도 높은 근거 생성에 기여하고자 한다.

1. 문헌 검색 및 선정

한방재활의학과학회지에 1991년(창간호)부터 2022년 1월(제32권 제1호)까지 게재된 1,515편의 문헌을 대상으로 2022년 3월 한국학술정보(Korean studies Information Service System, KISS)에서 검색을 시행하였다. 상세검색 항목에서 제목에 ‘체계’, ‘문헌고찰’, ‘체계적 문헌고찰’, ‘systematic review’, 간행물명에 ‘한방재활의학과학회지’, 발행 연도에 ‘1991-2022’를 입력하여 검색하였다. 문헌이 누락되지 않도록 한방재활의학과학회 홈페이지(https://www.ormkorea.org)의 학회지 열람 시스템에서 창간호부터 2022년 1월까지 발간된 문헌을 수기 검색하여 대조하였다.

두 명의 연구자(NHU, PSH)가 독립적으로 중복된 문헌을 제거한 후 제목과 초록을 검토하여 1차적으로 문헌을 선별하였고, 이후 원문 전체를 확인하여 최종 평가 대상을 선별하였다. 선별한 결과가 불일치하는 경우 두 연구자가 논의하여 결정하였고, 합의에 이르지 못하는 경우 제3의 연구자(HWB)와 논의하여 결론을 도출하였다.

2. 문헌의 질 평가 도구 및 방법

PRISMA 2020을 사용하여 체계적 문헌고찰을 대상으로 보고의 질을 평가하였다. PRISMA 2009와 비교했을 때 PRISMA 2020에서의 주요한 변경 사항은 Table I과 같다. 초록에 대한 12개 항목과 초록을 제외한 본문에 대한 41개 항목을 평가하여 보고한 경우에 ‘yes (Y)’, 보고하지 않은 경우에 ‘no (N)’, 적용할 수 없거나 해당되지 않는 경우에 ‘not applicable (N/A)’로 평가하였다. 두 명의 연구자(NHU, PSH)가 독립적으로 평가하였고, 결과가 불일치하는 경우 서로 충분히 논의하여 결정하였고, 합의에 이르지 못하는 경우 제3의 연구자(HWB)와 논의하여 결론을 도출하였다.

Table Ⅰ. Comparison of PRISMA 2009 and PRISMA 2020.

PRISMA 2009		PRISMA 2020
1	Title	1	Title
2	Structured summary*	2	Abstract*
3	Rationale	3	Rationale
4	Objectives	4	Objectives
5	Protocol and registration*	5	Eligibility criteria
6	Eligibility criteria	6	Information sources*
7	Information sources*	7	Search strategy*
8	Search*	8	Selection process
9	Study selection	9	Data collection process
10	Data collection process	10a-b	Data items*
11	Data items*	11	Study risk of bias assessment
12	Risk of bias in individual studies	12	Effect measures
13	Summary measures	13a-f	Synthesis methods*
14	Synthesis of results*	14	Reporting bias assessment
15	Risk of bias across studies	15	Certainty assessment†
16	Additional analyses	16a-b	Study selection*
17	Study selection*	17	Study characteristics
18	Study characteristics	18	Risk of bias in studies
19	Risk of bias within studies	19	Results of individual studies
20	Results of individual studies	20a-d	Results of syntheses*
21	Synthesis of results*	21	Reporting bias
22	Risk of bias across studies	22	Certainty of evidence†
23	Additional analysis	23a-d	Discussion
24	Summary of evidence	24a-c	Registration and protocol*
25	Limitations	25	Support
26	Conclusions	26	Competing interests†
27	Funding	27	Availability of data, code and other materials†

PRISMA: Preferred Reporting Items for Systematic review and Meta-Analysis..

^*modificated, ^†added..

3. 질 평가 결과의 합성 및 분석

보고의 질적 수준은 체계적 문헌고찰별 보고율과 PRISMA 2020 세부 항목별 보고율로 나누어 평가하였고, ‘N/A’로 평가한 항목은 보고율 산정 시 제외하였다. An 등²⁰⁾은 PRISMA 2009의 27개 항목을 분석하여 보고된 항목 수에 따라 15개 이하는 불충분, 15~20개는 약간 부족, 21~ 27개는 충분한 수준으로 평가하였는데, 이를 참고하여 체계적 문헌고찰별 보고율을 계산하였다. PRISMA 2020의 초록에 대한 12개 항목과 초록을 제외한 본문에 대한 41개 항목을 분석하여 보고된 항목의 비율에 따라 50% 미만은 ‘low (L)’, 50% 이상 및 75% 미만은 ‘moderate (M)’, 75% 이상은 ‘high (H)’로 평가하였다.

1. 문헌 검색 및 선정 결과

한국학술정보(KISS)에서 1991년(창간호)부터 2022년 1월까지 한방재활의학과학회지의 체계적 문헌고찰을 검색한 결과 총 246편의 문헌이 검색되었다. 중복된 문헌 114편을 제외하고, 남은 132편의 문헌에서 제목 및 초록을 검토하여 92편을 제외하였다. 1차 선별 후 남은 40편의 전문을 확인하여 체계적 문헌고찰이 아닌 문헌 1편을 제외하여 최종적으로 39편^21-59)을 분석대상으로 선정하였다(Fig. 1). 이 중 23편^21-43)은 체계적 문헌고찰 및 메타분석, 2편^44,45)은 메타분석을 부분적으로 실시한 체계적 문헌고찰, 3편^46-48)은 정성적 합성(qualitative synthesis)을 실시한 체계적 문헌고찰, 10편^49-58)은 체계적 문헌고찰, 1편⁵⁹⁾은 신속 체계적 문헌고찰이었다.

Fig. 1. Flow diagram of study selection. KISS: Korean studies Information Service System.

2. 질 평가 결과

1) 체계적 문헌고찰별 보고율 평가

(1) 초록

PRISMA 2020을 이용하여 체계적 문헌고찰의 초록을 대상으로 보고율을 평가한 결과, ‘H’로 평가된 문헌은 2편^47,49)이었고, ‘M’으로 평가된 문헌은 10편이었으며, ‘L’로 평가된 문헌은 27편이었다. 한방재활의학과학회지의 체계적 문헌고찰은 초록에서 해당 항목을 최대 83.3%, 최소 25.0%, 중간값 45.5%로 보고하였다. 11편^49-59)의 문헌은 메타분석이나 정성적 합성과 같은 결과 합성을 시행하지 않아 이와 관련된 2.6번 항목(synthesis of results)을 ‘N/A’로 평가하였다. 총 12개 항목 중 10개 항목을 보고한 문헌이 1편⁴⁷⁾, 9개 항목을 보고한 문헌이 1편⁴⁹⁾, 6개 항목을 보고한 문헌이 10편, 5개 항목을 보고한 문헌이 18편, 4개 항목을 보고한 문헌이 8편, 3개 항목을 보고한 문헌이 1편⁴³⁾이었다(Table II, Fig. 2, Appendix I).

Table Ⅱ. Preferred Reporting Items for Systematic review and Meta-Analysis (PRISMA) 2020 Checklist for Abstract and the Number of Reported Studies in the Journal of Korean Medicine Rehabilitation.

Section and topic	Item#	Checklist item	Number of reported articles (n/n, %)
TITLE
Title	2.1	Identify the report as a systematic review.	39/39 (100)
BACKGROUND
Objectives	2.2	Provide an explicit statement of the main objective(s) or question(s) the review adresses.	39/39 (100)
METHODS
Eligibility criteria	2.3	Specify the inclusion and exclusion criteria for the review.	1/39 (2.6)
Information sources	2.4	Specify the information sources (e.g., databases, registers) used to identify studies and the date when each was last searched.	15/39 (38.5)
Risk of bias	2.5	Specify the methods used to assess the risk of bias in the included studies.	23/39 (59.0)
Synthesis of results	2.6	Specify the methods used to present and synthesize results.	4/28 (14.3)
RESULTS
Included studies	2.7	Give the total number of included studies and participants and summarise relevant characteristics of studies.	2/39 (5.1)
Synthesis of results	2.8	Present results for main outcomes, preferably indicating the number of included studies and participants for each.If meta-analysis was done, report the summary estimate and confidence/credible interval. If comparing groups, indicate the direction of the effect (i.e., which group is favored).	2/39 (5.1)
DISCUSSION
Limitations of evidence	2.9	Provide a brief summary of the limiations of the evidence included in the review (e.g., study risk of bias, inconsistency, and imprecision).	27/39 (69.2)
Interpretation	2.10	Provide a general interpretation of the results and important implications.	36/39 (92.3)
OTHER
Funding	2.11	Specify the primary source of funding for the review.	16/39 (41.0)
Registration	2.12	Provide the register name and registration number.	0/39 (0)

Fig. 2. Reporting rate of each study based on Preferred Reporting Items for Systematic review and Meta-Analysis (PRISMA) 2020 for abstract. L: low, M: moderate, H: high.

(2) 본문

PRISMA 2020을 이용하여 체계적 문헌고찰의 초록을 제외한 본문을 대상으로 보고율을 평가한 결과 ‘H’로 평가된 문헌은 없었고, ‘M’으로 평가된 문헌은 14편이었으며, ‘L’로 평가된 문헌은 25편이었다. 한방재활의학과학회지의 체계적 문헌고찰은 초록을 제외한 본문에서 해당 항목을 최대 67.9%, 최소 34.1%, 중간값 47.6%로 보고하였다. 11편^49-59)의 문헌은 메타분석이나 정성적 합성과 같은 결과 합성을 시행하지 않아 이와 관련된 12번 항목(effect measures), 13번 항목(synthesis methods), 14번 항목(reporting bias assessment), 20번 항목(results of syntheses), 21번 항목(reporting biases)을 ‘N/A’로 평가하였다.

총 41개 항목 중 24개 항목을 보고한 문헌이 1편³⁰⁾, 22개 항목을 보고한 문헌이 2편^37,39), 21개 항목을 보고한 문헌이 5편, 20개 항목을 보고한 문헌이 8편, 19개 항목을 보고한 문헌이 3편^28,46,47), 18개 항목을 보고한 문헌이 7편, 17개 항목을 보고한 문헌이 2편^24,25), 16개 항목을 보고한 문헌이 1편⁴¹⁾, 15개 항목을 보고한 문헌이 2편^43,49), 14개 항목을 보고한 문헌이 3편^26,51,58), 13개 항목을 보고한 문헌이 3편^50,52,57), 12개 항목을 보고한 문헌이 2편^53,56)이었다(Table III, Fig. 3, Appendix II).

Table Ⅲ. Preferred Reporting Items for Systematic Review and Meta-Analysis (PRISMA) 2020 Checklist and the Number of Reported Studies in the Journal of Korean Medicine Rehabilitation.

Section and topic	Item#	Checklist item	Number of reported articles(n/n, %)
TITLE
Title	1	Identify the report as a systematic review.	39/39 (100)
ABSTRACT
Abstract	2	See the PRISMA 2020 for Abstracts checklist.
INTRODUCTION
Rationale	3	Describe the rationale for the review in the context of exisitng knowledge.	39/39 (100)
Objectives	4	Provide an explicit statement of the objective(s) or question(s) the review addresses.	39/39 (100)
METHODS
Eligibility criteria	5	Specify the inclusion and exclusion criteria for the review and how studies were grouped for the syntheses.	20/39 (51.3)
Information sources	6	Specify all databases, registers, websites, organisations, reference lists and other sources searched or consulted to identify studies. Specify the date when each source was last searched or consulted.	36/39 (92.3)
Search strategy	7	Present the full search strategies for all databases, registers and websites, including any filters and limits used.	36/39 (92.3)
Selection process	8	Specify the methods used to decide whether a study met the inclusion criteria of the review, including how many reviewers screened each record and each report retrieved, whether they worked independently, and if applicable, details of automation tools used in the process.	28/39 (71.8)
Data collection process	9	Specify the methods used to collect data from reports, including how many reviewers collected data from each report, whether they worked independently, any processes for obtaining or confirming data from study investigators, and if applicable, details of automation tools used in the process.	16/39 (41.0)
Data items	10a	List and define all outcomes for which data were sought. Specify whether all results that were compatible with each outcome domain in each study were sought (e.g. for all measures, time points, analyses), and if not, the methods used to decide which results to collect.	30/39 (76.9)
	10b	List and define all other variables for which data were sought (e.g. participant and intervention characteristics, funding sources). Describe any assumptions made about any missing or unclear information.	29/39 (74.4)
Study risk of bias assessment	11	Specify the methods used to assess risk of bias in the included studies, including details of the tool(s) used, how many reviewers assessed each study and whether they worked independently, and if applicable, details of automation tools used in the process.	21/39 (53.8)
Effect measures	12	Specify for each outcome the effect measure(s) (e.g. risk ratio, mean difference) used in the synthesis or presentation of results.	24/28 (85.7)
Synthesis methods	13a	Describe the processes used to decide which studies were eligible for each synthesis (e.g. tabulating the study intervention characteristics and comparing against the planned groups for each synthesis [item #5]).	1/28 (3.6)
	13b	Describe any methods required to prepare the data for presentation or synthesis, such as handling of missing summary statistics, or data conversions.	2/28 (7.1)
	13c	Describe any methods used to tabulate or visually display results of individual studies and syntheses.	1/28 (3.6)
	13d	Describe any methods used to synthesize results and provide a rationale for the choice(s). If meta-analysis was performed, describe the model(s), method(s) to identify the presence and extent of statistical heterogeneity, and software package(s) used.	25/28 (89.3)
Synthesis methods	13e	Describe any methods used to explore possible causes of heterogeneity among study results (e.g. subgroup analysis, meta-regression).	1/28 (3.6)
	13f	Describe any sensitivity analyses conducted to assess robustness of the synthesized results.	0/28 (0)
Reporting bias assessment	14	Describe any methods used to assess risk of bias due to missing results in a synthesis (arising from reporting biases).	1/28 (3.6)
Certainty assessment	15	Describe any methods used to assess certainty (or confidence) in the body of evidence for an outcome.	0/39 (0)
RESULTS
Study selection	16a	Describe the results of the search and selection process, from the number of records identified in the search to the number of studies included in the review, ideally using a flow diagram.	39/39 (100)
	16b	Cite studies that might appear to meet the inclusion criteria, but which were excluded, and explain why they were excluded.	0/39 (0)
Study characteristics	17	Cite each included study and present its characteristics.	38/39 (97.4)
Risk of bias in studies	18	Present assessments of risk of bias for each included study.	35/39 (89.7)
Results of individual studies	19	For all outcomes, present, for each study: (a) summary statistics for each group (where appropriate) and (b) an effect estimate and its precision (e.g. confidence/credible interval), ideally using structured tables or plots.	32/39 (82.1)
Results of syntheses	20a	For each synthesis, briefly summarise the characteristics and risk of bias among contributing studies.	26/28 (92.9)
	20b	Present results of all statistical syntheses conducted. If meta-analysis was done, present for each the summary estimate and its precision (e.g. confidence/credible interval) and measures of statistical heterogeneity. If comparing groups, describe the direction of the effect.	28/28 (100)
	20c	Present results of all investigations of possible causes of heterogeneity among study results.	3/28 (10.7)
	20d	Present results of all sensitivity analyses conducted to assess the robustness of the synthesized results.	0/28 (0)
Reporting biases	21	Present assessments of risk of bias due to missing results (arising from reporting biases) for each synthesis assessed.	1/28 (3.6)
Certainty of evidence	22	Present assessments of certainty (or confidence) in the body of evidence for each outcome assessed.	0/39 (0)
DISCUSSION
Discussion	23a	Provide a general interpretation of the results in the context of other evidence.	19/39 (48.7)
	23b	Discuss any limitations of the evidence included in the review.	39/39 (100)
	23c	Discuss any limitations of the review processes used.	12/39 (30.8)
	23d	Discuss implications of the results for practice, policy, and future research.	39/39 (100)
OTHER INFORMATION
Registration and protocol	24a	Provide registration information for the review, including register name and registration number, or state that the review was not registered.	0/39 (0)
	24b	Indicate where the review protocol can be accessed, or state that a protocol was not prepared.	0/39 (0)
	24c	Describe and explain any amendments to information provided at registration or in the protocol.	0/39 (0)
Support	25	Describe sources of financial or non-financial support for the review, and the role of the funders or sponsors in the review.	0/39 (0)
Competing interests	26	Declare any competing interests of review authors.	0/39 (0)
Availability of data, code and other materials	27	Report which of the following are publicly available and where they can be found: template data collection forms; data extracted from included studies; data used for all analyses; analytic code; any other materials used in the review.	0/39 (0)

Fig. 3. Reporting rate of each study based on Preferred Reporting Items for Systematic review and Meta-Analysis (PRISMA) 2020 for manuscript except abstract. L: low, M: moderate, H: high.

2) PRISMA 2020 세부 항목별 보고율 평가

(1) 초록

PRISMA 2020의 세부 항목별로 한방재활의학과학회지에 보고된 체계적 문헌고찰의 초록을 평가한 결과 1번 항목(title)과 2번 항목(objectives)은 모든 문헌에서 보고되었으며, 3번 항목(eligibility criteria)은 1편³²⁾의 문헌에서 보고되었다. 4번 항목(information sources)은 15편의 문헌에서 보고되었고, 5번 항목(risk of bias)은 23편의 문헌에서 보고되었다. 6번 항목(synthesis of results)은 결과 합성을 시행하지 않은 문헌들을 제외하고 남은 28편 중 4편^23,30,41,46)의 문헌에서 보고되었다. 7번 항목(included studies)과 8번 항목(synthesis of results)은 2편^47,49)의 문헌에서 보고되었으며, 9번 항목(limitations of evidence)은 27편의 문헌에서 보고되었다. 10번 항목(interpretation)은 36편의 문헌에서 보고되었고, 11번 항목(funding)은 16편의 문헌에서 보고되었다. 한편 12번 항목(registration)은 모든 문헌에서 보고되지 않았다(Fig. 4).

Fig. 4. Reporting rate of each item in Preferred Reporting Items for Systematic review and Meta-Analysis (PRISMA) 2020 for abstract. N/A: not applicable.

(2) 본문

PRISMA 2020의 세부 항목별로 한방재활의학과학회지에 보고된 체계적 문헌고찰의 초록을 제외한 본문을 평가한 결과 1번 항목(title), 3번 항목(rationale), 4번 항목(objectives), 16a번 항목(study selection), 23b번과 23d번 항목(discussion)은 모든 문헌에서 보고되었고, 15번 항목(certainty assessment), 16b번 항목(study selection), 22번 항목(certainty of evidence), 24a번과 24b번, 24c번 항목(registration and protocol), 25번 항목(support), 26번 항목(competing interests), 27번 항목(availability of data, code and other materials)은 모든 문헌에서 보고되지 않았다.

5번 항목(eligibility criteria)은 20편의 문헌에서, 6번 항목(information sources)과 7번 항목(search strategy)은 36편의 문헌에서, 8번 항목(selection process)은 28편의 문헌에서, 9번 항목(data collection process)은 16편의 문헌에서, 10a번과 10b번 항목(data items)은 각각 30편과 29편의 문헌에서, 11번 항목(study risk of bias assessment)은 21편의 문헌에서 보고되었다. 17번 항목(study characteristics)은 38편의 문헌에서, 18번 항목(risk of bias in studies)은 35편의 문헌에서, 19번 항목(results of individual studies)은 32편의 문헌에서 보고되었으며, 23a번 항목(discussion)은 19편의 문헌에서, 23c번 항목(discussion)은 12편의 문헌에서 보고되었다.

한편 12번 항목(effect measures), 13번 항목(synthesis methods), 14번 항목(reporting bias assessment), 20번 항목(results of syntheses), 21번 항목(reporting biases)은 결과 합성을 시행하지 않은 문헌들을 제외하고 남은 28편을 대상으로 세부 항목별 보고 여부를 평가하였다. 그 결과 20b번 항목은 28편 문헌에서 모두 보고되었고, 13f번과 20d번 항목은 28개 문헌에서 모두 보고되지 않았다. 12번 항목은 24편의 문헌에서, 13a번²⁹⁾과 13c번⁴³⁾ 항목은 각각 1편의 문헌에서, 13b번 항목은 2편^30,39)의 문헌에서, 13e번과 14번 그리고 21번 항목은 같은 1편의 문헌³⁰⁾)에서 보고되었다. 13d번 항목은 25편에서, 20a번 항목은 26편에서, 20c번 항목은 3편의 문헌^30,37,44)에서 보고되었다(Fig. 5).

Fig. 5. Reporting rate of each item in Preferred Reporting Items for Systematic review and Meta-Analysis (PRISMA) 2020 for manuscript except abstract. N/A: not applicable, RoB: risk of bias.

체계적 문헌고찰(systematic review)은 특정 주제와 관련된 가능한 모든 연구의 데이터를 종합하고 분석하여 결과를 제시하는 연구 방식으로⁶⁰⁾, 비뚤림 위험을 줄여 신뢰도 높은 결론을 도출하고 이를 의료 관계자나 정책 입안자에게 쉽게 전달할 수 있다⁶¹⁾. 메타분석(meta-analysis)은 유사한 주제를 다루는 서로 다른 연구로부터 단일 추정치를 추출하는 통계적 합성으로 효과 크기를 정확하게 추정하고, 하위 그룹간 이질성의 원인을 밝힐 수 있다⁶²⁾. 그러나 연구마다 방법론이나 보고의 질에 차이가 발생할 수 있고, 부적절하게 수행된 체계적 문헌고찰은 신뢰할 수 없는 결과를 제시할 가능성이 높다⁶³⁾. 이에 2009년에 보고 지침으로 나온 PRISMA 2009와 이를 개선한 PRISMA 2020이 보고의 질을 향상시키는 데에 기여하고 있다^16,64).

한의학 분야에서 PRISMA 지침을 이용하여 체계적 문헌고찰을 평가한 연구로는 Song 등의 대한예방한의학회지에 대한 연구¹⁷⁾, Shim 등의 대한한방소아과학회지에 대한 연구¹⁸⁾, Seo 등의 대한한방부인과학회지에 대한 연구¹⁹⁾가 있다. 한방재활의학과학회지에 게재된 체계적 문헌고찰의 질을 평가한 연구는 없으며, 한의학 분야에서 PRISMA 2020을 이용한 연구는 보고되지 않았다. 이에 저자는 PRISMA 2020을 이용하여 한방재활의학과학회지에 게재된 체계적 문헌고찰 39편의 보고의 질을 평가하였다.

PRISMA 2009가 발표된 이후 이를 이용하여 체계적 문헌고찰을 평가한 연구들이 진행되었고 그에 따라 지침에 대한 건의 사항들이 축적되었다. PRISMA 2009로부터 주요하게 변경된 사항¹⁶⁾을 요약하면 다음과 같다. 초록에 대한 별도의 체크리스트를 포함하였고(2번 항목), 문헌에 대한 프로토콜을 등록하고, 모든 수정 사항을 설명하도록 하였으며(24c번 항목), 하나가 아닌 모든 데이터베이스에 대한 검색 전략을 제시하도록 하였다(7번 항목). 연구 선정 과정에 참여한 검토자 수와 독립 작업 여부를 밝히도록 하였고(8번 항목), 결과 합성을 세부 항목으로 상세하게 설명하도록 하였으며(13a-f, 20a-d번 항목), 선정 기준을 충족하는 것처럼 보이나 제외된 문헌들을 인용하고 그 이유를 밝히도록 하였다(16b번 항목). 또한 PRISMA 2020에 새로 추가된 내용으로, 근거 수준의 평가를 보고하도록 하였고(15, 22번 항목), 저자들의 이해상충을 선언하도록 하였으며(26번 항목), 체계적 문헌고찰에 활용된 정보에 대한 접근 경로를 표시하도록 하였다(27번 항목).

PRISMA 2020에서 수정, 보완된 초록에 대한 별도의 체크리스트(2번 항목)와 그와 관련된 항목들의 보고 양상은 다음과 같다.

1번 항목(title)과 2.1번 항목(title)은 모든 문헌에서 보고되었으나 16편^{21,26,31,33-45)}의 문헌에서는 제목에 ‘체계적 문헌고찰’이라고 명시하고 메타분석까지 수행하였다. 2.3번 항목(eligiblity criteria)은 1편³²⁾의 문헌에서 연구 대상으로 무작위 대조군 시험을 선정하였고, 중복되거나 주제와 관련이 없거나 문헌 고찰, 논평인 경우 제외하였다고 보고하였는데, 이 항목의 보고가 1편으로 저조한 것은 본문에서 포함/배제 기준을 다루기 때문으로 생각된다. 이와 같이 제목과 초록이 불완전한 경우 문헌 검색과 선정 과정에서 모호성을 유발할 수 있으므로⁶⁵⁾ 지침에 의거하여 제목과 초록을 온전히 작성하는 것이 바람직하다. 5번 항목(eligibility criteria)과 관련하여 모든 문헌에서 본문에 선정, 배제 기준을 포함하였지만 19편의 문헌에서는 합성을 위해 연구를 그룹화한 방법을 명시하지 않았다.

2.7번 항목(included studies)과 2.8번 항목(synthesis of results)은 2편^47,49)의 문헌에서 보고되었다. 선정된 모든 문헌에서 포함된 연구 수를 제공하였지만 포함된 참가자의 총 수를 제시한 문헌은 2편^47,49)뿐이었다. 일반적으로 연구에서 표본 크기가 25명 이상인 경우 연구 질문의 철저한 검토가 가능하고, 관련 정보를 충분히 수집할 수 있으며 부적절한 사례 탐색의 가능성을 높일 수 있다⁶⁶⁾. 따라서 포함된 연구 수와 더불어 참가자의 총 수도 명시하여 독자가 연구의 규모와 정확도를 파악하는 데에 도움을 주는 것이 마땅하다.

2.11번 항목(funding)은 16편의 문헌에서 보고되었으나 본문을 평가하는 25번 항목(support)은 모든 문헌에서 보고되지 않았다. 2.11번 항목(funding)은 검토를 지원한 기본 자금의 출처를 명시하라고 하는데 25번 항목(support)은 자금의 출처와 더불어 검토에서 후원자의 역할까지 설명할 것을 요구한다. 16편의 문헌 모두 자금의 출처만 명시하고 검토에서의 후원자의 역할을 설명하지 않았는데 검토에서 후원자의 역할을 설명하지 않는 경우 연구 과정이나 결과에 후원자의 의도가 개입되어 결과의 신뢰도를 저하시킬 수 있으므로 주의해야 한다.

2.12번 항목(registration)과 24a-c번 항목(registration and protocol)은 모든 문헌에서 보고되지 않았는데, 기존의 대한예방한의학회지에 대한 연구¹⁷⁾, 대한한방소아과학회지에 대한 연구¹⁸⁾, 대한한방부인과학회지에 대한 연구¹⁹⁾에서도 PRISMA 2009의 5번 항목(protocol and registration)을 보고한 문헌은 없었다. 체계적 문헌고찰을 수행하기 이전에 The International Prospective Register of Systematic Reviews (PROSPERO), Open Science Framework (OSF)와 같은 레지스트리에 프로토콜을 등록하면 중복연구를 방지하여 연구 역량의 낭비를 줄이고, 방법론의 사전 결정 사실을 알려 연구의 신뢰도를 높이며, 공통 관심사를 가진 연구자 간의 협력 가능성을 열 수 있다⁶⁷⁾. 따라서 체계적 문헌고찰의 프로토콜 등록을 통해 연구의 질을 향상시키기 위한 한의계 전체의 관심과 노력이 필요하다.

이외에 PRISMA 2020에서 수정, 보완된 7번, 8번, 13번, 16번, 20번 항목들의 보고 양상은 다음과 같다.

7번 항목(search strategy)은 3편^30,50,53)의 문헌에서 보고되지 않았다. PRISMA 2020에서는 하나가 아닌 모든 데이터베이스에 대해 각각의 검색 전략을 보고할 것을 요구하는데 3편의 문헌에서는 일부 데이터베이스에 대한 검색 전략을 누락하였다. 연구자는 검색을 진행한 데이터베이스 각각에 부합하는 전략을 모두 명시하여 독자가 관련 연구들을 효과적으로 검색할 수 있도록 해야 한다.

8번 항목(selection process)은 11편의 문헌에서 보고되지 않았다. 포함된 모든 체계적 문헌고찰에서 문헌 선정 과정을 제시했지만 11편의 문헌에서는 검토자의 수나 독립 작업 여부를 다루지 않았다. 문헌 선정과 관련하여 검토자의 수나 독립 작업 여부를 명시하는 것은 PRISMA 2020에서 새롭게 수정된 내용인데 문헌 선정의 정확도와 밀접한 관련이 있으므로 위 항목을 철저히 준수하는 것이 마땅하다.

13f번 항목(synthesis methods)과 20d번 항목(results of syntheses)은 모든 문헌에서 보고되지 않았다. 민감도 분석(sensitivity analysis)은 임상 시험에서 가정을 변경하였을 때 결론이 달라지는 정도를 평가하는 방법인데 민감도 분석을 수행한 후에도 1차 분석의 결과값과 유사한 경우 연구 결과에 강건함(robustness)이 있다고 판단한다⁶⁸⁾. PRISMA 2009에서는 16번(additional analyses) 항목에서 추가적으로 수행할 수 있는 분석의 한 예로 민감도 분석을 제시하였는데 PRISMA 2020에서는 민감도 분석을 13f, 20d번 항목에서 보고하도록 수정하였다. 민감도 분석의 수행은 결론의 신뢰도에 관여하는 중요한 요소이므로 향후 게재되는 체계적 문헌고찰은 민감도 분석을 포함하여 보고의 질을 향상시킬 것을 권장한다.

16b번 항목(study selection)은 모든 문헌에서 보고되지 않았다. 16b번 항목에서 언급하는 ‘포함 기준을 충족하는 것처럼 보이지만 제외된 연구’는 제목, 초록을 확인한 후 포함되었으나 본문을 검토하는 과정에서 제외된 문헌으로 정의하였다. 선정된 모든 문헌에서 제외된 이유를 설명하였지만 제외된 연구를 인용한 문헌은 없었다. 연구 선정 과정에서 제외된 연구를 인용하여야 독자가 해당 연구를 확인하면서 제외된 이유가 적절한지 판단할 수 있으므로 제외된 연구를 인용하는 것은 체계적 문헌고찰의 신뢰도를 높이는 데에 중요한 요소이다.

PRISMA 2020에 적용된 수정, 보완 사항들은 PRISMA 2009 출판 이후에 점검표를 이용하여 체계적 문헌고찰을 평가하면서 축적된 지견들이 반영된 것이다. 따라서 주요 변경 사항들을 고려하여 더욱 정교하게 평가하고, 향후 평가 과정에서 추가적으로 개선할 사항들을 반영하기 위해 피드백을 제공하는 것이 필요하다.

PRISMA 2020에서 새롭게 추가된 항목들의 보고 양상은 다음과 같다.

15번 항목(certainty assessment), 22번 항목(certainty of evidence)은 모든 문헌에서 보고되지 않았다. Grading of Recommendations, Assessment, Development and Evaluations (GRADE)는 비뚤림 위험, 불일치, 근거의 간접성, 부정확성, 출판 비뚤림의 영역을 기준으로 근거 수준을 높은 수준에서 매우 낮은 수준까지 평가하는 도구⁶⁹⁾로 PRISMA 2020에서 새롭게 추가된 15번, 22번 항목에서 사용을 권장한다. 그러나 아직까지 한방재활의학과학회지의 체계적 문헌고찰에서 GRADE를 이용하여 체계적 문헌고찰의 근거 수준을 평가한 사례는 없다. 향후 게재되는 체계적 문헌고찰은 결과의 근거 수준을 제시하여 연구의 신뢰도를 높이고 독자로 하여금 비뚤림 위험이나 불일치의 가능성을 판단하도록 하는 것이 필요하다.

26번 항목(competing interests)은 모든 문헌에서 보고되지 않았다. 이해 상충은 저자가 연구 과정에서의 정보 해석이나 판단에 영향을 끼칠 수 있는 이해관계에 있는 상황⁷⁰⁾으로 이를 명시하지 않는 경우 연구 결과에 대한 신뢰도를 저하시킬 수 있다. 향후 한방재활의학과학회지에 게재되는 체계적 문헌고찰에서는 저자의 이해 상충을 명시하여 연구 과정 및 결과에 영향을 미칠 수 있는 요소들을 투명하게 하는 것이 중요하다.

27번 항목(availability of data, code and other materials)은 모든 문헌에서 보고되지 않았다. PRISMA 2020에서 새롭게 추가된 27번 항목은 데이터, 분석 코드 및 기타 자료를 공개된 플랫폼이나 저장소에 업로드하여 독자들이 관련 자료에 쉽게 접근할 수 있도록 요구한다. 그러나 한방재활의학과학회지를 포함한 국내 한의학 연구 분야에서는 아직 공개된 플랫폼에 관련 자료를 업로드하는 여건이 조성되지 않았다. 공개 플랫폼에 업로드된 자료는 대상 연구의 이해를 용이하게 하며 이를 근거로 추가적인 연구를 진행하는 계기를 마련할 수 있다는 점에서 의미가 크다고 생각한다.

PRISMA 2020에서 신설된 항목들은 모든 문헌에서 보고되지 않았는데 PRISMA 2009 이후 연구 과정에서 중요성이 부각된 평가 도구, 자료 공유 방식이나 해석, 판단에 영향을 끼칠 수 있는 요소가 연구자들에게 충분히 인식되지 않은 점에 기인한다고 생각한다. 따라서 한방재활의학과학회 차원의 PRISMA 2020 지침 보급과 체계적 문헌고찰의 방법론, 최근 동향에 대한 교육을 통해 우수한 질의 체계적 문헌고찰의 출판을 독려하는 것이 필요하다.

Hwang 등의 연구⁵⁹⁾는 신속 체계적 문헌고찰의 형태로 진행되었다. 신속 체계적 문헌고찰은 대개 정책결정자의 필요성에 의해 신속하게 진행하거나 연구의 일부 과정을 생략하여 4~16주 이내에 완료하는 체계적 문헌고찰의 방식이다⁷¹⁾. 연구 과정의 간소화가 타당도에 영향을 미칠 수 있지만 상황에 따라 적절히 근거를 제공하는 방법이 될 수 있으므로 고려할 가치가 있다. 위 연구를 PRISMA 2020 지침으로 평가하였을 때 초록에서 11개 항목 중 4개(36.4%), 초록을 제외한 본문에서 28개 항목 중 19개(67.9%)를 보고하여 초록에 대해 보고된 항목 수는 중간값(45.5%) 이하였지만 초록을 제외한 본문에 대해 보고된 항목 수는 오히려 중간값(47.6%) 이상이었다.

본 연구는 다음과 같은 한계점이 있다. 첫째, PRISMA 2020은 2021년 3월 29일에 출판되었는데 한방재활의학과학회지에 2022년 1월까지 게재된 39편의 체계적 문헌고찰 중 33편(84.6%)이 PRISMA 2020 이전에 게재되어 지침의 내용을 충분히 반영할 수 없었다. 둘째, PRISMA 2020 한국어판이 아직 마련되지 않아 원문을 자체적으로 번역하여 평가를 진행하였다. 그러나 한의학 분야에서 최초로 PRISMA 2020으로 체계적 문헌고찰의 질 평가를 시도하였고, 향후 발표될 체계적 문헌고찰에서 참고할 방향을 제안한다는 점에서 의미가 있다고 생각한다. 추후 한방재활의학과학회지에 게재되는 체계적 문헌고찰의 근거 수준과 질을 향상하기 위해서는 PRISMA 2020에 따라 연구를 수행해야 할 것이다.

본 연구는 한방재활의학과학회지에 1991년부터 2022년 1월까지 출판된 체계적 문헌고찰 39편을 대상으로 PRISMA 2020에 근거한 보고의 질 평가를 시행하여 다음과 같은 결론을 얻었다.

• 체계적 문헌고찰별로 보고율을 평가한 결과, 초록에 대해 ‘H’로 평가된 문헌은 2편(5.1%)이었고, ‘M’으로 평가된 문헌은 11편(28.2%)이었으며, ‘L’로 평가된 문헌은 26편(66.7%)이었다. 초록을 제외한 본문에 대해 ‘H’로 평가된 문헌은 없었고, ‘M’로 평가된 문헌은 14편(35.9%)이었으며, ‘L’로 평가된 문헌은 25편(64.1%)이었다.

• PRISMA 2020 세부 항목별 보고율을 평가한 결과, 초록의 12개 항목에 대해 평균 5.26개(43.8%) 항목을 보고하였고, 본문의 41개 항목에 대해 평균 18.3개(44.6%) 항목을 보고하였다.

• 초록에 대한 점검표에서 2.12번 항목(registration)과 본문에 대한 점검표에서 13f번 항목(synthesis methods), 15번 항목(certainty assessment), 16b번 항목(study selection), 20d번 항목(results of syntheses), 22번 항목(certainty of evidence), 24a~c번 항목(registration and protocol), 25번 항목(support), 26번 항목(competing interests), 27번 항목(availability of data, code and other materials)은 모든 문헌에서 누락되었다.

• 한방재활의학과학회지에 게재되는 체계적 문헌고찰의 질을 향상시키기 위해 향후 수행되는 체계적 문헌고찰에서 PRISMA 2020 점검표에서 보고가 누락되거나 보고율이 낮은 항목을 보완하고, 관련 연구자들에게 PRISMA 2020을 준수하여 보고의 질이 높은 체계적 문헌고찰을 수행하도록 권장할 필요가 있다.