search for




 

J Korean Med Rehabi 2022 Jul; 32(3): 85-107  https://doi.org/10.18325/jkmr.2022.32.3.85
Reporting Qualitative Research of Systematic Review in the Journal of Korean Medicine Rehabilitation According to Preferred Reporting Items for Systematic Reviews and Meta-Analyses 2020 Guidelines
Published online July 31, 2022
Copyright © 2022 The Society of Korean Medicine Rehabilitation.

Hyeon-Uk Na*1, Shin-Hyeok Park, K.M.D.*,†1, Hyeon-Jun Woo, K.M.D.*,‡, Yun-Hee Han, K.M.D.*,‡, Ji-Hye Geum, K.M.D.*,§, Jung-Han Lee, K.M.D.*,‡, Won-Bae Ha, K.M.D.*,‡

Chuna Manual Medicine Research Group, College of Korean Medicine Wonkwang University*, Departments of Acupuncture and Moxbustion Medicine, Korean Medicine Rehabilitation, College of Korean Medicine, Wonkwang University, Je-Il Korean Medicine Hospital§
Correspondence to: Won-Bae Ha, Department of Korean Medicine Rehabilitation, College of Korean Medicine, Wonkwang University, 895 Muwang-ro, Iksan 54538, Korea
TEL (063) 859-2815
FAX (063) 841-0033
E-mail ha0530@wku.ac.kr

1These authors contributed equally to this study.
Received: June 20, 2022; Revised: June 29, 2022; Accepted: July 3, 2022
Abstract
Objectives The purpose of this study was to assess the reporting quality of systematic reviews and meta-analyses in the Journal of Korean Medicine Rehabilitation (JKMR) using the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) 2020 guidelines.
Methods Systematic reviews and meta-analyses in JKMR, published from January 1991 to January 2022, were selected by searching the Korean studies Information Service System and JKMR homepage. Two independent researchers searched and selected systematic reviews and meta-analyses and evaluated the reporting quality of abstracts and main texts using the PRISMA 2020 guidelines.
Results Of 1,515 articles, 39 systematic reviews were finally included for assessment. Evaluation of abstracts resulted in 2 studies rated as high, 11 studies rated as moderate, and 26 studies rated as low. A maximum of 83.3% and a minimum of 25.0% of the items were reported in the abstracts. Evaluation of the manuscripts resulted in no studies rated as high, 14 studies rated as moderate, and 25 studies rated as low. A maximum of 67.9% and a minimum of 34.1% of the items were reported in the manuscripts.
Conclusions To improve the quality of systematic reviews published in JKMR, it is necessary to conduct systematic reviews based on the PRISMA 2020 guidelines.
Keywords : PRISMA 2020, Qualitative research, Systematic review, Meta-analysis, Journal of Korean Medicine Rehabilitation
서론»»»

체계적 문헌고찰은 근거중심의학(evidence-based medicine)에서 특정 연구 질문에 대한 신뢰성 있는 정보를 제공하기 위해 명확하고 체계적인 방법을 적용하여 관련된 기존 연구 자료들을 포괄적으로 종합하고 분석하는 연구 방법이다1). 미리 정해진 기준에 따라 문헌을 선택하거나 배제하며, 선택된 문헌들의 비뚤림 위험을 평가한 후 결과를 합성하여 종합적인 결론을 도출하므로 개별 연구에서 해결할 수 없는 질문에 답할 수 있고, 향후 연구에서 수정되어야 하는 일차 연구의 문제를 식별할 수 있다. 따라서 가장 높은 근거 수준을 가지며 환자, 의료인, 연구자, 정책 입안자를 위한 주요한 연구 방법이다2,3).

그러나 부적절하게 수행된 체계적 문헌고찰은 치료 효과 추정에 부정확한 결과와 부족한 재현성, 잘못된 결론을 제공할 수 있다4). 사용자에게 의미 있는 결과를 제공하기 위해서 저자는 최신 보고 지침을 통해 검토가 수행된 이유, 수행한 작업 및 발견한 내용에 대한 투명하고 완전하며 정확한 절차를 확인해야 한다5).

2009년에 발표된 Preferred Reporting Items for Systematic review and Meta-Analysis (PRISMA) 선언문(PRISMA 2009)은 체계적 문헌고찰의 잘못된 보고를 해결하기 위해 고안된 보고 지침으로 이후 많은 체계적 문헌고찰의 작성 지침이 되었으며, 동시에 질적 평가에 활용되었다6). PRISMA 2009 발표 이후 지금까지 체계적 문헌고찰의 수행에 관련된 많은 혁신이 이루어졌는데, 메타 분석이 시행되지 않았을 때 결과를 종합하고 제시하는 방법이 제안되었고7-9), 포함된 연구 결과에서 비뚤림 위험을 평가하기 위한 방법이 개발되었다10,11). 또한 비뚤림의 원인에 대한 증거가 축적되었고12,13), 출판 환경이 변화하여 체계적 문헌고찰의 프로토콜을 등록하고 배포하는 다양한 방법을 사용할 수 있게 되었다14,15). 이러한 개선점들을 반영하기 위해 PRISMA 선언문이 2020년에 갱신되어 여러 문헌을 통해 배포되었으며, 아직 한국어판은 보고되지 않았다16).

한의학 분야에서 PRISMA를 활용하여 체계적 문헌고찰의 질을 평가한 연구는 2019년 대한예방한의학회지17), 2020년 대한한방소아과학회지18), 2021년 대한한방부인과학회지19)의 3건이 있으며 모두 PRISMA 2009를 이용하였다. 한방재활의학과학회지에 출판된 체계적 문헌고찰은 최근 5년간 2017년 7편, 2018년 3편, 2019년 4편, 2020년 5편, 2021년 8편으로 상대적으로 큰 비중을 차지하고 있으나, 이에 대한 질 평가는 아직 보고된 바 없다.

이에 저자는 최신 지견을 반영하여 2020년 갱신된 PRISMA 선언문(PRISMA 2020)을 통해 창간호부터 2022년 1월까지 한방재활의학과학회지에 게재된 체계적 문헌고찰을 대상으로 보고의 질을 평가하였다. 이를 통해 한방재활의학과학회지에 보고된 체계적 문헌고찰의 현황을 파악하고, 향후 개선 방향을 제안하여 신뢰도 높은 근거 생성에 기여하고자 한다.

대상 및 방법»»»

1. 문헌 검색 및 선정

한방재활의학과학회지에 1991년(창간호)부터 2022년 1월(제32권 제1호)까지 게재된 1,515편의 문헌을 대상으로 2022년 3월 한국학술정보(Korean studies Information Service System, KISS)에서 검색을 시행하였다. 상세검색 항목에서 제목에 ‘체계’, ‘문헌고찰’, ‘체계적 문헌고찰’, ‘systematic review’, 간행물명에 ‘한방재활의학과학회지’, 발행 연도에 ‘1991-2022’를 입력하여 검색하였다. 문헌이 누락되지 않도록 한방재활의학과학회 홈페이지(https://www.ormkorea.org)의 학회지 열람 시스템에서 창간호부터 2022년 1월까지 발간된 문헌을 수기 검색하여 대조하였다.

두 명의 연구자(NHU, PSH)가 독립적으로 중복된 문헌을 제거한 후 제목과 초록을 검토하여 1차적으로 문헌을 선별하였고, 이후 원문 전체를 확인하여 최종 평가 대상을 선별하였다. 선별한 결과가 불일치하는 경우 두 연구자가 논의하여 결정하였고, 합의에 이르지 못하는 경우 제3의 연구자(HWB)와 논의하여 결론을 도출하였다.

2. 문헌의 질 평가 도구 및 방법

PRISMA 2020을 사용하여 체계적 문헌고찰을 대상으로 보고의 질을 평가하였다. PRISMA 2009와 비교했을 때 PRISMA 2020에서의 주요한 변경 사항은 Table I과 같다. 초록에 대한 12개 항목과 초록을 제외한 본문에 대한 41개 항목을 평가하여 보고한 경우에 ‘yes (Y)’, 보고하지 않은 경우에 ‘no (N)’, 적용할 수 없거나 해당되지 않는 경우에 ‘not applicable (N/A)’로 평가하였다. 두 명의 연구자(NHU, PSH)가 독립적으로 평가하였고, 결과가 불일치하는 경우 서로 충분히 논의하여 결정하였고, 합의에 이르지 못하는 경우 제3의 연구자(HWB)와 논의하여 결론을 도출하였다.

Table Ⅰ. Comparison of PRISMA 2009 and PRISMA 2020.

PRISMA 2009 PRISMA 2020
1 Title 1 Title
2 Structured summary* 2 Abstract*
3 Rationale 3 Rationale
4 Objectives 4 Objectives
5 Protocol and registration* 5 Eligibility criteria
6 Eligibility criteria 6 Information sources*
7 Information sources* 7 Search strategy*
8 Search* 8 Selection process
9 Study selection 9 Data collection process
10 Data collection process 10a-b Data items*
11 Data items* 11 Study risk of bias assessment
12 Risk of bias in individual studies 12 Effect measures
13 Summary measures 13a-f Synthesis methods*
14 Synthesis of results* 14 Reporting bias assessment
15 Risk of bias across studies 15 Certainty assessment
16 Additional analyses 16a-b Study selection*
17 Study selection* 17 Study characteristics
18 Study characteristics 18 Risk of bias in studies
19 Risk of bias within studies 19 Results of individual studies
20 Results of individual studies 20a-d Results of syntheses*
21 Synthesis of results* 21 Reporting bias
22 Risk of bias across studies 22 Certainty of evidence
23 Additional analysis 23a-d Discussion
24 Summary of evidence 24a-c Registration and protocol*
25 Limitations 25 Support
26 Conclusions 26 Competing interests
27 Funding 27 Availability of data, code and other materials

PRISMA: Preferred Reporting Items for Systematic review and Meta-Analysis..

*modificated, added..



3. 질 평가 결과의 합성 및 분석

보고의 질적 수준은 체계적 문헌고찰별 보고율과 PRISMA 2020 세부 항목별 보고율로 나누어 평가하였고, ‘N/A’로 평가한 항목은 보고율 산정 시 제외하였다. An 등20)은 PRISMA 2009의 27개 항목을 분석하여 보고된 항목 수에 따라 15개 이하는 불충분, 15~20개는 약간 부족, 21~ 27개는 충분한 수준으로 평가하였는데, 이를 참고하여 체계적 문헌고찰별 보고율을 계산하였다. PRISMA 2020의 초록에 대한 12개 항목과 초록을 제외한 본문에 대한 41개 항목을 분석하여 보고된 항목의 비율에 따라 50% 미만은 ‘low (L)’, 50% 이상 및 75% 미만은 ‘moderate (M)’, 75% 이상은 ‘high (H)’로 평가하였다.

결과»»»

1. 문헌 검색 및 선정 결과

한국학술정보(KISS)에서 1991년(창간호)부터 2022년 1월까지 한방재활의학과학회지의 체계적 문헌고찰을 검색한 결과 총 246편의 문헌이 검색되었다. 중복된 문헌 114편을 제외하고, 남은 132편의 문헌에서 제목 및 초록을 검토하여 92편을 제외하였다. 1차 선별 후 남은 40편의 전문을 확인하여 체계적 문헌고찰이 아닌 문헌 1편을 제외하여 최종적으로 39편21-59)을 분석대상으로 선정하였다(Fig. 1). 이 중 23편21-43)은 체계적 문헌고찰 및 메타분석, 2편44,45)은 메타분석을 부분적으로 실시한 체계적 문헌고찰, 3편46-48)은 정성적 합성(qualitative synthesis)을 실시한 체계적 문헌고찰, 10편49-58)은 체계적 문헌고찰, 1편59)은 신속 체계적 문헌고찰이었다.

Fig. 1. Flow diagram of study selection. KISS: Korean studies Information Service System.

2. 질 평가 결과

1) 체계적 문헌고찰별 보고율 평가

(1) 초록

PRISMA 2020을 이용하여 체계적 문헌고찰의 초록을 대상으로 보고율을 평가한 결과, ‘H’로 평가된 문헌은 2편47,49)이었고, ‘M’으로 평가된 문헌은 10편이었으며, ‘L’로 평가된 문헌은 27편이었다. 한방재활의학과학회지의 체계적 문헌고찰은 초록에서 해당 항목을 최대 83.3%, 최소 25.0%, 중간값 45.5%로 보고하였다. 11편49-59)의 문헌은 메타분석이나 정성적 합성과 같은 결과 합성을 시행하지 않아 이와 관련된 2.6번 항목(synthesis of results)을 ‘N/A’로 평가하였다. 총 12개 항목 중 10개 항목을 보고한 문헌이 1편47), 9개 항목을 보고한 문헌이 1편49), 6개 항목을 보고한 문헌이 10편, 5개 항목을 보고한 문헌이 18편, 4개 항목을 보고한 문헌이 8편, 3개 항목을 보고한 문헌이 1편43)이었다(Table II, Fig. 2, Appendix I).

Table Ⅱ. Preferred Reporting Items for Systematic review and Meta-Analysis (PRISMA) 2020 Checklist for Abstract and the Number of Reported Studies in the Journal of Korean Medicine Rehabilitation.

Section and topic Item# Checklist item Number of reported articles (n/n, %)
TITLE
Title 2.1 Identify the report as a systematic review. 39/39 (100)
BACKGROUND
Objectives 2.2 Provide an explicit statement of the main objective(s) or question(s) the review adresses. 39/39 (100)
METHODS
Eligibility criteria 2.3 Specify the inclusion and exclusion criteria for the review. 1/39 (2.6)
Information sources 2.4 Specify the information sources (e.g., databases, registers) used to identify studies and the date when each was last searched. 15/39 (38.5)
Risk of bias 2.5 Specify the methods used to assess the risk of bias in the included studies. 23/39 (59.0)
Synthesis of results 2.6 Specify the methods used to present and synthesize results. 4/28 (14.3)
RESULTS
Included studies 2.7 Give the total number of included studies and participants and summarise relevant characteristics of studies. 2/39 (5.1)
Synthesis of results 2.8 Present results for main outcomes, preferably indicating the number of included studies and participants for each.If meta-analysis was done, report the summary estimate and confidence/credible interval. If comparing groups, indicate the direction of the effect (i.e., which group is favored). 2/39 (5.1)
DISCUSSION
Limitations of evidence 2.9 Provide a brief summary of the limiations of the evidence included in the review (e.g., study risk of bias, inconsistency, and imprecision). 27/39 (69.2)
Interpretation 2.10 Provide a general interpretation of the results and important implications. 36/39 (92.3)
OTHER
Funding 2.11 Specify the primary source of funding for the review. 16/39 (41.0)
Registration 2.12 Provide the register name and registration number. 0/39 (0)

Fig. 2. Reporting rate of each study based on Preferred Reporting Items for Systematic review and Meta-Analysis (PRISMA) 2020 for abstract. L: low, M: moderate, H: high.

(2) 본문

PRISMA 2020을 이용하여 체계적 문헌고찰의 초록을 제외한 본문을 대상으로 보고율을 평가한 결과 ‘H’로 평가된 문헌은 없었고, ‘M’으로 평가된 문헌은 14편이었으며, ‘L’로 평가된 문헌은 25편이었다. 한방재활의학과학회지의 체계적 문헌고찰은 초록을 제외한 본문에서 해당 항목을 최대 67.9%, 최소 34.1%, 중간값 47.6%로 보고하였다. 11편49-59)의 문헌은 메타분석이나 정성적 합성과 같은 결과 합성을 시행하지 않아 이와 관련된 12번 항목(effect measures), 13번 항목(synthesis methods), 14번 항목(reporting bias assessment), 20번 항목(results of syntheses), 21번 항목(reporting biases)을 ‘N/A’로 평가하였다.

총 41개 항목 중 24개 항목을 보고한 문헌이 1편30), 22개 항목을 보고한 문헌이 2편37,39), 21개 항목을 보고한 문헌이 5편, 20개 항목을 보고한 문헌이 8편, 19개 항목을 보고한 문헌이 3편28,46,47), 18개 항목을 보고한 문헌이 7편, 17개 항목을 보고한 문헌이 2편24,25), 16개 항목을 보고한 문헌이 1편41), 15개 항목을 보고한 문헌이 2편43,49), 14개 항목을 보고한 문헌이 3편26,51,58), 13개 항목을 보고한 문헌이 3편50,52,57), 12개 항목을 보고한 문헌이 2편53,56)이었다(Table III, Fig. 3, Appendix II).

Table Ⅲ. Preferred Reporting Items for Systematic Review and Meta-Analysis (PRISMA) 2020 Checklist and the Number of Reported Studies in the Journal of Korean Medicine Rehabilitation.

Section and topic Item# Checklist item Number of reported articles(n/n, %)
TITLE
Title 1 Identify the report as a systematic review. 39/39 (100)
ABSTRACT
Abstract 2 See the PRISMA 2020 for Abstracts checklist.
INTRODUCTION
Rationale 3 Describe the rationale for the review in the context of exisitng knowledge. 39/39 (100)
Objectives 4 Provide an explicit statement of the objective(s) or question(s) the review addresses. 39/39 (100)
METHODS
Eligibility criteria 5 Specify the inclusion and exclusion criteria for the review and how studies were grouped for the syntheses. 20/39 (51.3)
Information sources 6 Specify all databases, registers, websites, organisations, reference lists and other sources searched or consulted to identify studies. Specify the date when each source was last searched or consulted. 36/39 (92.3)
Search strategy 7 Present the full search strategies for all databases, registers and websites, including any filters and limits used. 36/39 (92.3)
Selection process 8 Specify the methods used to decide whether a study met the inclusion criteria of the review, including how many reviewers screened each record and each report retrieved, whether they worked independently, and if applicable, details of automation tools used in the process. 28/39 (71.8)
Data collection process 9 Specify the methods used to collect data from reports, including how many reviewers collected data from each report, whether they worked independently, any processes for obtaining or confirming data from study investigators, and if applicable, details of automation tools used in the process. 16/39 (41.0)
Data items 10a List and define all outcomes for which data were sought. Specify whether all results that were compatible with each outcome domain in each study were sought (e.g. for all measures, time points, analyses), and if not, the methods used to decide which results to collect. 30/39 (76.9)
10b List and define all other variables for which data were sought (e.g. participant and intervention characteristics, funding sources). Describe any assumptions made about any missing or unclear information. 29/39 (74.4)
Study risk of bias assessment 11 Specify the methods used to assess risk of bias in the included studies, including details of the tool(s) used, how many reviewers assessed each study and whether they worked independently, and if applicable, details of automation tools used in the process. 21/39 (53.8)
Effect measures 12 Specify for each outcome the effect measure(s) (e.g. risk ratio, mean difference) used in the synthesis or presentation of results. 24/28 (85.7)
Synthesis methods 13a Describe the processes used to decide which studies were eligible for each synthesis (e.g. tabulating the study intervention characteristics and comparing against the planned groups for each synthesis [item #5]). 1/28 (3.6)
13b Describe any methods required to prepare the data for presentation or synthesis, such as handling of missing summary statistics, or data conversions. 2/28 (7.1)
13c Describe any methods used to tabulate or visually display results of individual studies and syntheses. 1/28 (3.6)
13d Describe any methods used to synthesize results and provide a rationale for the choice(s). If meta-analysis was performed, describe the model(s), method(s) to identify the presence and extent of statistical heterogeneity, and software package(s) used. 25/28 (89.3)
Synthesis methods 13e Describe any methods used to explore possible causes of heterogeneity among study results (e.g. subgroup analysis, meta-regression). 1/28 (3.6)
13f Describe any sensitivity analyses conducted to assess robustness of the synthesized results. 0/28 (0)
Reporting bias assessment 14 Describe any methods used to assess risk of bias due to missing results in a synthesis (arising from reporting biases). 1/28 (3.6)
Certainty assessment 15 Describe any methods used to assess certainty (or confidence) in the body of evidence for an outcome. 0/39 (0)
RESULTS
Study selection 16a Describe the results of the search and selection process, from the number of records identified in the search to the number of studies included in the review, ideally using a flow diagram. 39/39 (100)
16b Cite studies that might appear to meet the inclusion criteria, but which were excluded, and explain why they were excluded. 0/39 (0)
Study characteristics 17 Cite each included study and present its characteristics. 38/39 (97.4)
Risk of bias in studies 18 Present assessments of risk of bias for each included study. 35/39 (89.7)
Results of individual studies 19 For all outcomes, present, for each study: (a) summary statistics for each group (where appropriate) and (b) an effect estimate and its precision (e.g. confidence/credible interval), ideally using structured tables or plots. 32/39 (82.1)
Results of syntheses 20a For each synthesis, briefly summarise the characteristics and risk of bias among contributing studies. 26/28 (92.9)
20b Present results of all statistical syntheses conducted. If meta-analysis was done, present for each the summary estimate and its precision (e.g. confidence/credible interval) and measures of statistical heterogeneity. If comparing groups, describe the direction of the effect. 28/28 (100)
20c Present results of all investigations of possible causes of heterogeneity among study results. 3/28 (10.7)
20d Present results of all sensitivity analyses conducted to assess the robustness of the synthesized results. 0/28 (0)
Reporting biases 21 Present assessments of risk of bias due to missing results (arising from reporting biases) for each synthesis assessed. 1/28 (3.6)
Certainty of evidence 22 Present assessments of certainty (or confidence) in the body of evidence for each outcome assessed. 0/39 (0)
DISCUSSION
Discussion 23a Provide a general interpretation of the results in the context of other evidence. 19/39 (48.7)
23b Discuss any limitations of the evidence included in the review. 39/39 (100)
23c Discuss any limitations of the review processes used. 12/39 (30.8)
23d Discuss implications of the results for practice, policy, and future research. 39/39 (100)
OTHER INFORMATION
Registration and protocol 24a Provide registration information for the review, including register name and registration number, or state that the review was not registered. 0/39 (0)
24b Indicate where the review protocol can be accessed, or state that a protocol was not prepared. 0/39 (0)
24c Describe and explain any amendments to information provided at registration or in the protocol. 0/39 (0)
Support 25 Describe sources of financial or non-financial support for the review, and the role of the funders or sponsors in the review. 0/39 (0)
Competing interests 26 Declare any competing interests of review authors. 0/39 (0)
Availability of data, code and other materials 27 Report which of the following are publicly available and where they can be found: template data collection forms; data extracted from included studies; data used for all analyses; analytic code; any other materials used in the review. 0/39 (0)

Fig. 3. Reporting rate of each study based on Preferred Reporting Items for Systematic review and Meta-Analysis (PRISMA) 2020 for manuscript except abstract. L: low, M: moderate, H: high.

2) PRISMA 2020 세부 항목별 보고율 평가

(1) 초록

PRISMA 2020의 세부 항목별로 한방재활의학과학회지에 보고된 체계적 문헌고찰의 초록을 평가한 결과 1번 항목(title)과 2번 항목(objectives)은 모든 문헌에서 보고되었으며, 3번 항목(eligibility criteria)은 1편32)의 문헌에서 보고되었다. 4번 항목(information sources)은 15편의 문헌에서 보고되었고, 5번 항목(risk of bias)은 23편의 문헌에서 보고되었다. 6번 항목(synthesis of results)은 결과 합성을 시행하지 않은 문헌들을 제외하고 남은 28편 중 4편23,30,41,46)의 문헌에서 보고되었다. 7번 항목(included studies)과 8번 항목(synthesis of results)은 2편47,49)의 문헌에서 보고되었으며, 9번 항목(limitations of evidence)은 27편의 문헌에서 보고되었다. 10번 항목(interpretation)은 36편의 문헌에서 보고되었고, 11번 항목(funding)은 16편의 문헌에서 보고되었다. 한편 12번 항목(registration)은 모든 문헌에서 보고되지 않았다(Fig. 4).

Fig. 4. Reporting rate of each item in Preferred Reporting Items for Systematic review and Meta-Analysis (PRISMA) 2020 for abstract. N/A: not applicable.

(2) 본문

PRISMA 2020의 세부 항목별로 한방재활의학과학회지에 보고된 체계적 문헌고찰의 초록을 제외한 본문을 평가한 결과 1번 항목(title), 3번 항목(rationale), 4번 항목(objectives), 16a번 항목(study selection), 23b번과 23d번 항목(discussion)은 모든 문헌에서 보고되었고, 15번 항목(certainty assessment), 16b번 항목(study selection), 22번 항목(certainty of evidence), 24a번과 24b번, 24c번 항목(registration and protocol), 25번 항목(support), 26번 항목(competing interests), 27번 항목(availability of data, code and other materials)은 모든 문헌에서 보고되지 않았다.

5번 항목(eligibility criteria)은 20편의 문헌에서, 6번 항목(information sources)과 7번 항목(search strategy)은 36편의 문헌에서, 8번 항목(selection process)은 28편의 문헌에서, 9번 항목(data collection process)은 16편의 문헌에서, 10a번과 10b번 항목(data items)은 각각 30편과 29편의 문헌에서, 11번 항목(study risk of bias assessment)은 21편의 문헌에서 보고되었다. 17번 항목(study characteristics)은 38편의 문헌에서, 18번 항목(risk of bias in studies)은 35편의 문헌에서, 19번 항목(results of individual studies)은 32편의 문헌에서 보고되었으며, 23a번 항목(discussion)은 19편의 문헌에서, 23c번 항목(discussion)은 12편의 문헌에서 보고되었다.

한편 12번 항목(effect measures), 13번 항목(synthesis methods), 14번 항목(reporting bias assessment), 20번 항목(results of syntheses), 21번 항목(reporting biases)은 결과 합성을 시행하지 않은 문헌들을 제외하고 남은 28편을 대상으로 세부 항목별 보고 여부를 평가하였다. 그 결과 20b번 항목은 28편 문헌에서 모두 보고되었고, 13f번과 20d번 항목은 28개 문헌에서 모두 보고되지 않았다. 12번 항목은 24편의 문헌에서, 13a번29)과 13c번43) 항목은 각각 1편의 문헌에서, 13b번 항목은 2편30,39)의 문헌에서, 13e번과 14번 그리고 21번 항목은 같은 1편의 문헌30))에서 보고되었다. 13d번 항목은 25편에서, 20a번 항목은 26편에서, 20c번 항목은 3편의 문헌30,37,44)에서 보고되었다(Fig. 5).

Fig. 5. Reporting rate of each item in Preferred Reporting Items for Systematic review and Meta-Analysis (PRISMA) 2020 for manuscript except abstract. N/A: not applicable, RoB: risk of bias.
고찰»»»

체계적 문헌고찰(systematic review)은 특정 주제와 관련된 가능한 모든 연구의 데이터를 종합하고 분석하여 결과를 제시하는 연구 방식으로60), 비뚤림 위험을 줄여 신뢰도 높은 결론을 도출하고 이를 의료 관계자나 정책 입안자에게 쉽게 전달할 수 있다61). 메타분석(meta-analysis)은 유사한 주제를 다루는 서로 다른 연구로부터 단일 추정치를 추출하는 통계적 합성으로 효과 크기를 정확하게 추정하고, 하위 그룹간 이질성의 원인을 밝힐 수 있다62). 그러나 연구마다 방법론이나 보고의 질에 차이가 발생할 수 있고, 부적절하게 수행된 체계적 문헌고찰은 신뢰할 수 없는 결과를 제시할 가능성이 높다63). 이에 2009년에 보고 지침으로 나온 PRISMA 2009와 이를 개선한 PRISMA 2020이 보고의 질을 향상시키는 데에 기여하고 있다16,64).

한의학 분야에서 PRISMA 지침을 이용하여 체계적 문헌고찰을 평가한 연구로는 Song 등의 대한예방한의학회지에 대한 연구17), Shim 등의 대한한방소아과학회지에 대한 연구18), Seo 등의 대한한방부인과학회지에 대한 연구19)가 있다. 한방재활의학과학회지에 게재된 체계적 문헌고찰의 질을 평가한 연구는 없으며, 한의학 분야에서 PRISMA 2020을 이용한 연구는 보고되지 않았다. 이에 저자는 PRISMA 2020을 이용하여 한방재활의학과학회지에 게재된 체계적 문헌고찰 39편의 보고의 질을 평가하였다.

PRISMA 2009가 발표된 이후 이를 이용하여 체계적 문헌고찰을 평가한 연구들이 진행되었고 그에 따라 지침에 대한 건의 사항들이 축적되었다. PRISMA 2009로부터 주요하게 변경된 사항16)을 요약하면 다음과 같다. 초록에 대한 별도의 체크리스트를 포함하였고(2번 항목), 문헌에 대한 프로토콜을 등록하고, 모든 수정 사항을 설명하도록 하였으며(24c번 항목), 하나가 아닌 모든 데이터베이스에 대한 검색 전략을 제시하도록 하였다(7번 항목). 연구 선정 과정에 참여한 검토자 수와 독립 작업 여부를 밝히도록 하였고(8번 항목), 결과 합성을 세부 항목으로 상세하게 설명하도록 하였으며(13a-f, 20a-d번 항목), 선정 기준을 충족하는 것처럼 보이나 제외된 문헌들을 인용하고 그 이유를 밝히도록 하였다(16b번 항목). 또한 PRISMA 2020에 새로 추가된 내용으로, 근거 수준의 평가를 보고하도록 하였고(15, 22번 항목), 저자들의 이해상충을 선언하도록 하였으며(26번 항목), 체계적 문헌고찰에 활용된 정보에 대한 접근 경로를 표시하도록 하였다(27번 항목).

PRISMA 2020에서 수정, 보완된 초록에 대한 별도의 체크리스트(2번 항목)와 그와 관련된 항목들의 보고 양상은 다음과 같다.

1번 항목(title)과 2.1번 항목(title)은 모든 문헌에서 보고되었으나 16편21,26,31,33-45)의 문헌에서는 제목에 ‘체계적 문헌고찰’이라고 명시하고 메타분석까지 수행하였다. 2.3번 항목(eligiblity criteria)은 1편32)의 문헌에서 연구 대상으로 무작위 대조군 시험을 선정하였고, 중복되거나 주제와 관련이 없거나 문헌 고찰, 논평인 경우 제외하였다고 보고하였는데, 이 항목의 보고가 1편으로 저조한 것은 본문에서 포함/배제 기준을 다루기 때문으로 생각된다. 이와 같이 제목과 초록이 불완전한 경우 문헌 검색과 선정 과정에서 모호성을 유발할 수 있으므로65) 지침에 의거하여 제목과 초록을 온전히 작성하는 것이 바람직하다. 5번 항목(eligibility criteria)과 관련하여 모든 문헌에서 본문에 선정, 배제 기준을 포함하였지만 19편의 문헌에서는 합성을 위해 연구를 그룹화한 방법을 명시하지 않았다.

2.7번 항목(included studies)과 2.8번 항목(synthesis of results)은 2편47,49)의 문헌에서 보고되었다. 선정된 모든 문헌에서 포함된 연구 수를 제공하였지만 포함된 참가자의 총 수를 제시한 문헌은 2편47,49)뿐이었다. 일반적으로 연구에서 표본 크기가 25명 이상인 경우 연구 질문의 철저한 검토가 가능하고, 관련 정보를 충분히 수집할 수 있으며 부적절한 사례 탐색의 가능성을 높일 수 있다66). 따라서 포함된 연구 수와 더불어 참가자의 총 수도 명시하여 독자가 연구의 규모와 정확도를 파악하는 데에 도움을 주는 것이 마땅하다.

2.11번 항목(funding)은 16편의 문헌에서 보고되었으나 본문을 평가하는 25번 항목(support)은 모든 문헌에서 보고되지 않았다. 2.11번 항목(funding)은 검토를 지원한 기본 자금의 출처를 명시하라고 하는데 25번 항목(support)은 자금의 출처와 더불어 검토에서 후원자의 역할까지 설명할 것을 요구한다. 16편의 문헌 모두 자금의 출처만 명시하고 검토에서의 후원자의 역할을 설명하지 않았는데 검토에서 후원자의 역할을 설명하지 않는 경우 연구 과정이나 결과에 후원자의 의도가 개입되어 결과의 신뢰도를 저하시킬 수 있으므로 주의해야 한다.

2.12번 항목(registration)과 24a-c번 항목(registration and protocol)은 모든 문헌에서 보고되지 않았는데, 기존의 대한예방한의학회지에 대한 연구17), 대한한방소아과학회지에 대한 연구18), 대한한방부인과학회지에 대한 연구19)에서도 PRISMA 2009의 5번 항목(protocol and registration)을 보고한 문헌은 없었다. 체계적 문헌고찰을 수행하기 이전에 The International Prospective Register of Systematic Reviews (PROSPERO), Open Science Framework (OSF)와 같은 레지스트리에 프로토콜을 등록하면 중복연구를 방지하여 연구 역량의 낭비를 줄이고, 방법론의 사전 결정 사실을 알려 연구의 신뢰도를 높이며, 공통 관심사를 가진 연구자 간의 협력 가능성을 열 수 있다67). 따라서 체계적 문헌고찰의 프로토콜 등록을 통해 연구의 질을 향상시키기 위한 한의계 전체의 관심과 노력이 필요하다.

이외에 PRISMA 2020에서 수정, 보완된 7번, 8번, 13번, 16번, 20번 항목들의 보고 양상은 다음과 같다.

7번 항목(search strategy)은 3편30,50,53)의 문헌에서 보고되지 않았다. PRISMA 2020에서는 하나가 아닌 모든 데이터베이스에 대해 각각의 검색 전략을 보고할 것을 요구하는데 3편의 문헌에서는 일부 데이터베이스에 대한 검색 전략을 누락하였다. 연구자는 검색을 진행한 데이터베이스 각각에 부합하는 전략을 모두 명시하여 독자가 관련 연구들을 효과적으로 검색할 수 있도록 해야 한다.

8번 항목(selection process)은 11편의 문헌에서 보고되지 않았다. 포함된 모든 체계적 문헌고찰에서 문헌 선정 과정을 제시했지만 11편의 문헌에서는 검토자의 수나 독립 작업 여부를 다루지 않았다. 문헌 선정과 관련하여 검토자의 수나 독립 작업 여부를 명시하는 것은 PRISMA 2020에서 새롭게 수정된 내용인데 문헌 선정의 정확도와 밀접한 관련이 있으므로 위 항목을 철저히 준수하는 것이 마땅하다.

13f번 항목(synthesis methods)과 20d번 항목(results of syntheses)은 모든 문헌에서 보고되지 않았다. 민감도 분석(sensitivity analysis)은 임상 시험에서 가정을 변경하였을 때 결론이 달라지는 정도를 평가하는 방법인데 민감도 분석을 수행한 후에도 1차 분석의 결과값과 유사한 경우 연구 결과에 강건함(robustness)이 있다고 판단한다68). PRISMA 2009에서는 16번(additional analyses) 항목에서 추가적으로 수행할 수 있는 분석의 한 예로 민감도 분석을 제시하였는데 PRISMA 2020에서는 민감도 분석을 13f, 20d번 항목에서 보고하도록 수정하였다. 민감도 분석의 수행은 결론의 신뢰도에 관여하는 중요한 요소이므로 향후 게재되는 체계적 문헌고찰은 민감도 분석을 포함하여 보고의 질을 향상시킬 것을 권장한다.

16b번 항목(study selection)은 모든 문헌에서 보고되지 않았다. 16b번 항목에서 언급하는 ‘포함 기준을 충족하는 것처럼 보이지만 제외된 연구’는 제목, 초록을 확인한 후 포함되었으나 본문을 검토하는 과정에서 제외된 문헌으로 정의하였다. 선정된 모든 문헌에서 제외된 이유를 설명하였지만 제외된 연구를 인용한 문헌은 없었다. 연구 선정 과정에서 제외된 연구를 인용하여야 독자가 해당 연구를 확인하면서 제외된 이유가 적절한지 판단할 수 있으므로 제외된 연구를 인용하는 것은 체계적 문헌고찰의 신뢰도를 높이는 데에 중요한 요소이다.

PRISMA 2020에 적용된 수정, 보완 사항들은 PRISMA 2009 출판 이후에 점검표를 이용하여 체계적 문헌고찰을 평가하면서 축적된 지견들이 반영된 것이다. 따라서 주요 변경 사항들을 고려하여 더욱 정교하게 평가하고, 향후 평가 과정에서 추가적으로 개선할 사항들을 반영하기 위해 피드백을 제공하는 것이 필요하다.

PRISMA 2020에서 새롭게 추가된 항목들의 보고 양상은 다음과 같다.

15번 항목(certainty assessment), 22번 항목(certainty of evidence)은 모든 문헌에서 보고되지 않았다. Grading of Recommendations, Assessment, Development and Evaluations (GRADE)는 비뚤림 위험, 불일치, 근거의 간접성, 부정확성, 출판 비뚤림의 영역을 기준으로 근거 수준을 높은 수준에서 매우 낮은 수준까지 평가하는 도구69)로 PRISMA 2020에서 새롭게 추가된 15번, 22번 항목에서 사용을 권장한다. 그러나 아직까지 한방재활의학과학회지의 체계적 문헌고찰에서 GRADE를 이용하여 체계적 문헌고찰의 근거 수준을 평가한 사례는 없다. 향후 게재되는 체계적 문헌고찰은 결과의 근거 수준을 제시하여 연구의 신뢰도를 높이고 독자로 하여금 비뚤림 위험이나 불일치의 가능성을 판단하도록 하는 것이 필요하다.

26번 항목(competing interests)은 모든 문헌에서 보고되지 않았다. 이해 상충은 저자가 연구 과정에서의 정보 해석이나 판단에 영향을 끼칠 수 있는 이해관계에 있는 상황70)으로 이를 명시하지 않는 경우 연구 결과에 대한 신뢰도를 저하시킬 수 있다. 향후 한방재활의학과학회지에 게재되는 체계적 문헌고찰에서는 저자의 이해 상충을 명시하여 연구 과정 및 결과에 영향을 미칠 수 있는 요소들을 투명하게 하는 것이 중요하다.

27번 항목(availability of data, code and other materials)은 모든 문헌에서 보고되지 않았다. PRISMA 2020에서 새롭게 추가된 27번 항목은 데이터, 분석 코드 및 기타 자료를 공개된 플랫폼이나 저장소에 업로드하여 독자들이 관련 자료에 쉽게 접근할 수 있도록 요구한다. 그러나 한방재활의학과학회지를 포함한 국내 한의학 연구 분야에서는 아직 공개된 플랫폼에 관련 자료를 업로드하는 여건이 조성되지 않았다. 공개 플랫폼에 업로드된 자료는 대상 연구의 이해를 용이하게 하며 이를 근거로 추가적인 연구를 진행하는 계기를 마련할 수 있다는 점에서 의미가 크다고 생각한다.

PRISMA 2020에서 신설된 항목들은 모든 문헌에서 보고되지 않았는데 PRISMA 2009 이후 연구 과정에서 중요성이 부각된 평가 도구, 자료 공유 방식이나 해석, 판단에 영향을 끼칠 수 있는 요소가 연구자들에게 충분히 인식되지 않은 점에 기인한다고 생각한다. 따라서 한방재활의학과학회 차원의 PRISMA 2020 지침 보급과 체계적 문헌고찰의 방법론, 최근 동향에 대한 교육을 통해 우수한 질의 체계적 문헌고찰의 출판을 독려하는 것이 필요하다.

Hwang 등의 연구59)는 신속 체계적 문헌고찰의 형태로 진행되었다. 신속 체계적 문헌고찰은 대개 정책결정자의 필요성에 의해 신속하게 진행하거나 연구의 일부 과정을 생략하여 4~16주 이내에 완료하는 체계적 문헌고찰의 방식이다71). 연구 과정의 간소화가 타당도에 영향을 미칠 수 있지만 상황에 따라 적절히 근거를 제공하는 방법이 될 수 있으므로 고려할 가치가 있다. 위 연구를 PRISMA 2020 지침으로 평가하였을 때 초록에서 11개 항목 중 4개(36.4%), 초록을 제외한 본문에서 28개 항목 중 19개(67.9%)를 보고하여 초록에 대해 보고된 항목 수는 중간값(45.5%) 이하였지만 초록을 제외한 본문에 대해 보고된 항목 수는 오히려 중간값(47.6%) 이상이었다.

본 연구는 다음과 같은 한계점이 있다. 첫째, PRISMA 2020은 2021년 3월 29일에 출판되었는데 한방재활의학과학회지에 2022년 1월까지 게재된 39편의 체계적 문헌고찰 중 33편(84.6%)이 PRISMA 2020 이전에 게재되어 지침의 내용을 충분히 반영할 수 없었다. 둘째, PRISMA 2020 한국어판이 아직 마련되지 않아 원문을 자체적으로 번역하여 평가를 진행하였다. 그러나 한의학 분야에서 최초로 PRISMA 2020으로 체계적 문헌고찰의 질 평가를 시도하였고, 향후 발표될 체계적 문헌고찰에서 참고할 방향을 제안한다는 점에서 의미가 있다고 생각한다. 추후 한방재활의학과학회지에 게재되는 체계적 문헌고찰의 근거 수준과 질을 향상하기 위해서는 PRISMA 2020에 따라 연구를 수행해야 할 것이다.

결론»»»

본 연구는 한방재활의학과학회지에 1991년부터 2022년 1월까지 출판된 체계적 문헌고찰 39편을 대상으로 PRISMA 2020에 근거한 보고의 질 평가를 시행하여 다음과 같은 결론을 얻었다.

  • 체계적 문헌고찰별로 보고율을 평가한 결과, 초록에 대해 ‘H’로 평가된 문헌은 2편(5.1%)이었고, ‘M’으로 평가된 문헌은 11편(28.2%)이었으며, ‘L’로 평가된 문헌은 26편(66.7%)이었다. 초록을 제외한 본문에 대해 ‘H’로 평가된 문헌은 없었고, ‘M’로 평가된 문헌은 14편(35.9%)이었으며, ‘L’로 평가된 문헌은 25편(64.1%)이었다.

  • PRISMA 2020 세부 항목별 보고율을 평가한 결과, 초록의 12개 항목에 대해 평균 5.26개(43.8%) 항목을 보고하였고, 본문의 41개 항목에 대해 평균 18.3개(44.6%) 항목을 보고하였다.

  • 초록에 대한 점검표에서 2.12번 항목(registration)과 본문에 대한 점검표에서 13f번 항목(synthesis methods), 15번 항목(certainty assessment), 16b번 항목(study selection), 20d번 항목(results of syntheses), 22번 항목(certainty of evidence), 24a~c번 항목(registration and protocol), 25번 항목(support), 26번 항목(competing interests), 27번 항목(availability of data, code and other materials)은 모든 문헌에서 누락되었다.

  • 한방재활의학과학회지에 게재되는 체계적 문헌고찰의 질을 향상시키기 위해 향후 수행되는 체계적 문헌고찰에서 PRISMA 2020 점검표에서 보고가 누락되거나 보고율이 낮은 항목을 보완하고, 관련 연구자들에게 PRISMA 2020을 준수하여 보고의 질이 높은 체계적 문헌고찰을 수행하도록 권장할 필요가 있다.

Appendix
Appendix.pdf
References
  1. Mulrow CD. Rationale for systematic reviews. BMJ. 1994;309(6954):597-9.
    Pubmed KoreaMed CrossRef
  2. Gurevitch J, Koricheva J, Nakagawa S, Stewart G. Meta-analysis and the science of research synthesis. Nature. 2018;555(7695):175-82.
    Pubmed CrossRef
  3. Gough D, Thomas J, Oliver S. Clarifying differences between reviews within evidence ecosystems. Syst Rev. 2019;8(1):170.
    Pubmed KoreaMed CrossRef
  4. Pussegoda K, Turner L, Garritty C, Mayhew A, Skidmore B, Stevens A, Boutron I, Sarkis-Onofre R, Bjerre LM, Hróbjartsson A, Altman DG, Moher D. Systematic review adherence to methodological or reporting quality. Syst Rev. 2017;6(1):131.
    Pubmed KoreaMed CrossRef
  5. Moher D. Reporting guidelines: doing better for readers. BMC Med. 2018;16(1):233.
    Pubmed KoreaMed CrossRef
  6. Moher D, Tetzlaff J, Tricco AC, Sampson M, Altman DG. Epidemiology and reporting characteristics of systematic reviews. PLoS Med. 2007;4(3):e78.
    Pubmed KoreaMed CrossRef
  7. McKenzie JE, Brennan SE, Ryan RE, Thomson HJ, Johnston RV. Cochrane handbook for systematic reviews of interventions. Chichester:John Wiley&Sons. 2019:229-40.
    CrossRef
  8. Higgins JPT, López-López JA, Becker BJ, Davies SR, Dawson S, Grimshaw JM, McGuinness LA, Moore THM, Rehfuess EA, Thomas J, Caldwell DM. Synthesising quantitative evidence in systematic reviews of complex health interventions. BMJ Glob Health. 2019;4(Suppl 1):e000858.
    Pubmed KoreaMed CrossRef
  9. Campbell M, McKenzie JE, Sowden A, Katikireddi SV, Brennan SE, Ellis S, Hartmann-Boyce J, Ryan R, Shepperd S, Thomas J, Welch V, Thomson H. Synthesis without meta-analysis (SWiM) in systematic reviews: reporting guideline. BMJ. 2020;368:l6890.
    Pubmed KoreaMed CrossRef
  10. Sterne JAC, Savović J, Page MJ, Elbers RG, Blencowe NS, Boutron I, Cates CJ, Cheng HY, Corbett MS, Eldridge SM, Emberson JR, Hernán MA, Hopewell S, Hróbjartsson A, Junqueira DR, Jüni P, Kirkham JJ, Lasserson T, Li T, McAleenan A, Reeves BC, Shepperd S, Shrier I, Stewart LA, Tilling K, White IR, Whiting PF, Higgins JPT. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ. 2019;366:l4898.
    Pubmed CrossRef
  11. Sterne JA, Hernán MA, Reeves BC, Savović J, Berkman ND, Viswanathan M, Henry D, Altman DG, Ansari MT, Boutron I, Carpenter JR, Chan AW, Churchill R, Deeks JJ, Hróbjartsson A, Kirkham J, Jüni P, Loke YK, Pigott TD, Ramsay CR, Regidor D, Rothstein HR, Sandhu L, Santaguida PL, Schünemann HJ, Shea B, Shrier I, Tugwell P, Turner L, Valentine JC, Waddington H, Waters E, Wells GA, Whiting PF, Higgins JP. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ. 2016;355:i4919.
    Pubmed KoreaMed CrossRef
  12. Whiting P, Savović J, Higgins JP, Caldwell DM, Reeves BC, Shea B, Davies P, Kleijnen J; Churchill R; ROBIS Group. ROBIS: a new tool to assess risk of bias in systematic reviews was developed. J Clin Epidemiol. 2016;69:225-34.
    Pubmed KoreaMed CrossRef
  13. Shea BJ, Reeves BC, Wells G, Thuku M, Hamel C, Moran J, Moher D, Tugwell P, Welch V, Kristjansson E, Henry DA. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ. 2017;358:j4008.
    Pubmed KoreaMed CrossRef
  14. Booth A, Clarke M, Dooley G, Ghersi D, Moher D, Petticrew M, Stewart L. The nuts and bolts of PROSPERO: an international prospective register of systematic reviews. Syst Rev. 2012;1:2.
    Pubmed KoreaMed CrossRef
  15. Moher D, Stewart L, Shekelle P. Establishing a new journal for systematic review products. Syst Rev. 2012;1:1.
    Pubmed KoreaMed CrossRef
  16. Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, Shamseer L, Tetzlaff JM, Akl EA, Brennan SE, Chou R, Glanville J, Grimshaw JM, Hróbjartsson A, Lalu MM, Li T, Loder EW, Mayo-Wilson E, McDonald S, McGuinness LA, Stewart LA, Thomas J, Tricco AC, Welch VA, Whiting P, Moher D. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. J Clin Epidemiol. 2021;134:178-89.
    Pubmed CrossRef
  17. Song EH, Park SJ, Lin A, Kim KH, Jun JH, Lee MS. Methodological and reporting quality of systematic reviews published in Journal of Society of Preventive Korean Medicine. Society of Preventive Korean Medicine. 2019;23(2):67-76.
    Pubmed KoreaMed CrossRef
  18. Shim SB, Lee JA, Lee HL. Evaluation of the reporting and methodological quality of the systematic review from the Journal of Pediatrics of Korean Medicine. The Journal of Pediatrics of Korean Medicine. 2020;34(1):26-36.
  19. Seo JH, Kang SH, Hur DH, Lee DN, Kim HJ. A methodological and reporting quality assessment of the systematic reviews in the Journal of Korean Obstetrics and Gynecology. The Journal of Oriental Gynecology. 2021;34(2):108-23.
  20. An N, Ge L, Liu YC, Xu JF, Liang L, Ma JC, Wang J, Shi XT, Tian JH. A PRISMA assessment of the reporting quality of systematic reviews or meta-analysis of interventions on diabetic nephropathy. Abstracts of the 21st Cochrane Colloquium. 2013:19-23.
  21. Do SR, Lee SJ, Park JS, Park TY, Lee JH, Cho JH, Hwang EH, Kim KJ, Choi MY, Song YK. Effects of acupuncture after rotator cuff surgery: a systematic review. J Korean Med Rehabil. 2021;31(4):25-34.
    CrossRef
  22. Do SR, Lee SJ, Park JS, Park TY, Lee JH, Cho JH, Hwang EH, Kim KJ, Choi MY, Song YK. Effects of herbal medicine after total knee arthroplasty: a systematic review and meta-analysis. J Korean Med Rehabil. 2021;31(4):35-47.
    CrossRef
  23. Park SM, Jung SU, Park JH, Do HJ, Cho SW. Systematic review and meta-analysis on acupotomy for piriformis muscle syndrome. J Korean Med Rehabil. 2021;31(2):25-40.
    CrossRef
  24. Chung IC, Kim YE, Ahn JH, Han IS, Park IH, Cha YY. Chuna manual therapy for lymphedema: a systematic review and meta-analysis. J Korean Med Rehabil. 2021;31(2):15-24.
    CrossRef
  25. Kim YE, Chung IC, Cha YY, Han IS, Park IH. Electro-acupuncture for cervical vertigo: a systematic review and meta-analysis. J Korean Med Rehabil. 2021;31(1):109-18.
    CrossRef
  26. Jerng UM. Effectiveness of exercise after lung cancer surgery: a systematic review in PubMed database. J Korean Med Rehabil. 2021;31(1):149-63.
    CrossRef
  27. Hong SM, Ha HJ, Yoon KS. Chuna manual therapy for spondylolisthesis: a systematic review and meta-analysis. J Korean Med Rehabil. 2020;30(4):65-77.
    CrossRef
  28. Oh EM, Hong SM, Kim HG, Lee EJ. Electoacupuncture for patients undergoing hip arthroplasty: a systematic review and meta-analysis. J Korean Med Rehabil. 2020;30(4):105-17.
    CrossRef
  29. Oh EM, Lee EJ. The effect of Chuna manual therapy for shoulder pain in hemiplegic patients after stroke: a systematic review and meta-analysis. J Korean Med Rehabil. 2020;30(3):89-101.
    CrossRef
  30. Yoon YJ, Kim SJ, Cho JH, Kim KW, Song MY. Effect of acupuncture on sciatica in rat models: systematic review and meta-analysis. J Korean Med Rehabil. 2020;30(1):79-93.
    CrossRef
  31. Han SH, Lee GE, Byun DY, Kim YI, Kim MK, Min BK, Lim HB, Jeong YJ, Oh MS. A systematic review of moxibustion for frozen shoulder. J Korean Med Rehabil. 2019;29(3):35-49.
    CrossRef
  32. Oh TY, Kim YH, Oh EM, Hong SM, Ha HJ, Lee EJ, Oh MS. A systematic review and meta-analysis of herbal medicine for frozen shoulder. J Korean Med Rehabil. 2019;29(3):15-33.
    CrossRef
  33. Shin SH, Min KJ, Kim EB, Ha WB, Ko YS. Chuna manual therapy alone for cervicogenic dizziness: a systematic review. J Korean Med Rehabil. 2019;29(1):1-6.
    CrossRef
  34. Gu JH, Li YC, Jo DC, Lee EJ. A systematic review of bee venom acupuncture for ankle sprain. J Korean Med Rehabil. 2018;28(3):55-66.
    CrossRef
  35. Kim YJ, Kim TR, Woo CH, Shin BC. Acupuncture for upper extremity peripheral nerve injury: a systematic review. J Korean Med Rehabil. 2018;28(2):73-82.
    CrossRef
  36. Kim MK, Seo HR, Ha HJ, O TY, Jeon DH, Li YC, Lee JE, Lee EJ, Oh MS. Systematic review of soyeom pharmacopuncture therapy for pain. J Korean Med Rehabil. 2017;27(3):95-105.
    CrossRef
  37. Gu JH, Kim ES, Park YC, Jung IC, Lee EJ. A systematic review of bee venom acupuncture for knee osteoarthritis. J Korean Med Rehabil. 2017;27(3):47-60.
    CrossRef
  38. Seo HR, Li YC, Lee JE, Kim MK. Chuna manual therapy for primary dysmenorrhea: a systematic review. J Korean Med Rehabil. 2017;27(3):81-93.
    CrossRef
  39. Bae DR, Cho HJ, Kim HN, Hwang EH. Chuna manual therapy for temporomandibular joint disorder: systematic review. J Korean Med Rehabil. 2017;27(3):71-9.
    CrossRef
  40. Heo I, Kim CY, Hwang EH. Chuna manual therapy combined acupuncture for trigeminal neuralgia: a systematic review. J Korean Med Rehabil. 2016;26(4):37-44.
    CrossRef
  41. Han KS, Lee MJ, Kim HJ. Systematic review on herbal treatment for obesity in adults. J Korean Med Rehabil. 2016;26(4):23-35.
    CrossRef
  42. Heo I, Hwang MS, Shin BC, Heo KH, Kim BJ, Kim KB, Cheon JH, Park JH, Hwang EH. Review articles: Chuna manual therapy for nocturnal crying; a systematic review. J Korean Med Rehabil. 2015;25(3):51-7.
    CrossRef
  43. Yi WS, Kim SS. Review article: reporting of adverse events in randomized controlled trials of bee venom acupuncture: a systematic review. J Korean Med Rehabil. 2014;24(4):97-109.
  44. Heo I, Kim BJ, Lee SH, Kim HT, Park HJ, Park SY, Hwang MS, Shin BC, Hwang EH. Extracorporeal shock wave therapy with meridian and acupoint theory for knee osteoarthritis: systematic review. J Korean Med Rehabil. 2021;31(2):41-8.
    CrossRef
  45. Lee SJ, Shin BC, Song GS, Hwang EH, Yun YJ. A systematic review of the effectiveness of eastern-western integrative medicine for musculoskeletal disorders. J Korean Med Rehabil. 2011;21(4):87-96.
  46. Choi HM, Han SY, Hwang DR, Kang JH. Acupuncture treatment for rotator cuff disorder: a systematic review. J Korean Med Rehabil. 2018;28(4):11-20.
    CrossRef
  47. Chang SJ, Lee MJ, Kim HJ. Systematic review on traditional chinese herbal medicine treatment for antibiotic associated diarrhea. J Korean Med Rehabil. 2017;27(4):85-96.
    CrossRef
  48. Ha HJ, Oh MS. A systemic review of Korean medical treatment combined with continuous passive motion therapy on the knee joint postoperative rehabilitation. J Korean Med Rehabil. 2017;27(3):33-45.
    CrossRef
  49. Choi JM, Jeon SH, Lim YH, Jung MJ, Kim SJ. A systematic review of acupuncture treatment for thromboangiitis obliterans. J Korean Med Rehabil. 2022;32(1):37-49.
    CrossRef
  50. Sagong HS, Kim HT, Heo I, Shin BC. Randomized controlled trials of acupuncture for healthy volunteers in Korea: a systematic review. J Korean Med Rehabil. 2021;31(1):137-47.
    CrossRef
  51. Oh SJ, Ha HJ, Gu JH, Park YC, Oh MS, Jung IC, Lee EJ. The effect of herbal medicine on rheumatoid arthritis animal model: a systematic review of animal experiment studies published in Korea and Overseas. J Korean Med Rehabil. 2020;30(3):103-16.
    CrossRef
  52. Kim JH, Yoon YS, Lee WJ, Ko HJ, Kim SJ. A systematic review of herbal medicine treatment for knee osteoarthritis. J Korean Med Rehabil. 2019;29(4):47-60.
    CrossRef
  53. Won JY, Jeon CH, Song HJ, Jeong JW, Kim TG, Kim HH, Leem JT. The effect of orally administered herbal medicines in collagen, LPS, CFA induced rheumatoid like arthritis animal model: a systematic review of animal study articles published in Korea after 2008. J Korean Med Rehabil. 2017;27(4):33-53.
    CrossRef
  54. Lee JE, Lee CH, Lee EJ, Lee JM, Oh MS. Systematic review of bee venom therapy for traumatic injury. J Korean Med Rehabil. 2016;26(3):67-77.
    CrossRef
  55. Heo I, Lee HY, Hwang MS, Shin BC, Heo KH, Hwang EH. Review article: systematic review of external Qigong therapy for joint pain. J Korean Med Rehabil. 2014;24(4):187-93.
  56. Huh G, Nam DJ, Lee HE, Choi BM, Lee JM, Lee EJ, Oh MS. Systematic review of high frequency of acupuncture point and self exercise therapy for lower back pain. J Korean Med Rehabil. 2013;23(4):59-71.
  57. Kook KH, Lee EJ, Oh MS. Domestic clinical studies related to the exercise program targeting farmers: a systematic review. J Korean Med Rehabil. 2011;21(4):77-86.
  58. Park JH, Nam JK, Kwon DH, Kim HJ, Lee MJ. Systematic review of randomized controlled trials on herbal medicine for treatment of human obesity. J Korean Med Rehabil. 2009;19(3):33-46.
  59. Hwang EH, Heo KH, Lee GS. Effect of Tai Chi as therapeutic exercise on blood pressure: rapid systematic review. J Korean Med Rehabil. 2013;23(1):101-13.
  60. Ahn EJ, Kang H. Introduction to systematic review and meta-analysis. Korean J Anesthesiol. 2018;71(2):103-12.
    Pubmed KoreaMed CrossRef
  61. Gopalakrishnan S, Ganeshkumar P. Systematic reviews and meta-analysis: understanding the best evidence in primary healthcare. J Family Med Prim Care. 2013;2(1):9-14.
    Pubmed KoreaMed CrossRef
  62. Lee YH. An overview of meta-analysis for clinicians. Korean J Intern Med. 2018;33(2):277-83.
    Pubmed KoreaMed CrossRef
  63. Chalmers I, Glasziou P. Avoidable waste in the production and reporting of research evidence. Lancet. 2009;374(9683):86-9.
    Pubmed CrossRef
  64. Moher D, Liberati A, Tetzlaff J, Altman DG; PRISMA Group. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. PLoS Med. 2009;6(7):e1000097.
    Pubmed KoreaMed CrossRef
  65. Alspach JG. Writing for publication 101: why the abstract is so important. Crit Care Nurse. 2017;37(4):12-5.
    Pubmed CrossRef
  66. Dworkin SL. Sample size policy for qualitative studies using in-depth interviews. Arch Sex Behav. 2012;41(6):1319-20.
    Pubmed CrossRef
  67. Tawfik GM, Giang HTN, Ghozy S, Altibi AM, Kandil H, Le HH, Eid PS, Radwan I, Makram OM, Hien TTT, Sherif M, Hossain AS, Thang TLL, Puljak L, Salem H, Numair T, Moji K, Huy NT. Protocol registration issues of systematic review and meta-analysis studies: a survey of global researchers. BMC Med Res Methodol. 2020;20(1):213.
    Pubmed KoreaMed CrossRef
  68. Thabane L, Mbuagbaw L, Zhang S, Samaan Z, Marcucci M, Ye C, Thabane M, Giangregorio L, Dennis B, Kosa D, Borg Debono V, Dillenburg R, Fruci V, Bawor M, Lee J, Wells G, Goldsmith CH. A tutorial on sensitivity analyses in clinical trials: the what, why, when and how. BMC Med Res Methodol. 2013;13:92.
    Pubmed KoreaMed CrossRef
  69. Kirmayr M, Quilodrán C, Valente B, Loezar C, Garegnani L, Franco JVA. The GRADE approach, Part 1: how to assess the certainty of the evidence. Medwave. 2021;21(2):e8109.
    Pubmed CrossRef
  70. National Academy of Sciences, National Academy of Engineering (US), Institute of Medicine (US) Committee on Science, Engineering, and Public Policy. On being a scientist: a guide to responsible conduct in research. 3rd ed. Washington (DC):National Academies Press (US). 2009:62-6.
    CrossRef
  71. Kim SY, Park DA, Seo HJ, Shin SS, Lee SJ, Lee M, Jang BH, Cha YJ, Choi IS, Park KI. Health technology assessment methodology: systematic review. 1st ed. Seoul:National Evidence-based Healthcare Collaborating Agency. 2020.
    CrossRef


July 2022, 32 (3)

Cited By Articles
  • CrossRef (0)

  • Crossref TDM
  • CrossMark
  • orcid