search for




 

J Korean Med Rehabi 2023 Jul; 33(3): 135-148  https://doi.org/10.18325/jkmr.2023.33.3.135
Effectiveness of Acupuncture in the Treatment of Post-Disaster Musculoskeletal Pain: A Systematic Review
Published online July 31, 2023
Copyright © 2023 The Society of Korean Medicine Rehabilitation.

Ka-Hyun Kim, K.M.D.*, Sung-Won Choi, K.M.D.*, Hae-Won Hong, K.M.D., Ju-Young Yoon, K.M.D.*, Yong-Jun Kim, K.M.D.*, Jung-Hyun Kim, K.M.D.*

Departments of Korean Medicine Rehabilitation*, Acupuncture and Moxibustion Medicine, Daejeon Jaseng Hospital of Korean Medicine
Correspondence to: Ka-Hyun Kim, Department of Korean Medicine Rehabilitation, Daejeon Jaseng Hospital of Korean Medicine, 58 Munjeong-ro 48beon-gil, Seo-gu, Daejeon 35262, Korea
TEL (042) 1577-0007
FAX (042) 610-0538
E-mail popyo029@gmail.com
Received: June 20, 2023; Revised: July 5, 2023; Accepted: July 20, 2023
Abstract
Objectives To investigate the effectiveness of acupuncture in the treatment of post-disaster musculoskeletal pain by reviewing relevant clinical studies.
Methods A systematic search was conducted across 10 electronic databases to identify relevant clinical studies on acupuncture treatment for post-disaster musculoskeletal pain until May 2023. The methodological quality was evaluated using the Cochrane Risk of Bias 2 and Risk of Bias Assessment tool for non-randomized studies tools.
Results Six articles were analyzed, including two randomized controlled trials (RCTs), two before-after studies, one qualitative research, and one case series. Overall, acupuncture therapy showed some improvement in pain scale among musculoskeletal pain survivors. However, no significant improvement was observed in the Short-Form McGill Pain Questionnaire (SF-MPQ-2). Subgroup analysis of participants who completed at least four acupuncture sessions revealed a significant effect on the SFMPQ-2. Additionally, a significant improvement in 36-Item Short Form Survey (SF-36P) was observed after 6 months of treatment, but the 2-month treatment period did not show statistically significant effects on SF-36P improvement. The evaluation of the methodological quality of the RCTs identified some concerns of bias.
Conclusions The results suggest that acupuncture is effective in alleviating post-disaster musculoskeletal pain. However, considering the limited number of selected studies and the inclusion of subjective evaluation measures, caution should be exercised in interpreting the results. Further large-scale follow-up studies are needed to determine the optimal frequency and duration of acupuncture treatment. Well-designed controlled trials should be conducted to provide more robust evidence regarding the effectiveness of acupuncture for post-disaster musculoskeletal pain.
Keywords : Disaster medicine, Musculoskeletal pain, Acupuncture
서론»»»

재난이란 자연적 또는 인위적 원인에 의해 지역 사회의 자원 한계를 초과하는 갑작스러운 사건1)을 말하며, 의학적 측면에서는 의료자원 부족으로 인해 많은 환자가 발생하는 상황을 의미한다2). 국내에서는 2022년 태풍 힌남노, 2017년 포항 지진, 2014년 경주 지진 및 세월호 사고를 겪으며 재난에 대한 관심이 높아지고 있다.

재난 상황에서 생존자들은 재난의 발생 혹은 대피 중에 겪는 뇌손상, 골절, 압궤손상 등의 신체적 부상을 겪을 수 있다3). 또한 재난으로 인한 스트레스는 생존자들의 통증을 더 심화시킬 수 있으며, 이는 죽음의 두려움, 수면부족, 주거 손실 등으로 인한 심리적 요인과 관련이 있다4). 생존자들은 스트레스로 인한 심리적 갈등을 신체적인 증상으로 표출할 수 있으며5), 이는 소화기, 근골격계 등 다양한 신체 증상을 유발한다6). 특히, 외상 후 스트레스 장애(post-traumatic stress disorder, PTSD)로 인한 근골격계 통증이 재난 후 가장 흔하게 나타나는 현상이다6). 이에 대해 많은 연구는 생존자들이 감정적 고통에서 비롯된 통증을 신체적 외상으로 오인하는 경향이 있음을 밝히고 있다7,8).

재난 후 발생하는 근골격계 통증은 생존자들에게 지속적인 문제가 될 수 있으며, 일상생활과 삶의 질에 부정적인 영향을 미치며 사회경제적 비용도 증가시킬 수 있다9). 이에 대한 연구는 제한적이지만, 다수의 생존자들은 재난 발생 후 지속적이고 만성적인 근골격계 통증을 경험하고 있다10). 2009년 라킬라 지진 이후 958명의 생존자 중 35%가 재난발생 2~4주 후에 지속적인 근골격계 통증을 호소했으며11), 2011년 동일본 지진의 71명의 생존자 중 62% 역시 지진 발생 18개월 후에 허리와 사지의 만성통증을 호소하였다12). 또한 외상 후 골절, 타박, 염좌로 발생하는 근골격계 통증은 생존자들이 재난 직후 가장 많이 경험하는 급성 통증이다11).

재난 후 발생하는 통증에는 주로 약물치료와 심리적 중재가 활용된다. 약물치료에는 비스테로이드성 항염증제(non-steroidal antiinflammatory drug, NSAID)와 아세트아미노펜이 일반적이며, 아편유사제는 증상이 심한 경우에 권고된다11). 하지만 아편유사제는 장기 사용 시 중독, 신체의존, 내성 같은 부작용이 생길 수 있다13). 또한 대규모 재난 생존자의 응급상황에서는 아편유사제 공포증(opiophobia)으로 통증치료가 부적절하게 시행되어 진통결핍(oligoanalgesia)이 발생할 수 있다14). 심리적 중재는 재난 상황을 다시 경험해야 한다는 단점이 있다. 환자가 동시에 통증, 불면, 피로, 인지장애 등 다양한 증상을 호소하는 경우 기존 중재는 단일 질환치료만을 위해 설계되어 복합 증상을 고려하지 않는 한계가 있다. 그러므로 재난현장에서 활용 가능한 효과적이며 안전한 중재법이 필요하다.

침치료는 부작용이 적고 시술이 간편한 비약물 치료법이다. 통증 개선에도 유효하다15)고 이미 알려져 있으며 통증뿐만 아니라 PTSD16)나 불안장애17) 같은 심리적 증상을 치료하는 데도 유효하다는 연구 결과가 있다. 재난 후 트라우마에서 비롯된 정신장애의 치료에 이침이 유효하고 안전하다는 연구 결과18), 포항 대지진 후 발생한 트라우마 상황에 이침치료를 한 연구19), 자연재난 피해자 경험에 대한 국내 질적 연구의 체계적 문헌고찰을 한 연구20)가 있지만 재난 후 근골격계 통증에 대한 침치료의 효과를 알아보기 위한 연구는 아직 발표된 바가 없다. 이에 본 연구는 재난 후 발생하는 심리증상을 동반한 근골격계 통증의 완화에 침치료가 유의한 효과가 있는지 체계적 문헌고찰을 통하여 알아보고자 하였다.

대상 및 방법»»»

1. 데이터베이스 선택 및 검색

총 10개의 국내외 데이터베이스를 이용하였으며 2023년 5월까지 국내외 학술지에 발표된 논문을 대상으로 하였다(initial search date: May 1, 2023; update search date: May 30, 2023); 3개의 영어 데이터베이스(Medline/PubMed, Cochrane Library, EMBASE), 5개의 한국어 데이터베이스(Oriental Medicine Advanced Searching Integrated System, Koreanstudies Information Service System, Science ON, KMbase, Korea Citation Index), 2개의 중국어 데이터베이스(China National Knowledge Infrastructure, Wanfang Data)를 선정하였다. 연구대상과 중재법을 중심으로 데이터 검색어를 설정했다.

대상자 검색어로는 국문으로는 ‘재난’, ‘재해’, ‘태풍’, ‘폭풍’, ‘홍수’, ‘해일’, ‘지진’, ‘전쟁’, ‘난민’ ‘만성통증’, ‘통증’, ‘급성통증’, 중문으로는 ‘灾后’, ‘灾害’, ‘灾难’, ‘台风’, ‘暴雨’, ‘洪水’, ‘海啸’, ‘地震’, ‘战争’, ‘流民’, ‘创伤’을 사용하였으며, 영문으로는 ‘Disaster’, ‘typhoon’, ‘flood’, ‘tsunami’, ‘earthquake’, ‘war’, ‘refugee’, ‘Pain’, ‘Musculoskeletal Pain’, ‘Pain Management’, ‘Acute pain’, ‘Chronic pain’ 등을 사용하였다. 중재법의 검색어로는 국문으로는 ‘이침’, ‘침’, ‘약침’, ‘전침’, ‘한의학’, 중문으로 ‘耳针’, ‘电针头穴’, ‘针灸治疗’, ‘药针’, ‘穴位注射’, ‘干针’, 영문은 ‘Acupuncture, Ear’, ‘acupuncture’, ‘Dry needling’, ‘Chinese Traditional Medicine’, ‘Korean medicine’, ‘TCM’, ‘Oriental Medicine’ 등을 사용하였다. 데이터베이스별로 검색 전략과 검색 결과는 Appendix에 제시하였다.

2. 자료 선정 및 배제

연구대상(participants)은 재난 상황 이후 근골격계 통증을 호소하는 모든 환자를 포함하였다. ‘재난’은 자연재난(홍수, 지진, 해일 등)과 사회재난(전쟁, 피난민) 등을 포함하였다. ‘근골격계 통증’은 심리적 증상(불안, 우울, 불면)과 함께 근골격계 통증을 호소하는 생존자들을 대상으로 하였다. 중재 유형(intervention)은 주로 침치료가 사용되었으며, 침치료에는 호침, 이침이 포함되었다. 침치료와 다른 치료를 병행한 연구도 포함하였다. 비교중재(comparison)로는 침치료만을 중재로 사용한 연구에서는 일정 기간의 무처치대기군21)(waiting list)을 대조군으로 삼았다. 침치료와 다른 치료를 병행한 연구에서는 건강교육(Gulf War Health Education, GWHE)22)이 대조군으로 선택되었다. 주요 평가항목은 통증 개선 정도와 통증으로 인해 발생하는 부가증상 및 삶의 질 개선 정도를 포함하며, 이를 측정하는 척도가 사용되었다. 연구 유형(study designs)은 모든 임상시험을 포함하였으며 무작위 배정 임상시험연구(randomized controlled trials, RCT), 전후연구(before-after studies), 질적연구 및 단신(case series)을 포함하였다.

3. 자료선별

자료의 수집과 선별은 두 명의 연구자(K-H Kim, S-W Choi)가 독립적으로 수행하였다. 논문의 1차 선별 시, 제목과 초록을 중심으로 사전평가하였다. 1차 선정 이후, 관련 논문들의 전문을 읽어 검토하여 최종 선정하였다. 두 연구자 간의 의견이 일치되지 않을 시 제 3의 연구자(H-W Hong)와의 논의를 통해 선정하였다. 검색된 문헌들은 ‘EndNote 20’ (Clarivate Analytics)을 사용하였다.

4. 자료추출

두 명의 연구자(K-H Kim, S-W Choi)가 독립적으로 정보추출과정을 수행하였으며, 추출된 정보를 이중점검하였다. 두 연구자 간의 의견이 일치되지 않을 시 제 3의 연구자(H-W Hong)와의 논의를 통해 해결하였다.

추출항목은 연구정보(연도, 출판지역, 저자, 연구 설계), 연구대상(총 대상자 수와 탈락자 수, 연구 참여자의 상세정보), 진단 기준, 중재군, 대조군, 중재군의 치료기간, 결과(평가도구, 결괏값), 그리고 이상반응이었다. 또한 침치료에 대한 구체적인 정보는 Standards for Reporting Interventions in Clinical Trials of Acupuncture (STRICTA) 지침23)에 기반하여 침법, 혈위, 유침시간, 침규격, 자입 깊이, 치료 빈도 및 횟수 등을 정리하였다.

5. 비뚤림 위험(risk of bias) 평가

두 명의 연구자(K-H Kim, S-W Choi)가 독립적으로 하기의 relevant tool을 사용하여 방법론적인 질 평가를 하였다. 두 연구자 간의 의견이 일치되지 않을 시 제 3의 연구자(J-Y Yoon)와의 논의를 통해 해결하였다.

1) For RCTs

RCT의 비뚤림 위험 평가는 Cochrane의 ‘Risk of Bias 2 (ROB 2)24)를 사용하여 평가하였으며 무작위 배정 과정, 의도한 중재로부터의 이탈, 중재 결과 자료의 결측, 중재 결과 측정, 선택적 결과보고 5가지 항목으로 구성되어 있다. 비뚤림의 위험을 ‘low’, ‘some concerns’, ‘high’로 평가하였다.

본 연구에서 무작위 연구에 대한 질 평가의 판단 근거는, ‘무작위 배정 과정’ 영역의 경우 진정한 무작위 배정이 되어 실험군과 대조군 간 통계적 차이가 없으며 배정 순서가 적절히 은폐됨으로써 연구자가 배정내용을 알 수 없는 경우, ‘의도한 중재로부터의 이탈’ 영역의 경우 연구 참여자와 연구자가 연구배정 이후 배정상태를 모르는 경우, ‘중재결과 자료의 결측’의 경우 결측치가 없거나 결측치가 있어도 결과에 영향을 미치지 않는 경우, ‘중재결과 측정’의 경우 결과평가자에 대한 눈가림이 시행된 경우, ‘선택적 결과 보고’의 경우 연구 시행 전 사전 프로토콜이 존재한 경우 낮음으로 판정하였다. 연구 전반적인 비뚤림의 평가는 high risk가 1개라도 포함되어 있으면 high risk로 평가하였고, high risk가 없으며 some concern이 1개 이상이면 some concern으로 평가하였다.

2) For 전후연구

전후연구의 비뚤림 위험 평가는 Risk of Bias Assessment tool for Non-randomized Studies (RoBANS) 도구를 이용하였다25). RoBANS에 포함된 비뚤림 영역은 대상자 비교가능성, 대상군 선정, 교란변수, 중재 측정, 평가자의 눈가림, 결과평가, 불완전한 자료, 선택적 결과 보고 등의 8가지 항목으로 구성되어 있다. 도구의 각 항목은 ‘낮음’, ‘높음’, ‘불확실’의 3단계로 평가되었다.

본 연구에서 비무작위 연구에 대한 질 평가의 판단 근거는, ‘대상자 비교가능성’ 영역의 경우 비교를 위한 선택한 두 집단이 중재를 제외하고 유사한지 여부, ‘대상군 선정’ 영역의 경우 연속적으로 대상자를 모집하고 연구설계가 전향적인 경우, ‘교란변수’ 영역은 중재 시행 후 변수를 다시 측정하는 기간이 2주 이상으로 자연경과가 주요 결과에 영향을 주어도 분석단계에서 보정이 이루어진 경우, ‘중재 측정’ 영역은 2회 이상, 다수의 연구자가 독립적으로 의무기록 등 신뢰할 수 있는 출처에서 확인하여 측정한 경우, ‘평가자에 대한 눈가림’은 결과 평가자의 눈가림이 시행되었는지 여부가 보고된 경우, ‘결과 평가’는 신뢰도와 타당도가 입증된 도구를 사용하였는지 여부, ‘불완전한 자료’ 영역은 응답률이 높거나 연구대상자의 탈락 이유가 균형이 있는 경우, ‘선택적 결과 보고’는 연구 시행 전 사전 프로토콜이 존재할 경우 높음으로 판정하였다.

결과»»»

1. 연구선정

데이터베이스 검색 결과, 중복된 37편을 제외한 뒤, 330편의 논문이 검색되었다. 제목과 초록을 검토하여 재난 이후의 근골격계 통증과 관련이 없는 논문 245편, 침치료가 주된 치료중재 방법으로 사용되지 않은 논문 66편을 일차적으로 제외하였다. 원문 전문을 찾을 수 없는 논문 13편을 추가적으로 제외한 뒤, 최종적으로 6편21,22,26-29)의 논문을 선정하였고 RCT 2편21,22), 전후연구 2편26,27), 질적연구 1편28), 단신 1편29)이 선정되었다. 단신은 침치료를 이용한 재난의학에 관한 연구였고, 128명의 연구대상자들이 논문에서 분석되었다(Fig. 1).

Fig. 1. PRISMA flow chart of the study selection process. CENTRAL: Cochrane CENTRAL, OASIS: Oriental Medicine Advanced Searching Integrated System, KISS: Koreanstudies Information Service System, RISS: Research Information Sharing Service, KCI: Korea Citation Index, CNKI: China National Knowledge Infrastructure.

2. 자료분석

1) 문헌정보, 연구대상 분석

선정된 6편의 논문들은 2012년부터 2023년까지 발표된 연구였다. 이 논문들을 국가별로 분류해보면 미국21,22,28)에서 3편, 일본27,29)에서 2편, 이탈리아26)에서 1편이 발표되었다. 생존자들은 근골격계 통증과 심리증상을 동시에 호소하였다. 미국에서 진행된 논문 중 2편21,22)은 걸프전증후군(Gulf War illness, GWI)에 관한 연구였다. GWI는 1990년대의 해외 파병 경험이 있는 군인들을 대상으로, 만성피로, 근육통, 인지 및 정서(기억력 저하, 집중력 결핍, 수면장애, 우울감) 증상과 관련된 3개의 클러스터 중 2개 이상의 증상을 호소하는 건강문제다. 난민들은 근골격계 통증, 만성두통 및 불안장애를 주로 호소하였다28). 2016년 이탈리아 Amatrice 지진으로 인한 생존자들은 근골격계 통증과 심리증상(불안장애, 우울장애, 불면)을 호소하였다26). 2011년 동일본 지진으로 인한 쓰나미와 2017년 조소성 홍수의 생존자들은 근골격계 통증(어깨, 등, 무릎)과 심리증상(불면, 식욕부진)을 호소하였다27,29).

일본의 Takayama 등29)은 침과 마사지를 중재로 사용하고 치료만족도(therapy satisfaction)를 평가하였는데, 중재 전후의 평가는 수행하지 않았다. Breneman 등22)의 연구는 마음챙김 명상(mindful meditation)과 이침치료를 GWHE에 비교했으며, Conboy 등21)의 연구는 주 2회 6개월간 침치료를 받은 실험군과 2개월간 무처치대기 이후 주1회 4개월간 침치료를 받은 대조군을 비교했다. 전후연구 2편에서는 5주 동안 4회의 침치료26), 침치료와 마사지치료27)를 중재로 사용했다. 질적연구28)에서는 침치료의 효과를 주로 다뤘다. 중재군의 평균 치료 시행기간은 2주부터 18개월까지 다양했으며, 실제 시행된 치료 횟수는 5회부터 48회까지 다양하게 나타났다(Table I).

Summary of Studies of Acupuncture for Post-Disaster Musculoskeletal Pain

Study (year) (country) Studies Sample size (included → analyzed) Mean age (yr) Sex (M:F) Population (diagnostic tool) Related disaster Treatment intervention Control intervention Duration of treatment outcome Results reported
Breneman et al.22) (2023) (America) RCT 149 (75:74) → 110 (51:59)
  • TG: 53.46 (NR)

  • CG: 55.16 (NR)

  • TG (58:17)

  • CG (62:12)

Pain Combat stress
  • AA

  • Mindfulness meditation

GWHE (Gulf War Health Education) 8 wk (8 sessions)
  • PROMIS-PI

  • SF-MPQ-2

  • p=0.01 TG: [14.55, 17.01] CG: [17.06, 19.56]

  • p>0.05

Conboy et al.21) (2016) (America) RCT 104 (52:52) → 85 (44:41)
  • TG: 48.2±9.9 (NR)

  • CG: 48.2 ±3.5 (NR)

  • TG (45:7)

  • CG (45:7)

Pain Combat stress MA 2 months waiting list 1. 6 mo (48 sessions)2. Wait list 2 mo +4 mo (16 sessions)
  • SF-36P

  • SF-MPQ-2 (McGill pain scale)

  • p=0.03 TG: [67.7, 79.8] CG: [57.1, 71.4]

  • p=0.04 TG: [23.5, 29.3] CG: [26.8, 32.0]

Moiraghi et al.26) (2019) (Italy) Before-after studies 41 58.85 41 (8:33) Pain Amatrice Earthquake (August, 2016) MA 5 wk (4 session) Verbal/numerical scale p=0.000 [1.98, 2.68]
Miwa et al.27) (2017) (Japan) Before-after studies 110 45.5±17.5 110 (65:44) Pain Joso city flood (2015) MA 6 wk (2015. 9. 19.~ 2015. 10. 23.) Median face scale score
  • JCF evacuees p<0.001 Before: [2.0, 4.0] After: [1.0, 2.0]

  • Supporters p<0.001 Before: [3.0, 4.0] After: [0.75, 1.25]

M: male, f: female, RCT: randomized controlled trials, TG: treatment group, CG: control group, NR: not reported, AA: auricular acupuncture, MA: manual acupuncture, PROMIS-PI: Patient-Reported Outcomes Measurement Information System-Pain Interference, SF-MPQ-2: Short-Form McGill Pain Questionnaire, SF-36P: Short-Form-36 physical component scale score, JCF: Joso City Flood.



3. 비뚤림 위험 평가

RCT 2편21,22)의 연구들의 비뚤림 위험 평가는 Cochrane의 ROB 2 도구를 활용하였다. 세부 연구별 비뚤림 위험은 Figs. 2, 3과 같이 나타났다.

Fig. 2. Risk of bias summary.

Fig. 3. Risk of bias graph.

전후연구 2편26,27) 모두 non-RCT로 RoBANS를 사용하여 비뚤림 위험을 평가하였다. 교란 비뚤림을 평가하는 ‘대상군 비교 가능성’은 2편 모두 비뚤림이 low risk로 나타났다. Moiraghi 등26)은 전향적 연구로 ‘대상자 선정’에서 비뚤림 low risk, Miwa 등27)의 경우는 후향적 연구이며 대상자 모집이 연속적인지 여부에 대해 언급이 없어 high risk으로 평가하였다. 2편의 연구 모두 학습 효과에 대한 교란변수에 대한 언급이 없어 비뚤림 high risk로 높게 평가하였다. 또한 2편 모두 의무기록에서 2회 이상 측정하였으며, 노출 측정의 표준화를 사용하였고, 신뢰도와 타당도가 입증된 도구를 사용하여 ‘중재 측정’과 ‘결과 평가’는 비뚤림이 low risk로 나타났다. 결과에 대한 평가자의 눈가림 여부에 대해 보고된 문헌이 없어 정보 비뚤림에 대한 위험은 평가할 수 없었다. Moiraghi 등26)의 연구는 응답률이 높고, 탈락자가 없어 ‘불완전한 결과 자료’ 문항에서 비뚤림을 low risk로 평가하였으나 Miwa 등27)의 경우 탈락률에 대한 확실한 언급이 없어 some concern으로 평가하였다. 2편 모두 선택적 결과를 보고하지 않고, Miwa 등27)의 경우 연구 시행 전 2011년 동일본 지진 및 해일로 인한 생존자를 보고하였으나 결과에 대한 보고는 하지 않아 비뚤림이 high risk로 평가되었다. 따라서 전반적으로 전후연구 문헌은 비뚤림의 위험이 있었다.

4. 근골격계 통증을 호소하는 생존자에 대한 침치료의 유효성

Breneman 등22)은 명상을 병행하는 이침치료 중재군과 GWHE를 받는 대조군을 비교했는데, Patient-Reported Outcomes Measurement Information System-Pain Interference (PROMIS-PI)에서는 중재군이 대조군보다 통계적으로 유의한 효과를 보였고(p<0.05), Short-Form McGill Pain Questionnaire (SF-MPQ-2)에서는 통계적으로 유의미한 차이를 보이지 않았다(p>0.05). 3달 이후의 추적기간에서도 결과는 동일했다. Conboy 등21)은 침치료 실험군과 2개월간의 무처치대기 이후 4개월간 침치료를 받은 대조군을 비교했는데, 치료 6개월 후 Short-Form-36 physical component scale score (SF-36P)와 McGill pain index (SF-MPQ-2)에서 모두 통계적으로 유의한 결과를 나타냈다(p<0.05). 다만 치료 2개월 후 측정한 SF-36P에서 중재군과 대조군이 통계적으로 유의미한 차이를 보이지 않았다(p>0.05). Moiraghi 등26)의 연구에서 치료를 받은 생존자들은 numerical rating scale (NRS)에서 통계적으로 유의한 결과를 보였다(p<0.05). 그들은 설문지 상에서 통증의 정도에 대해 “extremely severe”, “severe”, “moderate”, “slight”, “not at all” 항목 중 1가지를 선택해야 했다. 치료 전에는 32명 중 23명(71.9%)이 “extremely severe”와 “severe” 항목을 선택하였으나 3회 치료 이후 32명 중 20명(62.5%)이 “slight”와 “not at all”을 선택하여 호전됨을 알 수 있었다. Miwa 등27)의 연구에서 침치료 및 마사지요법을 받은 생존자와 구조요원들은 face pain rating scale (FPS)에서 모두 통계적으로 유의한 효과를 보였다(p<0.05). Highfield 등28)은 침치료를 받은 생존자들을 NRS 혹은 FPS로 평가하였고 치료기간 동안 56%의 환자들이 통증이 감소되었다고 하였다. Takayama 등29)의 연구에서 침치료와 마사지치료를 받은 생존자들은 92.3%의 치료만족도를 보였다.

5. 침치료의 안전성

3편의 연구에서 이상반응에 대해 언급하였다. 첫 번째, Conboy 등21)은 실험군에서 한 참가자는 침치료로 인한 통증을 호소하였다. 둘째, Moiraghi 등26)은 5명의 참가자들이 치료 후 발생한 혈종에 대해 말하였다고 하였으나 탈락자 없이 성공적으로 연구를 마쳤다고 하였다. 마지막으로 Miwa 등27)은 침치료와 마사지를 통해 내부출혈과 근육통이 발생하였으나 추적관찰(follow-up) 후 이상반응이 소실되었다고 하였다.

6. 중재치료 분석

중재법 사용 시 Conboy 등21)과 Highfield 등28)은 호침치료를 주치료법으로, 소염진통의 효능을 위해 필요시 보조중재로 온열, 추나, 부항 요법 등을 사용하였다. Moiraghi 등26)은 호침치료를 주된 중재로 삼되, 뜸치료는 선택된 환자들에게만 필요시 진행하였다(13/132, 9.8%). Miwa 등27)과 Takayama 등29)은 침치료와 마사지요법을 중재로 선택하였으나 마사지요법을 어떤 환자에게 실행하였는지에 대해서는 언급되어 있지 않았다. 보조중재인 추나, 부항, 뜸, 온열요법은 모든 환자들에게 동일하게 적용되지 않아 침치료를 주된 연구대상으로 하였다. 호침치료를 시행한 연구는 5편21,26-29), 이침치료를 시행한 연구는 1편22)이며 세부 내용은 Tables I, II에 나타내었다.

Standards for Reporting Interventions in Clinical Trials of Acupuncture Studies

First author (year) Treatment method Number of needle Applied point Evoked response Retained acupuncture (min) Type (mm) Depth Treatment regimen (total, frequency) Other intervention Practition clinical experience
Breneman22) (2023) AA 6 (Treatment side: bilateral) SF2, HX1, CW9, CW2-3, LO1, CW8, IH 5-6, TG4, CR2 NM 1 hr NM NM 8 (1 time/wk) Mindfulness meditation NS
Conboy21) (2016) MA 10~35 GB20, BL18, BL23, BL40, KI3, LR3, LR8 De-qi 30~45 min 0.32~38×15~50 Subcutaneous to about 25 mm 48 sessions (2 times/wk) Chinese massage, press balls, tacks or magnets 5 yr
Moiraghi26) (2019) MA NS Ex-LE5, EX-LE10 NS 20 min NS 4~15 mm (bladder channel Shu points were needled at 30° angle) 4 sessions Moxa 6 yr
Miwa27) (2017) MA NS NS NS NS NS NS NS Massage NS
Highfield28) (2012) MA 10~12 Ashi points NS NS NS NS Average 8.5 session (1 time/wk) Chinese massage, cupping 6 yr
Takayama29) (2012) MA NS NS NS NS NS NS NS Massage NS

AA: auricular acupuncture, MA: manual acupuncture, NS: not stated.



7. 대조치료 분석

대조군의 치료는 GWHE를 시행한 연구가 1편22), 일정기간 무처치를 한 연구가 1편21)이었다.

8. 평가항목

1) 1차 평가지표

재난 이후 발생하는 통증은 타당한 평가도구에 의해 측정되었는데, PROMIS-PI22), SF-MPQ-221,22), NRS26,28), FPS27,28) 등이다.

2) 2차 평가지표

2차 평가지표로는 SF-36P21), 치료만족도29)가 사용되었다.

고찰»»»

재난은 다양한 심리적, 신체적, 인지적 증상을 초래한다3). 신체적 증상 중 근골격계 통증은 외상으로 인한 부상과 심리적 증상의 조합으로 발생한다11). 재난 후 스트레스로 인한 PTSD도 근골격계 통증을 유발한다6). 이는 스트레스로 인한 심리적 갈등이 근골격계 증상으로 표출된 것으로 생각할 수 있다30). 재난 후 대피소에서의 불편한 생활환경, 힘든 신체적 작업 같은 심리사회적 요인이 신체적 취약성을 증가시키고, 신경내분비 반응을 활성화하여 통증을 발현시키는 것도 같은 맥락이다11).

기존의 재난 후 통증 치료방법인 약물 및 심리적 중재는 한 가지 개별적인 증상만을 다루는 것으로, 복합 증상을 호소하는 경우에는 치료하는 것이 어렵다22). 또한 NSAID, 진통소염제, 근이완제, 통증유발점 주사, 물리치료를 합친 통합치료를 적용한다 하더라도 만성통증은 그 원인을 확인하는 것이 어려워 치료가 어려우며31), 아편유사제와 같은 약물치료는 중독, 신체의존, 내성과 같은 부작용이 있다11). 항우울제를 통한 PTSD 관련 통증 치료도 긍정적으로 제시되고 있지만 효과 크기(effect size)가 충분하지 않다32). 또한 심리적 중재는 생존자가 힘들었던 기억을 자세히 얘기해야 하는 단점이 있다18).

본 연구에 선택된 논문은 6편이다. 체계적 문헌고찰 중 재난 후 PTSD18)와 자연재난 피해자 경험에 관한 질적연구20)에서 선택된 연구가 각각 10편인 점을 고려하면, 재난 후 증상에 대한 연구가 부족하다는 것을 알 수 있다. 선택된 문헌들은 RCT 2편, 전후연구 2편, 질적연구 1편, 단신 1편이었다. 이는 재난 상황의 특성상 전향적 연구가 힘들고, 무작위 대조군의 연구 설계를 수행하기에는 한계가 있기 때문일 것이다.

본 연구에서는 근골격계 통증과 심리증상이 동반된 생존자들을 대상으로 한 연구들을 분석하였다. 재난 상황에서 생존자들은 대피과정에서 급성 근골격계 손상을 받을 수 있다3). 또한 재난 후의 심리적 스트레스가 신체적 증상으로 나타날 수 있으며, 이 중에는 근골격계 통증이 가장 흔하게 나타난다6). Miwa 등27)의 연구에서는 생존자뿐 아니라 의료지원팀도 치료를 받았는데, 재난 생존자뿐만 아니라 재난현장의 의료지원 제공자 및 자원봉사자들도 재난기간이 길어질수록 의료지원이 필요하다는 것을 알 수 있다.

선정된 6편의 연구에서 사용된 중재는 호침이 5편21,26-29), 이침이 1편22)이었다. 호침치료는 침을 통해 기계적 자극을 가해 Aδ신경섬유를 활성화시켜 C신경섬유가 매개하는 유해자극의 반응을 억제하여 진통효과를 가져온다33). 이침치료는 최대 48시간의 진통효과를 발휘한다34). 논문에서 호침과 이침이 다용된 것은 이들이 진통효과뿐만 아니라 편리성, 경제성 면에서 높은 활용도를 가지고 있기 때문이라고 생각할 수 있다.

평가 지표로는 통증의 정도를 측정하는 SF-MPQ-2 (McGill pain scales)21,22), NRS26,28), FPS27,28)가 6편의 논문 중 각각 2편씩 사용되었다. SF-MPQ-2는 검사자가 환자에게 22개 항목에 대해 인터뷰를 통해 현재 또는 지난 1주일간의 평균적인 통증을 평가하는 신뢰성 있는 척도이다35). NRS는 통증의 강도를 0부터 10까지의 숫자로 평가하는 척도이며35), FPS는 3세 이상 소아, 의사소통장애가 있는 성인, 그리고 노인환자들이 통증을 간결하게 표현할 수 있는 타당도와 신뢰도가 검증된 척도이다36). 치료만족도29)는 통증의 완화뿐 아니라 치료 세션 동안 형성된 신뢰와 안전감으로 인한 안정감의 영향이 반영될 수 있다. 하지만 치료만족도 같은 지표는 치료 결과에 대한 환자의 주관적 인식을 반영할 수 있어 향후에는 검증된 신뢰도를 가진 치료만족도 지표를 사용하는 연구가 더 많이 필요하다고 생각된다. PROMIS-PI는 통증의 영향을 다양한 측면에서 측정하며, 호전된 결과는 침치료가 현재 통증을 감소시키고 개인의 일상활동과 기능을 수행하는 능력을 증가시키는 데에 도움이 되었다는 것을 의미한다. SF-36P는 신체적 구성요소에 중점을 두어 삶의 질을 측정한다.

분석한 연구들을 토대로 침치료가 재난 후 심리증상을 동반한 근골격계 통증 완화에 유의한 효과를 보임을 결론내릴 수 있었으며, 이는 논문 참여자들의 통증 지표에서의 호전으로 확인할 수 있었다. 통증 관련 지표 중 Conboy 등21)의 연구에서 6개월 후 측정한 SF-MPQ-2, Moiraghi 등26)의 NRS, Miwa 등27)과 Highfield 등28)의 FPS는 대조군과 비교하여 통계적으로 유의한 결과(p<0.05)를 보였다. 삶의 질 개선과 관련된 지표인 Breneman 등22)의 PROMIS-PI, Conboy 등21)의 6개월 후 측정한 SF-36P도 통계적으로 유의한 결과(p<0.05)를 보였다. Takayama 등29)의 연구에서는 삶의 질 지표 관련하여 치료만족도가 92.3%인 것으로 나타났다. 또한 Highfield 등28)의 연구에서는 심층 인터뷰를 통해 침치료가 기존의 중재로 호전되지 않았던 통증을 완화시키며, 환자가 과민하게 여기는 부위를 원위취혈로 치료 가능하다는 장점을 알 수 있었다.

하지만 Conboy 등21)의 연구에서 치료 2개월 후 측정한 SF-36P는 통계적으로 유의하지 않았다(p>0.05). 이는 2개월간의 침치료가 통증 완화에는 효과가 상대적으로 빠르게 나타나나 신체기능 향상에는 부족한 시간이라는 것을 의미한다. Breneman 등22)의 연구에서는 SF-MPQ-2가 유효하지 않은 결과를 보였다(p>0.05). 이는 연구에 참여한 참여자 수가 적었기 때문으로 생각된다. 실제로 4회 이상의 치료를 완료한 참여자들을 대상으로 한 재분석에서는 실험군이 대조군에 비해 SF-MPQ-2에서 유효한 효과(p<0.05)를 보였다. 이는 연구 참여자 수가 증가함에 따라 실제로 유효한 효과가 나타났음을 나타낸다.

Conboy 등21)의 연구에서 신체 전반적 기능 향상을 보이기까지 2개월간의 치료가 충분하지 않았기 때문에 향후 통증 완화를 위해 필요한 치료횟수나 기간을 결정하기 위해 용량 선정 임상시험(dosage study)이 후속 연구로 필요함을 알 수 있었다. 또한 치료를 완료한 연구 참여자의 수를 늘리기 위해 더 큰 표본크기를 가진 대규모 연구가 필요하다는 점도 알 수 있다. 대규모 연구는 더 많은 참여자를 포함하므로 통계적 신뢰성을 높일 수 있을 것으로 기대된다.

Takayama 등29)의 연구에서는 대피소에서 침치료가 중단되었던 적이 있었는데, 저장된 식수가 없어 위생상태가 좋지 않았기 때문이다. 위생상태가 좋지 않을 때는 침치료 대신 추나나 마사지 같은 비침습적인 치료를 시행할 수 있다는 것을 알 수 있다. 또한 침치료 진행 시 독립된 치료실이 꼭 필요한데, 상반신 치료시 환자의 신체 노출 등이 이뤄질 수 있기 때문이다.

선정된 논문에서 1개의 RCT21), 2개의 전후연구26,27)에서 이상반응을 보고했지만 이상반응으로 인해 탈락자는 발생하지 않았으며 추적 결과 시 문제가 해결되었다. 선정된 논문들의 질적 평가는 연구 설계에 따라 시행되었다. 전체적으로, 전후연구 문헌들은 비뚤림의 위험이 있었다. RCT 연구21,22)들은 결과 평가자의 눈가림을 하지 않아 선택편향 통제가 되지 않았다. 따라서 추후 연구에서는 참여자와 평가자의 눈가림이 잘 설계된 연구가 많아져야 할 것이다.

본 연구의 의의는 첫째, 재난 후 근골격계 통증을 연구대상으로 삼았다는 것이다. 현재까지 대부분의 연구가 재난 후 발생하는 심리증상에 초점을 두고 이루어짐에 따라 재난 후 발생하는 근골격계 통증에 관한 연구는 많이 이루어지지 않았다. 둘째, 침치료가 재난 후 통증 호전에 효과가 있으나 통증 완화되기까지의 기간이나 횟수에 관한 연구가 부족하다는 것을 확인하였다. 셋째, 침치료 외의 부항, 뜸, 추나 같은 중재는 부수적으로 여겨져 모든 연구 참여자들에게 동일하게 시행되지 않았다는 것을 확인하였다. 따라서 향후에는 다양한 한의학적 치료수단을 포함하는 중재 개발과 잘 설계된 연구의 수행이 필요하다.

본 논문의 한계는 다음과 같다. 첫째, 선정된 논문의 연구 설계가 엄격하지 않아 publication bias를 평가할 수 없었다. 선정된 6개의 논문 중 RCT가 2개이며, 그 중에서도 대부분은 방법론적인 질이 낮았다. 둘째, 선정된 논문의 수와 연구대상자 수가 충분하지 않았다는 것이다. 셋째, 선택된 문헌 중 몇몇은 추나, 뜸, 부항 같은 복합중재가 침치료와 함께 시행되었으나 모든 연구 참여자들에게 동일한 처치가 시행되지 않았다는 것이다. 주중재인 침치료를 제외하고 기타중재들은 필요에 따라 시행여부가 결정되었다. 재난상황에서는 한정된 자원을 사용하여 치료하는 만큼 최적의 조합을 찾아내는 것이 중요하다. 따라서 추후 연구는 침치료를 포함한 복합중재의 유효성을 알아보는 연구가 시행되어야 하겠다.

결론»»»

재난 후 근골격계 통증에 침치료가 유효한 효과를 가지고 있는지 체계적 문헌고찰을 시행하여 알아보고자 하였다. 문헌고찰 결과, 침치료가 재난 후 심리증상을 동반한 근골격계 통증의 완화에 유효한 효과가 있으나 치료 횟수나 기간에 관한 정보가 제한적이어서 용량선정 임상시험 및 대규모 후속연구가 필요하다고 결론 내릴 수 있었다. 본 연구에서 선정된 논문의 수가 적고, 비뚤림 위험이 높아 재난 후 통증에 대한 침치료 효과를 충분히 판단할 수 없기 때문에 추가적인 연구가 필요할 것으로 보인다.

References
  1. Ministry of Security and Public Administration. Framework Act on the Management of Disaster and Safety, Act No. 11495 (Oct. 22, 2012).
  2. Smith E, Wasiak J, Sen A, Archer F, Burkle FM Jr. Three decades of disasters: a review of disaster-specific literature from 1977-2009. Prehospital and Disaster Medicine. 2009;24(4):306-11.
    Pubmed CrossRef
  3. Lee DY, Na JH, Sim MY. Psychological reactions and physical trauma by types of disasters: view from man-made disaster. Journal of Korean Neuropsychiatric Association. 2015;54(3):261-8.
    CrossRef
  4. Yabe Y, Hagiwara Y, Sekiguchi T, Sugawara Y, Tsuchiya M, Yoshida S, Sogi Y, Yano T, Onoki T, Takahashi T, Iwatsu J, Tsumi I, Itoi E. Musculoskeletal pain in other body sites is associated with new-onset low back pain: a longitudinal study among survivors of the great East Japan earthquake. BioMed Central Musculoskeletal Disorders. 2020;21(1):1-8.
    Pubmed KoreaMed CrossRef
  5. Beckham JC, Moore SD, Feldman ME, Hertzberg MA, Kirby AC, Fairbank JA. Health status, somatization, and severity of posttraumatic stress disorder in Vietnam combat veterans with posttraumatic stress disorder. The American Journal of Psychiatry. 1998;155(11):1565-9.
    Pubmed CrossRef
  6. McFarlane AC, Atchison M, Rafalowicz E, Papay P. Physical symptoms in post-traumatic stress disorder. Journal of Psychosomatic Research. 1994;38(7):715-26.
    Pubmed CrossRef
  7. Burnett A, Peel M. Health needs of asylum seekers and refugees. British Medical Journal. 2001;322(7285):544-7.
    Pubmed KoreaMed CrossRef
  8. Moisander PA, Edston E. Torture and its sequel: a comparison between victims from six countries. Forensic Science International. 2003;137(2-3):133-40.
    Pubmed CrossRef
  9. Phillips CJ. The cost and burden of chronic pain. Reviews in Pain. 2009;3(1):2-5.
    Pubmed KoreaMed CrossRef
  10. Hiroshige J, Tetsuya O, Hironobu K, Ko M, Masaharu M, Hirooki Y, Yuriko S, Mayumi H, Hiroyasu I, Tomoyuki K, Seiji Y, Kenji K. Lifestyle factors associated with prevalent and exacerbated musculoskeletal pain after the Great East Japan Earthquake: a crosssectional study from the Fukushima Health Management Survey. BioMed Central Public Health. 2020;20(677):1-10.
    Pubmed KoreaMed CrossRef
  11. Angeletti C, Guetti C, Papola R, Petrucci E, Ursini M, Ciccozzi A, Masi F, Russo M, Squarcione S, Paladini A, Pergolizzi J, Taylor R, Varrassi G, Marinangeli F. Pain after earthquake. Scandinavian Journal of Trauma, Resuscitation and Emergency Medicine. 2012;20(43):1-10.
    Pubmed KoreaMed CrossRef
  12. Yabuki S, Ouchi K, Kikuchi S, Konno S. Pain, quality of life and activity in aged evacuees living in temporary housing after the Great East Japan Earthquake of 11 March 2011: a cross-sectional study in Minamisoma City, Fukushima Prefecture. BioMed Central Musculoskeletal Disorders. 2015;10(16):246.
    Pubmed KoreaMed CrossRef
  13. Lee DK. Clinical use of opioids. Journal of Pain and Auronomi Disorders. 2012;1(1):1-12.
    CrossRef
  14. Wilson JE, Pendleton JM. Oligoanalgesia in the emergency department. The American Journal of Emergency Medicine. 1989;7(6):620-3.
    Pubmed CrossRef
  15. Chae YB, Lee HJ, Kim HY, Lee HJ, Park HJ. The correlations between acupuncture sensation and analgesic effects. Korean Journal of Acupuncture. 2007;24(1):43-58.
  16. Hollifield M, Sinclair-Lian N, Warner TD, Hammerschlag R. Acupuncture for posttraumatic stress disorder: a randomized controlled pilot trial. The Journal of Nervous and Mental Disease. 2007;195(6):504-13.
    Pubmed CrossRef
  17. Errington-Evans N. Acupuncture for anxiety. Central Nervous System Neuroscience & Therapeutics. 2010;18(4):277-84.
    Pubmed KoreaMed CrossRef
  18. Kwon CY, Lee BR, Kim SH. Effectiveness and safey of ear acupuncture for traume-related mental disorders after large-scale disasters. Medicine (Baltimore). 2020;99(8):1-12.
    Pubmed KoreaMed CrossRef
  19. Kim SH, Kwon CY, Kim ST, Ham SY. Ear acupuncture for posttraumatic symptoms among long-term evacuees following the 2017 Pohang Earthquake: a retrospective case series study. Integrative Medicine Research. 2020;9(4):1-2.
    Pubmed KoreaMed CrossRef
  20. Lee DY, Park HS, Kim SH, Seo JH. Systematic review of Korean qualitative researches on the experience of natural disaster survivors. Journal of Oriental Neuropsychiatry. 2021;32(1):39-53.
  21. Conboy L, Gerke T, Hsu KY, St. John M, Goldstein M, Schnyer R. The effectiveness of individualized acupuncture protocols in the yreatment of Gulf War illness: a pragmatic randomized clinical trial. Plos One. 2016;11(3):1-14.
    Pubmed KoreaMed CrossRef
  22. Breneman CB, Reinhard MJ, Allen N, Belouali A, Chun T, Crock L, Duncan AD, Dutton MA. Gulf War illness: a randomized controlled trial combining mindfulness meditation and auricular acupuncture. Global Advances in Integrative Medicine and Health. 2023;12:1-15.
    Pubmed KoreaMed CrossRef
  23. MacPherson H, Altman DG, Hammerschlag R, Youping L, Taixiang W, White A, Moher D. Revised Standards for Reporting Interventions in Clinical Trials of Acupuncture (STRICTA): extending the CONSORT statement. Public Library of Science Medicine. 2010;7(6):1-11.
    Pubmed KoreaMed CrossRef
  24. Sterne JA, Savovic J, Page MJ, Elbers RG, Blencowe NS, Boutron I, Cates CJ, Cheng HY, Corbett MS, Eldridge SM, Emberson JR, Hernan MA, Hopewell S, Htobjartsson A, Junqueira DR, Juni P, Kirkham JJ, Lasserson T, Li T, McAleenan A, Reeves BC, Shepperd S, Shrier I, Stewart LA, Tilling K, White IR, Whiting PF, Higgins JP. Rob 2: a revised tool for assessing risk of bias in randomised trials. British Medical Journal. 2019;366:l4898.
    Pubmed CrossRef
  25. Park J, Lee Y, Seo H, Jang B, Son H, Kim S, Shin S, Hahn S. Risk of bias assessment tool for non-randomized studies (RoBANS): Development and validation of a new instrument. Paper presented at: The Meeting of the 19th Cochrane Colloquium VI International Conference on Patient Safety; 2011 Oct 19-22; Madrid, Spain.
  26. Moiraghi C, Poli P, Piscitelli A. An observational study on acupuncture for earthquake-related post-traumatic stress disorder: the experience of the Lombard Association of Medical Acupuncturists/Acupuncture in the World, in Amatrice, Central Italy. Medical Acupuncture. 2019;31(2):116-22.
    Pubmed KoreaMed CrossRef
  27. Miwa M, Takayama S, Kaneko S. Medical support with acupuncture and massage therapies for disaster victims. Journal of General and Family Medicine. 2017;19(1):15-9.
    Pubmed KoreaMed CrossRef
  28. Highfield ES, Lama P, Grodin MA, Kaptchuk TJ, Crosby SS. Acupuncture and traditional Chinese medicine for survivors of torture and refugee trauma: a descriptive report. Journal of Immigrant and Minority Health. 2012;14(3):433-40.
    Pubmed CrossRef
  29. Takayama S, Kamiya T, Watanabe M, Hirano A, Matsuda A, Monma Y, Numata T, Kusuyama H, Yaegashi N. Report on disaster medical operations with acupuncture/massage therapy after the great East Japan Earthquake. Integrative Medicine Insights. 2012;7:1-5.
    Pubmed KoreaMed CrossRef
  30. Boscarino JA. Posttraumatic stress disorder and physical illness: results from clinical and epidemiologic studies. Annals of the New York Academy of Sciences. 2004;1032(1):141-53.
    Pubmed CrossRef
  31. Kang YK. Evaluation and management of chtonic pain. Journal of the Korean Academy of Family Medicine. 2008;24(2):103-11.
  32. Hoskins M, Pearce J, Bethell A, Dankova L, Barbui C, Tol WA, Ommeren M, Jong J, Seedat S, Chen H, Bisson J. Pharmacotherapy for post-traumatic stress disorder: systematic review and meta-analysis. The British Journal of Psychiatry. 2015;206(2):93-100.
    Pubmed CrossRef
  33. Chung JM, Lee KH, Hori Y, Endo K, Willis WD. Factors influencing peripheral nerve stimulation produced inhibition of primate spinothalamic tract cells. Pain. 1984;19(3):277-93.
    Pubmed CrossRef
  34. Murakami M, Fox L, Dijkers MP. Ear acupuncture for immediate pain relief: a systematic review and meta-analysis of randomized controlled trials. Pain Medicine. 2017;18(3):551-64.
    Pubmed CrossRef
  35. Sohn EH, Kim BJ. Clinical scale for neuropathic pain. Journal of the Korean Neurological Association. 2021;39(2 Suppl):24-36.
    CrossRef
  36. Wong DL, Baker CM. Pain in children: comparison of assessment scales. Pediatric Nursing. 1988;14(1):9-17.


April 2024, 34 (2)

Cited By Articles
  • CrossRef (0)

  • Crossref TDM
  • CrossMark
  • orcid