연구 결과 해석: p값, 효과 크기, 그리고 정말 중요한 것

대부분의 사람들이 혼란스러워하는 부분입니다. 임상시험 결과에서 가장 중요한 두 가지 개념은 p값과 효과 크기인데, 대부분의 보충제 마케팅은 그중 하나만 알려줍니다[1][2].

p값은 결과가 우연에 의한 것인지 알려줍니다. 효과 크기는 그 결과가 실제로 의미 있을 만큼 큰지 알려줍니다.

p값은 하나의 좁은 질문에 답합니다: 치료가 전혀 효과가 없다면, 이 정도로 극단적인 결과를 볼 확률은 얼마인가? p값이 0.05 미만이면 결과가 우연에 의한 것일 확률이 5% 미만이라는 뜻입니다. 하지만 핵심은 이것입니다. 대규모 시험에서는 극히 작은 효과에 대해서도 아주 작은 p값이 나올 수 있습니다[1][3]. 12주 동안 0.1kg의 체중 감량을 돕는 보충제를 상상해 보세요. 참가자가 10,000명이면 p < 0.001을 쉽게 달성할 수 있습니다. 통계적으로 유의미한가요? 네. 당신에게 의미가 있나요? 전혀 아닙니다.

그래서 효과 크기가 중요합니다. 차이가 실제로 얼마나 큰지를 측정합니다. 연구자들은 Cohen의 d(0.2는 작음, 0.5는 중간, 0.8은 큼) 또는 치료 필요 수(Number Needed to Treat, NNT)를 사용합니다. NNT는 "한 명이 혜택을 보려면 몇 명이 복용해야 하나?"에 답합니다[3][4]. NNT가 5라면 5명 중 1명이 혜택을 봅니다. 상당히 강력합니다. NNT가 100이라면 혜택을 볼 확률은 1%입니다.

전문가들은 분명히 말합니다: p값만으로는 임상시험 데이터를 잘못 해석하게 될 수 있으며, 효과 크기와 신뢰구간 같은 보완 지표가 항상 함께 제시되어야 합니다[2][4]. 프로바이오틱스부터 대사 약물까지, 어떤 건강 중재의 시험 결과를 읽을 때든 항상 두 가지 수치를 모두 확인하세요.

주의해야 할 점: 연구 설계의 위험 신호

모든 시험이 동등하게 만들어지는 것은 아닙니다. 위험 신호를 아는 것이 잘못된 건강 결정을 피하게 해줍니다. 가장 큰 위험 신호는 놀랍게도 누가 연구비를 댔는가입니다.

연구비 출처, 표본 크기, 평가변수 선택이 가장 중요한 세 가지 위험 신호입니다.

75개 연구에 대한 체계적 문헌고찰에 따르면, 기업이 후원한 연구는 유리한 유효성 결과를 보고할 가능성이 27% 더 높고(상대위험도 1.27, 95% 신뢰구간 1.17-1.37), 유리한 결론을 내릴 가능성이 34% 더 높았습니다[5]. 이는 시험 설계가 나빴기 때문이 아닙니다. 눈가림과 무작위 배정은 비슷한 수준이었습니다. 편향은 결과가 구성되는 방식과 어떤 결과가 강조되는지에서 나타났습니다.

보충제 연구를 평가하기 위한 실용적 체크리스트입니다:

• 표본 크기 30명 미만: 결과가 신뢰할 수 없습니다. 작은 표본은 더 큰 시험에서 거의 재현되지 않는 극적인 수치를 만들어냅니다[1][3].
• 위약군 없음: 비교 대상 없이는 치료가 효과가 있었는지 알 수 없습니다. 위약 효과만으로도 많은 건강 결과에서 측정 가능한 개선이 나타납니다.
• 대리 평가변수만 사용: 보충제가 혈중 바이오마커를 상승시켰다고 해서 실제 건강이 개선되었다는 증거는 아닙니다. 이해관계자들은 유효한 대리 평가변수가 무엇인지에 대해 상당한 의견 차이를 보입니다[7]. 시험이 단순히 수치가 아닌, 증상 완화, 신체 기능, 질병 위험 등 실제로 중요한 결과를 측정했는지 항상 확인하세요.
• 독립적 재현 없는 기업 후원 연구: 한 회사가 자금을 댄 단일 연구는 출발점이지, 증거가 아닙니다[5].
• 신뢰구간이 0을 포함: 결과의 신뢰구간에 0이 포함되면, 효과가 존재하지 않을 수도 있습니다[1][2]. 통계적으로 "잘 모르겠다"는 의미입니다.

임상시험 읽는 법: 실용적 프레임워크

학술 논문 전체를 읽을 필요는 없습니다. 몇 가지 핵심 질문만으로 5분 안에 어떤 시험 결과든 평가할 수 있습니다.

다섯 가지 질문으로 거의 모든 임상시험 결과를 평가할 수 있습니다.

1단계: 설계를 확인하세요. 무작위 배정인가요? 이중 눈가림인가요? 위약 대조인가요? 이 중 하나라도 아니라면, 결과에 대한 신뢰도를 낮추세요. 참가자 모두가 자신이 무엇을 복용하는지 아는 공개 시험은 편향에 훨씬 더 취약합니다.

2단계: 결론이 아닌 숫자를 보세요. p값만이 아니라 효과 크기나 NNT를 찾으세요. 연구가 보충제가 "유의미하게 개선되었다"고 결론지을 수 있지만, 통계에서 "유의미하다"는 단지 "우연 때문일 가능성이 낮다"는 뜻일 뿐입니다. 그 개선이 일상생활에 중요한지에 대해서는 아무것도 말하지 않습니다[1][3][4].

3단계: 누가 자금을 댔는지 확인하세요. 기업 후원 연구가 자동으로 틀린 것은 아니지만, 더 면밀한 검토가 필요합니다. 해당 결과의 독립적 재현을 찾아보세요[5].

4단계: 무엇을 측정했는지 질문하세요. 시험이 실제 건강 결과(체중 감소, 증상 개선, 질병 예방)를 측정했나요, 아니면 대리 평가변수(바이오마커의 혈중 수치)를 측정했나요? 대리 평가변수도 의미가 있을 수 있지만, 임상 결과에 대한 신뢰할 수 있는 대리 지표로 검증된 경우에만 그렇습니다[7].

5단계: 대상 집단을 고려하세요. 건강한 대학생 운동선수 20명을 대상으로 한 시험은 당신에게 적용되지 않을 수 있습니다. 참가자의 연령대, 건강 상태, 인구통계를 확인하세요. 당신의 프로필과 유사할수록 결과가 더 관련이 있습니다.

이 프레임워크는 새로운 프로바이오틱스 균주, 장수 화합물, 최신 GLP-1 시험 데이터 등 무엇을 평가하든 적용할 수 있습니다.

자주 묻는 질문

Q. "통계적으로 유의미하다"는 실제로 무슨 뜻인가요?

결과가 우연에 의해서만 발생했을 가능성이 낮다는 뜻입니다. 일반적으로 5% 미만의 확률(p < 0.05)을 의미합니다. 효과가 크거나 중요하다는 뜻은 아닙니다. 효과 크기가 아주 작다면 통계적으로 유의미한 결과도 임상적으로는 무의미할 수 있습니다[1][2]. 항상 p값과 함께 효과의 크기를 확인하세요.

Q. 보충제 연구가 신뢰할 만한지 어떻게 알 수 있나요?

세 가지를 확인하세요: 무작위 배정, 이중 눈가림, 위약 대조 설계인지; 표본 크기가 50명에서 100명 이상인지; 그리고 독립적 자금 지원이나 비기업 그룹에 의한 재현이 있는지. 기업 후원 연구는 독립적 연구보다 유리한 결과를 보고할 가능성이 27% 더 높으므로[5], 자금 출처가 중요합니다.

Q. 대리 평가변수와 임상 평가변수의 차이는 무엇인가요?

임상 평가변수는 직접 경험하는 것을 측정합니다. 체중 변화, 증상 완화, 질병 발생 등입니다. 대리 평가변수는 그 결과를 예측하는 것으로 추정되는 바이오마커를 측정합니다. 예를 들면 특정 분자의 혈중 수치가 있습니다. 대리 평가변수는 연구가 더 빠르고 비용이 적게 들지만, 항상 실제 이익으로 이어지는 것은 아닙니다[7]. 항산화제 혈중 수치를 높이는 보충제가 실제로 질병 위험을 줄이는지는 별개의 문제입니다.

Q. 왜 일부 연구는 서로 모순되나요?

다른 표본 크기, 대상 집단, 용량, 시험 기간, 결과 측정 방법이 모두 다른 결과를 만들 수 있습니다. 젊은 운동선수를 대상으로 한 8주간의 소규모 시험과 고령자를 대상으로 한 52주간의 대규모 시험은 근본적으로 다른 질문을 연구하고 있습니다. 여러 시험을 종합하는 체계적 문헌고찰이나 메타분석을 찾아보면 더 명확한 그림을 얻을 수 있습니다[3][4].

Q. 단일 임상시험으로 무언가가 효과 있다고 증명할 수 있나요?

거의 그렇지 않습니다. 잘 설계된 단일 시험도 하나의 데이터 포인트일 뿐입니다. 여러 독립적 시험이 같은 결론에 도달하고, 이상적으로는 체계적 문헌고찰이나 메타분석으로 요약될 때 확신이 커집니다[2][3]. 단일 연구에 의존하는 건강 주장은 경계해야 합니다.

References

[1] Sharma H, "Statistical significance or clinical significance? A researcher's dilemma for appropriate interpretation of research results," Saudi Journal of Anaesthesia, 2021. DOI: 10.4103/sja.sja_158_21

[2] AbdulRaheem Y, "Statistical Significance versus Clinical Relevance: Key Considerations in Interpretation Medical Research Data," Indian Journal of Community Medicine, 2024. DOI: 10.4103/ijcm.ijcm_601_23

[3] Kraemer HC, Neri E, Spiegel D, "Wrangling with p-values versus effect sizes to improve medical decision-making: A tutorial," International Journal of Eating Disorders, 2020. DOI: 10.1002/eat.23216

[4] Glaros AG, "Statistical significance, clinical importance and effect sizes: Enhancing understanding of a study's results," Journal of Oral Rehabilitation, 2025. DOI: 10.1111/joor.13759

[5] Lundh A et al., "Industry sponsorship and research outcome: systematic review with meta-analysis," Intensive Care Medicine, 2018. DOI: 10.1007/s00134-018-5293-7

[6] Crawford C et al., "A Public Health Issue: Dietary Supplements Promoted for Brain Health and Cognitive Performance," Journal of Alternative and Complementary Medicine, 2020. DOI: 10.1089/acm.2019.0447

[7] Ciani O et al., "A framework for the definition and interpretation of the use of surrogate endpoints in interventional trials," EClinicalMedicine, 2023. DOI: 10.1016/j.eclinm.2023.102283

이 콘텐츠는 정보 제공 목적으로만 작성되었으며, 의학적 조언, 진단 또는 치료를 대체하지 않습니다. 보충제를 시작하거나 건강 관리에 변화를 주기 전에 반드시 자격을 갖춘 의료 전문가와 상담하세요.