
科研说明书啊,6步完成一篇预测模型Meta
随着预测模型的快速发展,预测模型Meta分析的文章量也在快速上升。
对预测模型不够了解的同学来说,想要抓住机会,发表一份高质量的预测模型Meta还存在一定小困难。
今天我们就通过一篇高分文献,来系统了解下预测模型Meta的制作流程。👇
标题:How to conduct a systematic review and meta-analysis of prognostic model studies
预测模型Meta分析的制作流程
随着预测模型的快速发展,预测模型Meta分析的文章量也在快速上升。对预测模型不够了解的同学来说,想要抓住机会,发表一份高质量的预测模型Meta还存在一定小困难。
刚开始有很多的疑问,比如:
❌ 我们在进行数据提取的时候,应该如何进行提取?
❌ 是提取建模数据,还是内部验证数据,亦或是外部完整数据呢?
❌ 特别是有几个模型的时候,我该如何取舍呢?
❌ 预测模型的评估指标有挺多的,又应该如何取舍呢?
今天我们就通过一篇高分文献,来系统了解下预测模型Meta的制作流程。📌
文献信息:
📄 How to conduct a systematic review and meta-analysis of prognostic model studies
📕 Clin Microbiol Infect. 2023 Apr;29(4):434-440.
这篇文献分享的是预后模型的Meta分析,其实诊断类模型的Meta分析也是类似的制作流程。
文章总结的6个步骤
文献总结了6个步骤,下面我们依次拆解这6步:
🔴 步骤一:developing the review question
首先,我们肯定是要确立一个可执行的选题,我们可以采用PICOST进行,这与传统的Meta分析运用的PI(E)COS相差不大。
PICOST 解释:
- Population:研究对象(如确诊或疑似COVID-19的患者)
- Index model:所有可用的预测模型
- Comparator model:不适用
- Outcome:所有结局(如死亡率、ICU入院、病情加重)
- Timing:预测时机(如COVID-19诊断时或短期内)
- Setting:住院患者或门诊患者
文章中给出了案例示范,帮助我们更好理解PICOST。在不同的预测模型Meta分析中,PICOST的应用会稍有不同。
🎯 步骤二:Searching and selection of articles
预测模型Meta分析中的文献检索和传统的Meta分析稍微不太一样。原文给出了相应的检索策略,而筛选文章的原则和传统Meta分析无差异。
文献检索通常包括数据库如MEDLINE和Embase,但因为很多研究并不会明确标注为“预测研究”,所以在检索时需要使用关键词如:
- “prognosis”, “prediction”, “predictive”, “risk factors”, “models”, “algorithms” 等
- 预测模型研究可能基于前瞻性或回顾性队列研究、随机试验数据、常规护理数据注册库等多种研究设计
由于这些研究的搜索范围通常较广,需要结合PICOTS元素进行筛选。最终,文献筛选可能需要依靠标题、摘要和全文进行严格的筛选。
🔴 步骤三:Data extraction
采用预测模型研究的 CHARMS清单,但该部分的内容仍然离不开 PICOST。提取的内容包括:
- 数据来源
- 参与者
- 预测结局
- 筛选因子
- 样本量
- 缺失数据
- 模型建立
- 模型性能
- 模型评价
- 结果
- 解释和讨论 等方面。
原文提到,CHARMS清单 专门用于指导 预测模型研究 的数据提取,关键的信息提取仍需基于 PICOTS。
🔴 步骤四:Quality and risk of bias assessment
预测模型的Meta分析采用 PROBAST 工具进行风险评估,如果是完全基于机器学习的预测模型,则采用 PROBAST-AI 进行评估。
📌 PROBAST 工具可用于:
- 预测模型的 开发
- 验证
- 更新
- 量化特定预测因子的 附加价值
评估包括 四个核心领域:
- 研究对象
- 预测因子
- 结局变量
- 统计分析
建议采用 图形化展示 风险评估结果,如风险评分条形图。
🔴 步骤五:Analysing data and undertaking quantitative meta-analysis
这一部分至关重要,决定预测模型系统评价Meta分析是进行:
- 定性综述
- 定量合成
📌 数据来源
预测模型Meta分析的数据主要来自外部验证数据,并且至少需要5个研究支持。
📌 建模数据是否适用?
从理论上讲,建模数据本身不适合作为Meta分析数据,但可以用于补充Meta分析的结果,以增强研究的科学性。
因此,Meta分析主要依赖于 外部验证数据,以确保模型性能评估的准确性和可靠性。
📌 Meta分析的常用评价指标:
- C-statistics(衡量模型的区分能力)
- OE比率(观察/预期比率)
作者建议
- 同一预测模型的外部验证研究 >= 5 时,才可进行Meta分析。
- 若验证研究较少,则以 描述性统计 方式呈现结果(如表格、森林图等)。
- 需确保 数据清晰展示,避免错误标注,如不妨加一根 无效线 以作参考。
🔴 步骤六:Presenting summary of findings, interpreting results, and drawing conclusions
这一部分无需过多介绍,一个小提醒:尽量把GRADE评价加上。
📌 GRADE方法简介
- GRADE(Grading of Recommendations Assessment, Development and Evaluation) 方法用于评估系统综述中的整体证据质量。
- 目前,针对预测模型的GRADE版本尚未正式推出,但正在开发中。
- 在GRADE尚未完全适用于预测模型Meta分析之前,建议借鉴其指南,以改进研究中模型性能的评估。
总结
以上就是预测模型Meta分析的6大步骤!
📌 如果你对预测模型Meta分析感兴趣,最好的方式就是直接实践!