对话国际权威:聆听Dr. Sten Westgard专题课的一点看法
2021-07-15 16:04 文章来源:
《2021智慧检验未来峰会》直播活动
2021年5月22日,由中国医学装备协会、中国医学装备人工智能联盟检验医学分会及中国医学装备人工智能联盟检验医学委员会主办的《2021智慧检验未来峰会》在武汉隆重举行,有幸在直播线上聆听到国际著名大咖、质控专家Sten Westgard教授有关“患者移动均值的应用及发展”的专题讲座,学习收获的同时,有一点点不同看法及感想与大家分享,请各位专家、老师、同行指正!
“MA法是研究发展相对成熟、计算简单的传统方法,而EWMA法要求额外的软件、复杂计算以及专业知识支持,因此,鉴于国际上EWMA方法的技术难度及专业经验缺乏,最佳的方法是折中的移动平均法(MA法)”,并提出“只需要采用传统的3SD控制限,超过3SD时运行质控品进行故障排除等”。
01、Sten Westgard教授讲座内容简介
Sten Westgard教授重点围绕患者数据质控法的类型、特征比较、MA法的发展、国外实验室应用现状、MA法建立及失控的处理流程等方面进行深入浅出的阐述,非常精彩,受益匪浅!
4种患者数据质控运算技术的优缺点比较
Sten Westgard教授展示的MA质控图、MA质控设置方法及失控纠正流程
02、我的思考
最佳的方法是折中的移动平均法(MA法)Or
专业技术难度大的EWMA法?
只使用3SD控制限?
IFCC于2019年及2020年发表的指导文件提出基于患者数据的实时质量控制( patient based realtime quality control ,PBRTQC)是一种利用患者检测结果以实时、连续监测检测过程分析性能的质量控制方法。大量的研究表明,PBRTQC与传统的质控品质量控制方法相比具有成本低、无基质效应、可动态监控、可敏感识别分析前误差等优势。随着信息技术的发展及临床研究,PBRTQC已发展了多种运算程序,包括BULL法、AON法、MA法、百分位数法、中位数法及EWMA法等。
Sten Westgard教授在课上提到:
对于以上2个观点,本人稍持不同的看法:
上海交通大学医学院附属瑞金医院王学锋教授&森栩医学智慧建设团队AI-MA临床应用现场
1、发挥PBRTQC临床应用价值的重要前提是设置最佳的程序,与患者数据分布特征、纳入/剔除标准、控制限、质量目标、警告&失控质控规则、统计均值所需样本量、权重因子等每一个因素密切相关,只要选择恰当,体现优秀质控效能,任何一种运算程序都可以是最优的方法。
2、MA法虽是相对成熟的传统方法,但如不结合以上因素,单纯选择传统3SD控制限,容易出现假阳性和假阴性情况,假阳性率高将浪费大量的实验室资源去处理,降低方法的可信度;假阴性率高或误差检出概率低,将容易对患者造成医疗风险。
3、EWMA法如果设置考虑不全面,同样容易出现假阳性和假阴性的情况。EWMA法虽运算技术更为复杂,但只要基于专业软件工具、进行全面设置和性能验证,在监测分析性能变化及潜在质量风险产生方面,相比MA法更能体现“灵敏性“、”特异性“和“即时性”等优秀质控效能。
4、每一种PBRTQC运算程序都有各自的特征,需要临床实验室不断摸索、验证、优化、创新以积累专业经验,设置出最佳质控效能的PBRTQC质控方法。
并以PBRTQC专业软件工具——
森栩医学患者数据实时质控智能监控平台(AI-MA)在全国16家不同规模等级医疗机构、6个专业领域、13个品牌、36个型号、65台检测系统、110个检测项目、2743.3107万真实世界患者大数据性能验证的多中心临床实践研究经验及结果,(《中国首个基于 AI 的真实世界患者数据实时质量控制 PBRTQC 多中心临床研究》,温冬梅,上海森栩医学)
对PBRTQC中MA法和EWMA法在识别质量风险及分析性能变化方面的质控效能进行了比较。
现从中挑选上海交通大学医学院附属瑞金医院王学锋教授及河北省儿童医院李贵霞教授智慧建设团队基于AI-MA的真实世界大数据的两个研究案例进行阐述。
河北省儿童医院李贵霞教授&森栩医学智慧建设团队AI-MA临床应用现场
03、两个案例
1、MA法假阴性案例
(1)选择森栩医学AI-MA的EWMA、Z分数图运算程序及智能质控规则,对希森美康XN1000血细胞分析仪RBC及HGB项目的患者数据(n=31853)进行分析。
结果显示,检测系统分析性能从5月11日开始出现负偏倚,并于6月14日纠正,见图8,根据实验室现场质量记录及仪器报警信息显示,6月13日XN1000血细胞分析仪器发生报警,报警样本量不足,并自动停止检测样本,实验室于6月13日下午更换样本针,14号仪器恢复正常检测。AI-MA的EWMA程序能够在故障报警前将近1个月识别和预警分析性能的变化,并且预警消除时间与实验室更换样本针的时间节点完全一致。从传统的仪器报警后纠正转变为实时监控、提前预警!
森栩医学AI-MA智能监控平台RBC的EWMA质控图、RBC& HGB Z分数图(EWMA法)
备注:绿色圆点是RBC的患者检测结果;紫色圆点是HGB的患者检测结果;黄色圆点是系统对分析性能变化出现负偏倚和分析误差结果预警的患者检测结果。
(2)选择森栩医学AI-MA的MA运算程序,参照Sten Westgard教授推荐3SD控制限进行设置,验证同一批患者数据(n=31853),结果显示,RBC、HGB患者数据MA质控图均未出现预警信息,而且对应仪器故障引起的分析性能变化趋势及时间节点均不明显,即无法提前预警仪器故障的发生及潜在质量风险,见图9。
同一批患者RBC& HGB 检测结果的MA质控图(MA法)
2、MA法假阳性案例
(1)选择森栩医学AI-MA的患者数据EWMA质控品QC,整合Z分数图运算程序及智能质控规则,对贝克曼AU5800ALT项目20-45U/L的患者群体数据(n=860)进行分析,结果显示,EWMA质控图与质控品QC趋势一致,均显示ALT检测分析性能良好、稳定,实际累积CV小于实验室的质量目标,仪器上的试剂空白及室内质控均反映分析性能稳定,见图8-B。
选择森栩医学AI-MA的MA运算程序,参照Sten Westgard教授推荐3SD控制限进行设置,验证同一批患者数据(n=860),结果显示,ALT患者数据MA质控图显示精密度分析性能一般,出现8次超2SD预警及2次超3SD的假阳性报警,与质控品QC显示的分析性能不相符。若按Sten Westgard教授建议的超2SD及超3SD处理流程,会给实验室带来额外的人力、时间及成本投入,见图8-A。
图8-A 森栩医学AI-MA智能监控平台患者数据ALT的MA质控图
图8-B 森栩医学AI-MA智能监控平台患者数据ALT的EWMA质控图&质控品L-J图整合的Z分数图
备注:蓝绿色圆点为患者检测结果的MA值及EWMA值;三角形符号的为高、中、低浓度水平质控品检测结果;黄色圆点为警告点,红色圆点为失控点
04、总结
从以上两个案例可见,尽管EWMA运算更为复杂,但只要选择合适的质控参数,它在识别仪器故障及监控潜在质量风险方面就能体现出优异的“灵敏性“、”特异性“和“即时性”等质控效能。
EWMA是国际用于监测疫情暴发或流感病毒活动变化等公共卫生事件最著名的算法之一,在国际上其他行业领域的质量控制研究证明,EWMA控制图在不正确度监控方面的作用与Westgard多规则控制图相当,甚至更优,可以检验分析过程中不正确度或不精密度的微小变异和趋势变化。
森栩医学PBRTQC专业软件工具AI-MA在不同规模临床实验室高达2743.3107万例真实世界患者大数据的性能验证结果,证实了EWMA算法的以上优秀性能,同时优于MA算法。
05、展望与感想
感谢组委会给予我们机会在线上聆听和学习国际质控大咖StenWestgard教授的课,开拓视野,了解国外MAQC研究进展及应用方法。StentWestgard教授提到,只有内行人才懂患者数据质控法的价值,只有这项技术的爱好者才会青睐它,深有同感!!
通过聆听国际质控大咖的课,对比国外患者数据MA法的研究进展,也深感自豪,我们森栩医学的AI-MA智慧开发应用团队本着传承经典、创新应用、切实解决临床痛点与需求的钻研精神一起攻克了StenWestgard教授提到的EWMA法的国际技术难点。
同时,很开心、很荣幸能与全国许多卓越的学科管理者、优秀团队一起基于AI-MA进行大数据性能验证研究及专业经验积累,愈发感受到IFCC所提及的:PBRTQC是一个令人兴奋的创新质量管理工具,也对AI-MA技术平台的专业性、创新性、领先性充满了信心!
随着对基于患者风险质量管理策略的重视,中国检验行业开始关注和重视有关患者数据质控法的研究。相信未来随着行业的发展进步、学会的推动和普及、人员培训的加强、大数据和人工智能技术在医学检验领域的应用,将加快PBRTQC在中国临床实验室的发展与应用进程,在实验室质量风险识别、精益化管理和智能化建设方面发挥重大作用。
“本文在观点和认识上若有不当或错误,敬请各位专家同行老师批评指正!”
衷心感谢参与《中国首个基于 AI 的真实世界患者数据实时质量控制 PBRTQC 多中心临床研究》16家医疗机构提供的宝贵研究平台,为国内PBRTQC的应用和实施提供丰富的专业实践经验!