医疗器械提交中计算建模与仿真可信度评估：行业与FDA工作人员指南
Assessing the Credibility of Computational Modeling and Simulation in Medical Device Submissions: Guidance for Industry and Food and Drug Administration Staff
发布日期：2023-11-17
状态：Final（最终） 类型：Guidance Document 类别：数字健康与网络安全 主题：Premarket、Digital Health 案卷号：FDA-2021-D-0980
官方来源
https://www.fda.gov/regulatory-information/search-fda-guidance-documents/assessing-credibility-computational-modeling-and-simulation-medical-device-submissions PDF：https://www.fda.gov/media/154985/download
INFO
本内容由英文原文机器辅助翻译，并经结构校对。如有歧义，以英文官方文本为准。
官方文件全文
评估医疗器械材料中计算模型和模拟模型的可靠性
本指南代表了FDA目前对这一专题的想法。它没有规定任何人的任何权利,对FDA或公众没有约束力。您可采取另一种方式,即满足适用的法规和条例的要求。为了讨论另一种办法,请与标题页所列FDA工作人员或负责本指南的办公室联系。
I. 简介
FDA编制了本指南文件,以协助行业和FDA工作人员评估用于支持医疗器械上市前提交的计算模型的可信度(即:上市前批准(PMA)申请、人道主义器械豁免(HDE)申请、研究用器械豁免(IDE)申请、上市前通知(510(k)),和De Novo分类申请)或医疗器械开发工具的资格认证。在本指南中,可信度被定义为对计算模型预测能力的信任。计算模型可以多种方式用于医疗器械监管提交,包括进行 " 硅 " 器械测试或影响器械内嵌入的软件的算法。监管性提交材料往往缺乏明确的理由,说明为何模型在使用时可被视为可信(COU)。 本指南提供了一个一般风险知情框架,可用于对医疗器械监管提交中使用的计算模型和模拟(CM&S)进行可信度评估。为本指南的目的,CM&S系指基于原则(例如物理学或机械学)的最初计算模型,而不是统计或数据驱动模型(例如:本指南旨在帮助提高对内审和系统审评的一致性和透明度,增强对在提交监管文件时使用CM&S的信心,便利更好地解释FDA工作人员审查的监管提交中提交的内务和证券可信度证据。在整个指导意见中,“FDA”、“FDA”、“IAD”、“AEA”、“WW”和“us”等术语都指食品和药物。 “你”和“你的”是指医疗器械制造商。 本文件提及的FDA确认的协商一致标准本版,见FDA《共识标准》数据库。 1 关于在提交监管文件时使用协商一致标准的更多信息,请参考FDA题为“在医疗器械上市前提交材料中适当使用自愿共识标准”的指导。FDA的指南文件没有规定法律上可执行的责任。 相反,FDA目前对一个专题的想法,只应视为建议,除非引述具体的规章或法规要求。在FDA的指导意见中使用这个词意味着建议或建议某种东西,但并不要求。
II. 背景
在提交监管报告时使用CM&S(也称为硅法)是十分牢固的,而且医疗器械的CM&S增加了3。 3 CM&S可以简化发展,减少与上市前器械评价相关的负担。它还可以揭示从传统的活体或体外评估中无法获得的重要信息,诸如严重和意外的不利事件等,在研究抽样中无法察觉,但经常发生在目标人群中,从而引起关注。随着对医疗器械CM&S的兴趣增加,必须既监测目前的使用情况,又查明可以更广泛地利用内务和口服卫生加强公共卫生的领域。使用内务与系统支持提交监管文件,需要制定程序和办法,促进内务与系统进行和审查的方式的一致性和透明度。 CM&S可能用于支持提交监管文件的若干方法,包括但不限于:
- 在硅器械测试中,可使用模拟医疗器械的计算模型 生成支持器械安全和/或有效性的信息(例如,在对可植入的元素进行硅耐久性评估时)。该器械的计算模型也可以与计算病人模型结合,在具有代表性的体能条件下模拟器械性能(例如:计算电磁模型,以预测金属植入物的能量吸收)。另一种可能性是,物理器械本身是用硅型病人模型测试的,例如,对一个生理闭环控制器械进行硬件在环状测试,控制器的疗法作用是3 Morrison T, Pathmanathan P,Adwan M和Margerrison E. 利用计算方法推进监管科学 FDA科学和工程实验室医疗器械模型,医学前沿,第5卷,第241页,2018年。 将患者模型反应转换成输入到患者模型,并将患者模型反应转换成信号,传递回控制器。
- CM&S在医疗器械软件中使用。 5 例如,使用病人数据作为物理计算模型的投入 来估计临床生物标志,如分流储备,或器械软件功能,用于模拟手术期间病人的反应,以便进行手术前规划。
- 在硅临床试验中,硅临床试验是CM&S的一种新兴应用。 在评估器械安全和(或)有效性时,使用一组模拟病人的 " 虚拟组群 " ,这些病人具有解剖和生理变异性,代表指定的病人。在硅临床试验中,可能的应用范围很广,包括但不限于:扩大或减少真实世界临床试验的规模,6 提供更好的包容排除标准,或研究用器械安全问题,而真正的世界临床试验是不道德的。
- 基于CM&S的合格工具。 可将医疗器械作为提案提交卫生与生殖健康部,供FDA考虑用于医疗器械开发工具方案7,作为用于参照器械安全的非临床评估模型;有效性或性能(参考FDA题为 " 医疗器械开发工具的资格 " 的指南)。 在所有情况下,都需要证明CM&S是可信的。应向FDA提交最后模拟结果,并附上可信的佐证证据,以便FDA能够评估这些模拟结果的可信度。对于医疗器械软件和DDDTs中的CM&S,应向FDA提交模拟模拟结果实例,并附上可信度证据,以便FDA能够评估未来模拟(拟在上市后或工具后进行的资格认证)是否可信。 科学文献9 中确定了模型可信度评估方法,10 并正在不断演变。示范性可信度证明涉及各种活动,包括核查、验证、不确定性量化、适用性分析、应用性分析、以及适足性评估(定义见第四节)。FDA承认的标准美国机械工程师协会(ASME)V & V 40,评估4 Parvinian B, Scully C, Wiyor H, Kumar A, 4 Parvinian B, Scully C, Wiyor H, Kumar A, 4 Parvinian B, Scully C, 4 Parvinian B, Wiyor H, Kumar A, 4 Parvinian B, 4 Parvinian B, Scully C, 4 Parmar A, 4 Parvinian B, Scully C, 4 Parvinian C, Wuyor H, KumarS. 植物学封闭型生物和 用于自动化关键护理的环控医疗器械:食品和药物管理讲习班讨论议题,Anesth Analg.,第126(6)卷,第1页,2018年。 5 器械软件功能是符合《联邦食品、药品和化妆法》第201(h)条对器械定义的软件功能。也见Haddad T、Himes A、Thompson L、Haddad T、Himes A、Thompson L、Haddad T、Haddad T、Himes A、Thompson L、Himes A、Himes A、Himddad T、Himes A、Thompson L、Hadddd T、Himes A、Himes A、Thompson L、Howm L、Haddddd T、Himes A、Himes A、Thompson、L、铁 T、Nair R和MDIC工作组参与方。27(6),第1089-1103页,2017年。 9 Oberkampf WL和Roy CJ. 科学计算中的核查和验证。
- 10 Roache PJ,《核查和验证的基本要素》,Hermosa出版社,2009年。 通过核查和验证进行建模:医疗器械的应用为评估核查、验证和验证提供了一个风险知情的框架。以及用于医疗器械计算模型的不确定性定量(VVUQ)活动。ASME V & V 40中界定的大多数验证活动都假定有能力进行控制良好的台架测试,以提供数据,据以评价模拟结果," 使用其他非传统证据来源的可能性(如临床研究、医学研究、科学研究、研究、研究或基于人口的验证结果),这些结果可能控制较弱,但更接近于模型使用环境,ASME V & V 40-2018没有明确涵盖,尽管最近的工作考虑了如何将ASME V & V 40应用到具体病人的计算模型中。 11 本指南使用ASME V & V 40-2018的关键概念,但提供了一个更一般性的框架,用以在医疗器械监管提交中证明CM&S的可信度,其中纳入了不同类别的可信度证据。
III. 范围
本指南文件的目的是为评估医疗器械监管提交中CM&S可信度提供一个一般风险知情框架,其中既包括传统的验证证据,也包括/或其他类型的辅助数据。本指南文件适用于第一种基于原则的模式(如物理学或机械模型),如电磁、光学、电磁、电离、电磁、电、电磁、电、电磁、电、液体动态、热和大规模转移、固体力学、声学和超声学,以及生理过程的机械模型。 本指南并不打算适用于独立统计或数据驱动模型,如独立回归、机器学习或人工智能模型。我们认识到,在最初的原则和统计/数据驱动的模式之间没有明确的划分,采用这两种方法的混合模式是可能的。对于混合型号,本指南旨在仅适用于混合型号的第一原则模式方面;本指南没有涉及评估统计/数据驱动模型方面的额外考虑。供提交统计/数据驱动模型的适当证据信息,包括机器学习或人工智能模型,我们建议制造商通过 " Q " 提交程序(参见FDA题为 " 医疗器械提交反馈和会议请求:12 不涉及任何模拟的模型,如纯解剖模型,不属于本指南的范围。 本指南文件为规划和报告模型可信度评估活动提供了建议。本指南文件未述及如何开展模型研究的方法,或如何收集证据以支持可信度评估的技术细节,它也没有就支持提交监管文件所需的具体可信度提出建议。本指南无意提供11个Galappathtige S、Gray R、C、Nieder S、Pathmanathan P. 对具体患者的可信度评估。 2022年,利用病人特定心肺病模型作为特例,《SPLOS计算生物学》。
IV. 定义
此处所列的定义是为了本指南文件的目的,并用于评估内容与内容及战略的可信度。 适足性评估:对于特定使用环境(COU),评估可信度证据以支持计算模型的过程,连同任何其他有关资料,可能包括COU模拟的结果,并参照模型风险确定证据是否充分; 另见未来适足性评估和研究后适足性评估。 适用性:“审定活动对支持使用计算模型进行使用的相关性”13 计算核查(也称为解决办法核查):“确定计算方法的准确性”14 守则核查:“查明计算机编码数字算法错误的过程”15 比较员:用于验证的测试数据,其中可包括台架测试、16 活体研究或其他实验数据。 13 经美国机械工程师学会批准,重新印制了ASME V & V 40-2018号《通过核查和验证评估计算模型的可信度:通过核查和验证评估》:医疗器械申请,版权ASSME,纽约两公园大道,NY 10016-5990,保留所有权利,未经ASME书面许可不得再复制。可从ASME(www.asme.org)获得完整标准的副本。 14 经ASME V & V 40-2018许可重印。 15 经ASME V & V 40-2018许可重印。 17 经ASME V & V 40-2018许可改编。 计算模型:“以计算机方式执行数学模型的数字实施”18 使用环境(COU):“界定用于处理利息问题的计算模型的具体作用和范围的声明”19 英联邦团结组织模拟:为解决利息问题而进行的模拟“通过收集证据而建立的信任,相信使用情况下计算模型的预测能力”。任何能够证明计算模型可信度的证据 可信度系数:“用于确定计算模型可信度的程序要素”,21 决定结果:关于利息问题的决定不正确, 产生不利结果的意义,22 数学模型:“数学公式、边界条件、初始条件和模型数据,是描述概念模型所需的”,23 模型影响:相对于处理利息问题(例如,台架测试数据)中的其他贡献证据,计算模型的贡献 24 示范风险:“计算模型和模拟结果可能导致作出不正确决定,导致不利结果的可能性”25 研究后的适当性评估:在执行计划中的可信度评估活动之后以及可能还在COU模拟之后进行的适足性评估,利用这些活动的成果和任何其他有关资料,对未来适足性评估进行如下评估:在执行计划中的可信度评估活动之前进行的适足性评估,18 经ASME V & V 40-2018允许重新印制。 19 经ASME V & V 40-2018许可重印。 20 经ASME V & V 40-2018许可重印。 21 经ASME V & V 40-2018许可重印。 22 经ASME V & V 40-2018许可改编。 23 经ASME V & V 40-2018许可重印。 24 经ASME V & V 40-2018许可改编。 25 经ASME V & V 40-2018许可重印。 利息数量:“计算模型或比较国分别计算或测量的结果”。 26 利息问题:“正在处理的具体问题、决定或关注”27 不确定的量化:生成和应用数学模型的过程,以提供经验数据或模拟结果的不确定性的量度。 28 解决办法核查:“确定模型或模拟准确反映真实世界的程度的过程”29 核查:“确定计算模型准确代表基本数学模型及其解决办法的过程,从模型和模拟的预期用途的角度来看。” 30 守则核查和计算核查是核查的两个要素。 请注意, " 核查 " 和 " 验证 " 在医疗器械条例中具有各种含义。上述定义具体提到计算模型的核查和验证。
V. 评估法规材料中计算模型的可靠性的普遍化框架
FDA建议,在制订和评估医疗器械监管提交中使用的计算模型的可信度时,采用以下程序。下文各节详细介绍了下文框架的关键概念,以假设实例说明框架,见图1。
- 说明在监管提交中要处理的(或)利益问题 将参考计算模型,详情见第六.A(1)节。
- 界定计算模型的使用环境(COU),见第六.A(2)节 细节。
- 确定模型风险。详见第六.A.(3)节。 26 经ASME V & V 40-2018许可重印。 27 经ASME V & V 40-2018许可重印。 28 经美国机械工程师学会批准,从ASME VVUQ1-2022核查、验证、校验和校验中重新印刷。和《计算模型和模拟中的不确定性量化术语》,版权所有,ASSME,纽约两公园大道,NY 10016-5990,所有保留权利。未经ASME书面许可,不得再复制任何副本,仅限本版许可,完整标准的副本可从ASME获取,www.asme.org。 29 经ASME V & V 40-2018许可重印。 30 经ASME V & V 40-2018许可重印。
- 查明以前产生或计划产生的可信性证据并将其分类, 将支持COU计算模型的可信度。
- 确定拟议可信度证据的可信度因素。 计划开展的活动,为每个信誉因素设定潜在的可信度目标,并计划实现这些目标。关于先前生成的数据,评估达到的可信度水平,见第六.C节,关于可信度因素、水平和目标的讨论。
- 进行预期的适足性评估:如果实现可信度目标, 证据是否可信足以支持在风险评估情况下使用COU模式?关于适足性评估的讨论,见第六.D节。 a. 如果是:继续第7步。不过,在着手进行之前,你不妨利用 " 质询 " 程序(参见FDA题为 " 医疗器械提交反馈和会议请求:(a) 接受FDA关于计算模型的反馈、拟议的可信度证据、提出这种证据的计划,以及预期的适足性评估。 见附录2。 b. 否:你可能需要修改模型、减少模型影响、修改计算机辅助器械或修改计划以产生可信度证据。关于备选方案的讨论,见ASME V & V 40。如果在现阶段有任何改动,请回到步骤2。
- 通过执行拟议的研究和/或分析,产生可信度证据 先前生成的数据。
- 确定是否实现了可信度目标,并进行研究后适足性评估: 风险评估是否支持使用COU模式的可信度证据? 关于适足性评估的讨论,见第六节D节。 a. 如果是:继续采取第9步。 b. 否:您可能希望修改模型、减少模型影响、修改计算机辅助器械或收集补充证据。关于各种选择的更详细讨论,见ASME V & V 40。如果在现阶段有任何改动,请回到步骤2。
- 编写内容与战略可信度评估报告,以纳入监管提交。 报告建议见附录2。 FDA建议采用这一通用框架,但你可以选择采用另一种方法,以证明你的计算模型的可信度。如果采用另一种办法,我们建议您在提交监管文件时明确确定该模型的COU, 并详细解释为何该模型对于其具体COU而言可被视为可信。如果计划采用另一种办法,我们建议采用 " Q " 提交程序,接受FDA关于上文步骤6a概述的计划方法和活动的反馈。 本框架与ASME V & V 40的关系:上述框架旨在与ASME V & V 40保持一致。表1说明了框架每一步骤与ASME V和V40之间的关系。 如果您计划使用良好方法进行示范性验证,请说明表1:指导框架与ASME V & V 40之间的关系。 ASME V & V 40-2018 评论问题相关章节 第2.4节 第六.A.1节为医疗器械监管提交提供了补充建议 第六.A.1节为医疗器械监管提交提供了补充建议 第六.A.2节为医疗器械监管提交提供了补充建议 示范风险第4节 第六.A.(3)节为医疗器械监管提交提供了补充建议 可信度证据 N/A第六.B节中的可信度证据分类是本指南所特有的。 ASME V & V 40有效假设将产生以下结果:代码核查结果(第1栏),有台架测试验证(第3栏),或有体体验证(第4栏)。 第5节ASME V和V 40界定了可信度因素,并提供了例子。这些可用于上行所述案件。对于其他案件(其他类别的可信度证据或多种验证证据来源),用户应确定适当的可信度因素。建议见第六.C节和附录1。 第6节 “适足性评估”一词在ASME V & V 40中没有明确使用。本指南界定的预期适足性评估与ASME V & V 40第6节重叠。第六.D节提出了关于预期适足性评估的建议。 产生可信度证据 N/A ASME V & V 40没有述及如何开展可信度活动,但同样将证据生成作为总体可信度评估框架的一部分(例如,第16段)。ASME V & V 40-2018图2.4-1中的“执行计划”。 第7节 “适足性评估”一词在ASME V & V 40中没有明确使用。本指南所界定的研究后适足性评估与ASME V & V 40第7节重叠。关于研究后充分性评估的详细建议载于第六.D节 " 可靠性评估报告 " 第8节 " 关于在医疗器械监管提交中列入资料的具体建议见附录2。评估模型可信度的一般框架概览,每个步骤都以为例。星号(*)表示用户在这个假设例子中界定的可信度因素,ASME V & V 40 " Cat. " (步骤4)没有界定这些证据,表示第六.B节所讨论的可信度证据类别。黄箱是信誉评估规划步骤,红箱是充分评估步骤,灰箱是与FDA互动有关的步骤,绿盒是研究执行。 第1步:国家利息问题 第2步:国家使用环境(COU):参考实例(缩略语):器械系是否耐疲劳骨折,例:将进行有限要素分析,以确定最坏情况的器械尺寸,参见第六.A.1节,预期最坏情况辐射装载条件? 这些器械将在台架上测试。 第六.A.(2)节第六.A.(2)节:步骤3:评估示范风险:参考总风险:选择
- 决定结果:例如,可能损害的严重程度是.,发生损害的概率是.,因此总体决定后果是.。 第六.A.(3)节,例如从低到高
- 模型影响:例如,模型结果将是作出决定的主要信息来源,但不仅是信息来源,因此模型影响是.。 第4步:确定有待收集的可信度证据:第5步:国家可信度因素:第5步(续):国家等级和选择可信度目标:例如: • 数字代码核查(NCV)核查结果(第1栏):测试,以确认(a) NCV没有完成。 数字算法和相关代码是 • 良好适切性* (b) 与正确执行的无错误的解决方案相比,解决办法是 · 另一经核实的代码中的实验数据* 的质量。 • 校准结果与COU* (c) 使用模型校准结果(Cat.2)量化的分辨错误:· 与精确解决办法相比较的模型结果,第六节B部分的构成模型产出与实验结果相匹配(d) 在材料参数量化和与模型比较时,观察到的精确压力-压力测量顺序 • 输入模型的理论精确度。 • 测试样品• 评估投入的等效性评估模型风险:.在台架席上被降职。 • .. 使用COU模拟的计算核查结果,指实现可信目标的计划:. . 分辨错误(Cat.8):• 数字求解器错误模拟 六.C. 使用错误第六.D NO NO 理由说明:鉴于风险评估,为什么计划的证据将足以支持使用COU模型。 理由:见第五节是否足够? 参考备选方法:提交事先提交材料,以接受FDA对拟议计划的反馈意见。 附录2: 步骤7:通过执行拟议的研究并/或分析先前产生的数据,生成可信度证据; 上文所列研究的结果和分析。 参考第六.D节步骤8:进行研究后充分性评估的理由说明,根据风险评估,为什么所收集的所有证据都支持使用COU模式。 步骤9:采用建议的结构编写最后的《可靠性评估报告》,总结以往步骤的结果,并列入监管提交。 参见附录2,关于备选方案的第五节,理由充分吗? 是 否 否
VI. 评估在提交监管材料中计算模型的可靠性的关键概念
本节介绍并讨论第五节所述框架使用的主要概念。
A. 初步步骤(1) 利 问 题
框架第1步是说明在参照计算模型提交的监管文件中将处理的感兴趣问题。我们建议按照ASME V & V 40的建议,加上下文的澄清要点和关于医疗器械监管提交的具体建议,说明利息问题。 利息问题涉及根据计算模型和可能的其他信息来源的投入作出的决定。利息问题不应限于计算模型,也不应限于计算模型。我们建议,利息问题的范围应说明问题、决定、决定、或关注正在使用计算模型和潜在的其他信息来源处理的问题,但仅此而已。您应该避免诸如“器械是否安全有效?” 等过于广泛的关注问题。“在预计的最坏的辐射装载条件下,该器械是否抗疲劳性骨折?”可结合计算模型和台架席测试加以解决。协助在评估第六.A(3)节中的示范风险时评估决定后果,在将要作出的决定和作出该决定的利益攸关方之间拟订利益关系问题,可能会有所帮助。 用于硅器械测试或硅临床试验的模型:有关该器械的决定或正在处理的关切,如上一段和图1所述器械耐久性示例。 器械软件内使用的模型: 感兴趣的问题应当包括使用模型预测的具体器械功能。对于作为诊断功能的一部分对病人进行模拟的器械,可能围绕将要作出的临床决定提出感兴趣的问题,例如,是否治疗病人或诊断是否存在疾病。 提交供DDDT认证的模型:• 利息问题应说明与拟议的减债DDT有关的各种器械的具体问题、决定或关切。“对于活性植入式医疗器械,在1.5T磁共振扫描程序期间,在体内交存的功率是多少? 是否低于可接受的阈值?” (2) 框架使用环境(COU)步骤2是界定计算模型的使用环境。我们建议根据ASME V & V 40的建议,以及下文的澄清要点和关于医疗器械监管提交的具体建议,界定使用环境。 合作组织声明应包括详细说明将建模的是什么,以及如何利用示范产出回答感兴趣的问题。共同组织还应包括关于是否还有其他信息的说明(例如,台架考试、考试等)的说明。将结合示范结果使用该模型,以回答感兴趣的问题。a 关于器械耐久性的可能COU可归纳为“在预期的最坏情况辐射装载条件下估计器械疲劳安全系数的混合计算模型预测和经验疲劳测试观测”,并提供更多细节,说明所使用的模型类型,关键投入和产出模型,以及将模型预测与实验数据相结合以回答关注问题的具体方法。 由于许多模型有一系列可能的用途,必须指出,团结和团结委员会描述了如何使用模型解决感兴趣的问题,其范围可能小于整个模型能力。 用于硅器械测试或硅临床试验的模型:• 团结组织应说明模拟研究将如何使用模型解决利息问题。COU不同于该器械的使用或预定用途的标志,尽管《规则》可能涉及处理与器械标志有关的安全或有效性问题,以便用于或预定用途。 器械软件内使用的模型: 计算机团结组织应说明该模型在器械内将如何使用。在此情况下,计算机辅助器械可能与器械的预定用途或其子集有关,视器械如何使用模拟结果而定。 提交供DDDT认证的模型:• 示范体COU预计将包括MDDT COU的资料(见FDA题为 " 医疗器械开发工具的资格 " 的指南第四.A节33)。 32 FDA支持“3Rs”原则,在可行的情况下替换、减少和(或)改进试验中使用的动物。 我们鼓励制造商如果希望使用他们认为适当、适当、有效、可行、非动物检验方法,就与FDA协商。我们将考虑是否可以评估提议的替代方法是否等同于动物试验方法。 框架步骤3是确定示范风险。对模型风险进行评估是因为模型的可信度应当与使用模型解决利害关系问题的相关风险相称。我们建议按照ASME V & V 40评估模型风险,认为模型风险是两个因素的结合,即模型影响和决策后果。以下是澄清要点和关于医疗器械监管提交的具体建议。 模型风险应解释为使用模型处理具体利益问题的相关风险,而不是模型固有的风险。决策结果一般是ISO14971标准界定的风险,即医疗器械——对医疗器械适用风险管理,与利息问题有关。因此,模型风险可被视为与利息问题有关的风险,并按计算模型对解决利息问题的影响加以权衡。 模型影响是计算模型相对于提供的其他证据(例如,台架测试结果、测试结果、测试结果等)的贡献。例如,评估上述器械耐久性模型的影响,可考虑CM&S结果对耐疲劳决定相对于工夫疲劳测试结果的影响有多大。 决定的结果是,对利息问题作出不正确决定,产生不利结果,其意义重大。必须指出,决定的结果是,通过回答利息问题作出的总体决定可能产生的结果,在计算模型范围之外,不论如何使用模型。也就是说,决定结果应审议利息问题,但不应审议模式的COU。在提交监管文件时,决定后果通常涉及考虑可能的患者伤害。在评价上述器械耐久性实例的决定后果时,您应该考虑被植入的器械骨折可能造成的对病人的潜在伤害。 一般而言,我们建议评估决定后果,如ASME V & V 40所述,既考虑损害的潜在严重程度,也考虑发生损害的可能性。 忽略发生概率可能导致高估整个模型风险,因此似乎值得提高可信度,而不是需要。我们建议采取适当的风险管理程序(例如,见ISO14971和ISO/TR 2497134)。 所采用的风险管理程序应考虑到与利益有关的任何具体危害,然后确定可能发生的危险情况和可能造成的损害。关于相同或类似器械类型的不利事件的报告可有助于查明潜在的危害和损害,并估计其相关发生率。评估总体决定后果时,应考虑所有可能因错误决定而给病人造成的伤害,核算任何现行风险缓解程序。 34/ISO/TR 24971 医疗器械——ISO 14971应用指南。 我们承认,在某些情况下,评估发生概率可能需要估计或专题专门知识(例如,对于一些新器械)。见FDA题为 " 在为医疗器械研究用器械豁免规定确定利益风险时应考虑的因素 " 的指南35第五.A.2节,其中说明了估计发生这些情况的可能性的方法。 我们注意到,虽然医疗器械的总体风险是确定器械分类的一个主要决定因素,应根据具体利益问题而不是特定器械类别作出决定。虽然三级器械的总体临床风险大于二级器械的总体临床风险,与510(k)提交中某一具体利益问题相关的决定后果可能与与PMA申请中另一利益问题相关的决定后果相同或甚至更大,因此,决定结果应完全通过考虑具体利益问题来确定。对于用于支持 IDE 申请的 CM&S,(b) 有关决定应普遍考虑由于就利害关系问题作出不正确决定而对试验参与者可能造成的损害,考虑到拟议的研究方案,包括任何现有的风险缓解程序。 在ASME V & V 40之后,我们建议采用图2所示的办法,评估模型风险,同时考虑到决策后果和模型影响的综合影响。 图2:考虑到模型影响和决定后果的综合影响,评估模型风险的可能办法。可代之以替代替代方案,例如使用5x5或5x4电网而不是3x3。 用于硅器械测试或硅临床试验的模型:用于器械软件内的模型:• 模型影响将取决于是否还有其他信息(例如,对病人进行更多的直接测量,如果该器械仅根据模拟结果采取行动,模型影响将是最高水平。如果将模拟结果提供给临床医生,以通知有关决定,模型的影响力将取决于其他现有信息以及该器械标签中建议的具体语言。在确定对向临床医生提供模拟建议的器械模型影响时,打算与其他医疗信息一起 用于临床决定我们建议你检查是否有可合理预见到的滥用情况,36 临床医生可依赖该器械的产出,而不必考虑可能具备的其他临床信息。例如,对于向临床医生提供模拟推荐供辅助使用的器械,临床医生在更大程度上依赖模型信息时,比标签中的预期要多,因此,模型影响应说明可能的滥用。提议时, " 零 " 或 " 可忽略 " 的模型影响应有充分理由。 • 在评估决策后果时,应考虑的器械危险应是与该模型所使用的特定器械功能有关的器械危险,如在利益问题上所述。 • 如果只将多用途、仅是一个计算模式,则预期模式影响最高。 • 应根据该工具在使用时对病人的潜在风险,按照多功能、残疾利息问题的资料不准确。
B. 信用证据
框架第4步是查明以前产生或计划产生的可信证据,并对之进行分类,这将有助于支持COU计算模型的可信度。 并非所有可能支持在医疗器械监管提交中使用计算模型的证据都来自传统的验证活动。因此,我们核查的重点是软件应用数字算法,以解决基本数学模型的问题。它可以细分为代码核查和计算核查。进行代码核查是为了确认数字算法和相关代码得到正确执行,没有错误影响数字准确性,涉及软件质量保证和数字代码核查等活动;详情见ASME V & V 40。计算核查的目的是估计选定的空间离散等造成的具体数字误差,以利息数量计算。计算核查可在模拟运行时随时进行。例如,计算核查可以使用验证模拟进行,即使用与验证试验相对应的模型输入值。或者,也可以使用计算机团结组织模拟,即使用计算机团结组织模型输入进行计算核查。 验证涉及将模型预测与称为比较国的实际世界观测进行比较。在本指南中,验证被解释为与独立于创建模型所用数据的数据的比较。因此,模型校准,即调整或优化参数,使模型输出与现实世界观测结果相匹配的模型校准,不被视为验证。此外,将模型预测与不同模型的预测进行比较,不被视为是有效的。与审定相关的一项活动是适用性评估,即评估审定活动与审计组的相关性。 模型是如何验证的,与模型在COU中如何使用之间的差异可能会限制审定活动与COU的相关性。 不确定性量化(UQ)涉及估计模型产出的不确定性。包括模型投入的不确定性或模型形式的不确定性(关于模型投入和模型形式的更多信息,见ASME V & V 40)。输入UQ与敏感度分析(SA)有关,其目的是估计和可能排列模型投入对模型产出的影响,并且可以围绕固定投入值在当地进行,也可以使用输入范围或分布在全球范围进行。SA可以支持UQ,例如减少用于执行UQ的投入数量。然而,最终支持模型可信度的是UQ结果 — — 即模型产出不确定性的估计。与代码核查一样,UQ和SA也可以使用验证模拟、COU模拟或两者兼而有之。 下文表2提供了八类不同的可信证据。界定这些类别的目的是提供一个共同框架,说明现有证据的特点,以支持计算模型。它不是要说明证据的质量或严谨程度;类别顺序并不反映证据的强度。这一分类并非详尽无遗。在某些情况下,如果可信度证据不符合以下任何类别,可能需要界定新的类别。对于许多计算模型而言,可能存在支持模型可信度的多个类别的证据,所有这些证据都可列入监管提交。 下文表2对每一类别作了更详细的讨论,并附有重要的区别特征和实例。附录1还就每一类别的具体考虑因素作出了规定。 表2:八类可信度证据:第1、第3和第4类明确属于ASME V & V 40的范围。 结果表明,在软件中采用的计算模型是精确实施基本数学模型的准确方法。 模型校准证据 模型结果与用于校准模型参数的相同数据的比较。 使用基准测试参照数据的验证结果,可辅之以计算核查和(或)使用验证条件的上Q结果。 活体体鉴定结果与前一类别相同,但以活体数据作为参照数据除外。 基于人口的验证结果 模型预测和临床数据集之间人口层面数据的比较,没有进行个人层面的比较。 证据表明,该模型复制了已知在系统特定条件下发生的现象,但并未预先规定或明确按照管辖方程式进行模拟。 模型的可信证据依据理由支持仅选择管辖方程、模型假设和/或输入参数。 计算核查和(或)使用计算模拟获得的UU计算结果,即:为了回答利息问题而进行的模拟,哪些类型的可信度证据应当列入监管提交?根据ASME V & V 40, 计算模型所证明的可信度应与使用该模型的风险相称。我们认识到,提供可信度证据的能力可能取决于多种因素,包括但不限于模式的类型,建模场的成熟度和进行审定的能力。 因此,本指南文件没有规定应列入监管提交的具体类型的可信证据。然而,你应该考虑为以下各大类提供证据,因为这些类评估模式的不同方面:• 计算核查(第3、4或8类);• 鉴定(第3、4或5类)或与模型复制真实世界行为的能力有关的其他证据(第2、6或7类)。 您也可在每组中提交多种类型的证据(例如,如果适合对模型进行全面测试和/或提高模型的整体可信度,则提交台架意见和进行体力验证(第3和第4类)。如果你对计划为具体模式提供的可信度证据有疑问,我们建议你利用Q提交程序获得反馈。 举例: 在硅器械测试中:o 用于复制台架测试的器械模型可通过以下方式加以支持:代码核查结果(第1类)、台架测试验证结果(第3类)和计算核查结果(第3类或第8类)。 • 器械软件中使用的模型:o 在医疗器械中实施一个针对病人的模型算法,可通过以下方式予以支持:代码核查结果(第1类)、活体验证结果(第4类)和计算核查结果(第4类)。 • 在硅临床试验中:在硅临床试验中,使用虚拟的病人模型组处理器械安全/有效性问题,可通过下列方式支持整个病人群取样参数值产生的:代码核查结果(第1类)、台架测试验证结果(以验证器械模型);第3类,在活体验证结果中(验证基准病人模式);第4类、计算核查结果核实结果(第3、4或8类)、可相信性示范证据(支持抽样参数;第7类);和基于人口的核实结果(第5类)。 我们强调,这些只是例子,适当的证据将取决于前一段所讨论的多种因素。 守则核查结果提供证据表明,软件中采用的计算模型是精确执行基本数学模型和相关的数字算法。守则核查对于证明软件中不存在影响模拟数字精确度的错误十分重要。 37 模型预测与现实世界观测的比较不是守则核查的一部分,通过验证活动单独处理。 • 固体力学、流体动力学、热传输、电磁学和涉及部分差异方程式的其他领域:比较计算模型与分析解决办法(例如,使用制成品解决办法的方法产生的)相比的结果38,包括确认随着空间和时间分拆规模的缩小,错误按预期汇合率会达到零。 37 Salari K和Knupp P. 采用制造解决方案的方法核查《守则》(编号SAND2000-1444),Sandia国家实验室,2000年。 38 Aycock KI、Revebelo N和Craven BA. 人工解决办法方法,用商用有限元素溶液核查弹性固态机械问题。《计算机和结构》,第229卷,第106175页,2020年。 模型校准证据是模型结果与校准模型参数所用相同数据的比较。证据是使用校准模型参数对模拟结果的“良好性”进行评估。这不是验证证据,因为它不是根据独立于模型开发的数据测试最后模型;相反,对模型参数进行了校准(无论是优化还是手工调整),以尽量减少模型结果与数据之间的差异。与验证证据相比,校准证据薄弱。 然而,强有力的模型校准证据仍然能够支持模型的可信度。如果在对第一原则模型中的少数参数进行校准之后,再复制复杂行为,这种证据就更有力。如果仅根据数据而不是基本原则选定管辖方程,或者对许多参数进行了校准,这种证据就更弱。 可在总体模型内为总体模型或次级模型提供校准证据;以下举例说明了这两个方面。当整个模型需要对其某些参数进行校准时,校准结果可提供相关的可信度证据,当一个子模型需要校准以确定子模型参数的价值时,校准结果对于证明使用这些参数值的理由和对于在次级模型依赖变量(例如:)是验证模拟中使用的外推过去数值。 总模型校准实例: 在生理模型中,证明病人心脏的病人特定模式与病人临床测量的压力体积(P-V)循环密切吻合,在根据相同的P-V循环数据校准组织参数之后。 • 在热传输模型方面,证明第一个基于原则的模型精确地复制了血核热传输系数与同一热测量相匹配后在不同组织体体体加热中的spatio-时间-时热。 • 固体机械学,证明材料的构成模型与测试标本测量到的在多种菌株中的压力-紧张行为非常吻合,校准构成参数以尽量减少差异之后。 (三) 测试验证结果。不进行临床试验或动物试验(关于动物试验,见下文第4类)。台架测试通常在控制良好的实验室条件下进行,因此有利于模拟验证。请注意, " 测试 " 是一个宽泛的术语,包括体外试验,39 计算核查和(或)使用鉴定模拟(而不是使用COU模拟进行计算核查和(或)UQ结果),可以辅助计算结果和(或)UQ结果,作为检验结果的佐证;见8类。 对于这类证据而言,无论是审定模拟还是台架测试,都有可能预先计划或事先产生。这导致三种常见情况:预期规划的审定活动、根据追溯性实验数据集进行的验证或以前产生的验证结果。此外,尽管验证涉及台架测试,但审计和审计总署本身可以是台架,也可以是台架,也可以是台架。 下文提供了潜在组合的实例。 • 在以下例子中,共同执行单位和验证模拟均与台架测试相对应:• 在实力力学方面,心血管植入新家庭的制造商计划进行台架耐久性测试,以评估耐疲劳症。开发了一个器械家庭计算模型,模拟模拟试验用于选择最坏情况的器械尺寸,以尽量减少所需的试验物品数目。利用辅助计算核查证据进行验证的方法是,对一组器械进行有限要素模拟装货,使用多个有限要素网目分辨率,比较模型预测和经量测的利息量。 • 在以下例子中,COU与活体条件相对应,但验证模拟与台架测试相对应:a 新植入器械的制造商计划利用植入器械的计算模型,用一套虚拟病人解剖模型来评估MR成像期间诱发的能量密度。计算模型预测MR扫描期间的能量吸收。在凝胶体模罐体中使用同一器械进行物理实验,与使用模拟凝胶体模罐体中器械硅模型的模拟结果相比较。 对照追溯数据集进行验证的实例:• 在流体动力学方面,制造商使用计算流体动力学评估血液接触器械的性能。制造商将模拟与古典流体动力实验室测量(如平板边界层、板块、“Premarked Reference InfoFinance”中为鉴定设计的其他基准实验,可在以下第%0+%(例如:虽然验证数据集并非COU所特有,验证工作提供了证据,证明模型准确地预测了一般与集体经营单位相关的流体动力行为。 • 在固体机械学中,一家制造商以前开发了一个外围支架系列的计算模型,通过比较在台架上进行辐射装载的预测和测量的强制迁移关系,验证了该模型,然后使用该模型确定最坏情况的分步尺寸,以减少经过耐久测试的样品数量。随后,制造商寻求对不同血管中同样的支架作出新的指示,并开发了新装货条件下支架的计算模型。以前收集的审定结果可能支持模型在与新迹象有关的新的装载条件下的可信度。 • 在电磁学中,先前开发、验证了在可植入器械附近由MR引起的加热计算模型,用于产生证据,支持安全使用3T MR机器器械的条件。 随后,同一模型用于支持安全使用7T MRM机器器械的条件。先前的验证结果可以支持新的COU模式,用于已知传输线圈配置。 40 马里瑙斯卡斯共和国军、哈里哈兰人民军、Say SW、Herbertson LH、Buesen M、Stesteineseifer U、Aycock KI、好不列颠哥伦比亚、Deutsch S、Manning KB和Craven B。FDA《CFD验证医疗器械流动模型》,ASAIO J卷,第2卷,第217页。 2017年,第63(2)页,第150-160页。 表3:比较三个共同的验证案例,其依据是:验证模拟是计划进行的还是以前产生的(行),参照数据数据是计划进行的还是以前产生的(栏)。 编制比较国数据 编制比较国数据 • 可能选择实验和模拟,以尽量扩大与COU的相关性(适用性) 可能量化模拟结果中的不确定性 可能量化参照数据测量错误和不确定性 可能选择比较方法 比较方法 相对于追溯数据进行验证。需要计划进行验证模拟,以便与参照数据比较,例如与文献实验数据或基准数据集进行比较。 · 对审定活动与审计组的相关性的有限控制;· 比较国的测量错误和不确定性可能不存在 · 比较方法可以选择 · 原先产生的验证模拟 通常非常罕见地与以前产生的验证结果相对应;例如,对于以前具有类似模式(例如,在以前提交的监管文件中)或文献中公布的一般示范验证结果的COU。 · 选择实验和模拟以尽量扩大与COU的相关性的能力有限;• 对ASME V和V 40的验证可信度因素没有/有限的控制;以临床或动物数据的形式出现。这一类别假定在具备一个或多个主题的数据时,模拟和比较国在主题一级进行比较(人口一级比较属于第5类)。因此,这一类别适用于对具体病人的计算模型的病人一级验证,例如:临床试验,评估使用具体病人计算模拟的医疗器械的性能。 利用模拟鉴定(而不是利用COU模拟计算核查和/或UQ结果)的计算核查和/或UQ结果可支持审定结果;见8类。 在这类证据中,无论是验证模拟还是体内参照数据,都可以预先计划或事先生成。如表3所示,这导致三种常见情况:未来计划开展的审定活动、根据追溯数据集进行的核实、或先前产生的审定结果。 • 流体动态,临床软件工具,使用基于物理的病人特定动脉冠动脉模型预测分流储备,通过对同一病人的侵入性临床FFR测量进行模拟比较,对同一病人进行验证。还可以进行计算核查研究,以估计这些模拟中的数字不确定性。 • 制造商开发一个基于计算模型的工具,预测与患者结果有已知关联的定量临床计量。制造商通过进行临床试验和计算敏感性、特性、正面/负性预测值,验证该工具的预测能力,和在接收器操作特征(OCR)曲线下的区域。 • 在生物热转移方面,开发了第一个基于原则的热模型,以预测通过一个器械(例如,基于超声波的器械、激光等)对活体组织加热的情况。该模型在相关组织中使用人和/或动物模型进行验证,以适当分配活体电密度的时空空间分布,通过使用温度探测器进行直接测量。 • 在固体机械学中,制造商使用计算模型计算一个器械的置换(例如:在活体条件下模拟(如轮作),进行辅助性计算核查研究,之后,制造商希望对不同的器械(例如,逆肩节肢活性)使用类似的模型。以前的审定和计算核查可支持新器械模型的可信度。 • 在生物热转移方面,开发了第一个基于原则的热模型,以预测通过一个器械(例如,基于超声波的器械、激光等)对活体组织加热的情况。该模型在相关组织中使用人和/或动物模型进行验证,以适当分配活体电密度的时空分布,后来,制造商希望对不同的器械使用同样的模型。如果时温分布(即:预计两个器械之间将具有相似性,在感兴趣的组织内,可具有各种器械规格,先前的审定证据也许能够支持由于第二个器械而预测活体组织加热的模型的可信性。 另一种可能性是,在一般用途或多用途计算模型中,以往产生的验证结果有可能出现另一种可能性,在各种条件下将模型预测与实验数据进行比较是常见的。与生理系统的计算模型一样,通常显示模型在出版或发布模型时可以复制一系列生理行为。如果生理模型后来用于医疗器械COU,这些验证结果可能具有相关性。通过比较对各种血动力变数(例如,平均动脉血压、血压)的模型预测,开发心血管系统模型,然后对模型进行比较,对模型加以验证。对照病人在一系列正常和病理条件下的录制。使用控制算法硅测试模型的生理闭路环控器械制造商,可可能利用先前的验证结果,支持PCLC测试COU模型的可信度。 基于人口的证据包括模型预测和临床数据集之间人口一级数据的比较;或可能的其他数据,如动物或尸体数据。但没有对同一主题的模拟结果和实验数据进行比较(即没有在病人一级进行比较);此类证据属于第4类。例如,这类证据与验证 " 虚拟人口 " 或 " 虚拟群体 " 相关,即代表患者人口的多个病人模式。将虚拟人口/分组的模型产出的平均值和标准偏差与临床数据集的平均值和标准偏差进行比较,可以产生基于人口的证据,证明虚拟人口/分组的可信度。人口一级的临床试验结果将是这一类别的一部分,而病人一级的临床试验结果则属于第4类。 例如:• 在医学成像中,通过采用乳房和损伤的人类形态模型以及各种预期范围的不同关键参数,产生了一套虚拟病人。无法将模型预测与个别病人数据进行比较,因为虚拟病人没有一个与任何一个实际病人相对应。 相反,计算机模拟试验的结果与临床结果进行了统计比较,以表明预测与利用人体主体和人类形象口译员进行比较试验是一致的。 41(6) 新兴行为模式模式示范行为证明,最后确定的计算模型复制了已知在系统特定条件下发生的现象,但没有事先指定或明确按照主导方程式的模式加以模拟。这类证据的一个显著特征是,模拟结果没有直接与具体数据进行比较。相反,模拟结果的评估采用关于该系统的科学知识,可能基于定性实验观测。这类证据与生理系统模型特别相关,因为生理系统往往表现出突发行为 亚系统知识无法预测 • 在流体动力学方面,开发了通过温度血管进行血液流动的计算模型;收集证据以确认模型正确预测了在预计会发生此类现象的情况下过渡或动荡流动的开始。制造商使用该模型预测与衰竭严重程度和缺血症有关的临床测量数据,可将这一信息作为可信度证据。 • 在心脏电生理学方面,开发了心脏和躯体的电活动模型。事实证明,标准12级领先ECG中每部模拟心电图(ECG)与临床ECG具有相同的形态,P波、QRS-复合波和T波的相对大小和方向。心脏器械制造商使用这一模型进行器械硅测试时,可将这些信息作为心脏模型的可信度证据。 模型的可信度证据是支持选择管辖方程、模型假设和/或输入参数的理由。模型的可信度是认为模型是可信的,因为预期管辖方程会保持不变,假设是有道理的,输入模型的参数和其他数量是合理的。这类证据的一个显著特征是,不需要为生成此类证据而进行模拟,因为证据是基于对模型的了解,由于这些证据不涉及测试或评估最后确定的模型(即没有核实或验证),示范性可信性可能是支持示范性可信性的第一步,但一般而言,这种可信性证据的形式很弱。在大约41个Badano A、Graff CG、Badal A、Sharma D、Zeng R、Samuelson FW、Glick SJ和Myers KJ中大约41个Badano A、Graff CG、Graff CG、Badal A、Sharma D、Zeng R、Samuelson FW、Glick SJ和Myers KJ. 数字评价 《用硅成像试验取代全场数字乳房XMX合成法》,JAMA Netw Open,第7(1)卷,2018年。 在很难从感兴趣的验证系统获得任何实验数据的情况下,这可能是支持模型可信度的主要证据形式。 实例:在固体机械学中,开发了一个简单的联合节肢合制器械的有限元素模型。对于将植入设计、植入材料和考虑的装货条件的特殊组合而言,变形预计将完全在线性弹性体系之内。植入材料的机械行为也具有良好的特征,并且已证明在兴趣的长度范围内,该物质大约为异热带。可信的证据可以支持植入物质模型的可信度,即具有异位成份法的线性弹性模型,具体材料参数的理由证明。使用可信的证据可以支持整个模型的可信性,如果对相关方程、模型假设、可作出输入参数。 (8) 使用COU模拟计算核查/UQ结果是指使用COU条件为回答利息问题而进行的模拟。无法直接验证COU模拟,因为如果COU有参照数据,则不需要模型。然而,利用这些模拟,可以进行计算核查或UQ分析。 这类证据适用于硅器械测试或硅临床试验,但不适用于器械软件或多氯二苯并二噁英的模型,在器械上市或DDDT合格后进行COU模拟。 • 开发医疗器械的有限要素模型,以确定与器械安全关切有关的最坏情况配置。为验证起见,将模型预测与台架测试数据进行了比较。进行了网目趋同研究,以确认空间离散造成的数字误差很小,这是可以接受的(第3类证据)。然而,对于COU, 将分析与审定研究中考虑的利息不同的利息数量。有理由相信,需要用更精细的计算网目来解决这一利息数额。因此,利用COU的条件,对这一数量的利息进行了新的网目趋同研究。 • 流动动态,使用一种通过心血管辅助器械进行血液流动的计算模型,评估计划改变生产耐热性对血液解析的影响。先前在多个操作条件下使用一个单一的精密器械验证了模拟,与速度场的测量和粒子图象速度测定产生的相应的流动引发的压力进行比较。为解决兴趣问题,在与UQ同时进行模拟,以分析计划变化对制造业耐力的影响。在UQ研究中,器械尺寸在制造业的容度范围内各不相同。这种输入几何不确定性是通过模型传播的,模型使用蒙特卡洛取样进行大量模拟,以量化几何差异对该器械中预测流量引起的压力和血液暴露时间的影响,与血解密切相关。对最初的和拟议的制造容度分别进行了两项UQ研究,以证明计划中的改变对该器械的热解潜力影响微乎其微。
C. 风险因素和风险目标
框架步骤5是确定计划可信度证据的可信度因素,并为每个可信度因素确定可信度目标,计划实现这些目标。 例如,ASME V & V 40界定了两个核查代码的可信度因素:“软件质量保证”和“纳米代码核查”。 ASME V & V 40对计算核查的其他可信度因素也作了类似的界定。和可适用性。 为了确定可信度因素和可信度目标,我们建议第5步采取以下分步骤,例如参考图1和图3。 • 第5.1步:与你们计划收集的可信证据类型相关的国家可信度因素,如果相关,我们建议使用ASME V & V 40可信度因素。 例如,如果你计划收集测试验证结果(第3类),我们建议使用与验证和适用性有关的ASME V & V 40可信度因素。对于ASME V & V 40 没有明确涵盖的证据类别(例如,模型校准证据、基于人口的证据或模型可信度 -- -- 第2、5或7类),我们建议界定新的可信度因素。 例如,如果模型校准结果将用于支持模型可信度,你可以确定一个 " 适当良好 " 的可信度因素。 • 另见附录1,其中具体考虑到每一类可信证据,包括建议的可信因素。 · 如果有不同类别的多种形式的可信证据,其中一套用作 " 主要 " 证据来源,其他一套用作 " 次要 " 或 " 支持 " 证据(例如,(作为初级的和作为二级的法院测试的验证结果))我们建议在可能的情况下使用ASME V & V 40可信度因素,以确定主要证据,并为佐证证据确定一套适当有限的可信度因素。这样做是为了避免在利用多种类别的结果支持模型的整体可信性时,出现过多的可信度因素。 · 由于证据对于支持使用COU模式的重要性特别重要,我们建议为每套可信证据确定一个 " 与团结和团结委员会相关的 " 可信度因素(见附录1所强调的)。关于审定证据,这称为 " 适用性 " (见定义一节)。 • 第5.2步:在ASME V & V 40之后,就每个可信度因素,界定活动等级,说明调查中的严格程度逐步提高。例如,对于模型校准证据(第2类)的 " 适当良好 " 可信度因素,可能的分级是:(a) 所完成的对适配的定性比较。 (b) 计算出数量误差,而不考虑任何不确定因素。 (c) 安装参数的不确定性(例如,由于实验噪音造成的不确定性)是估计的,并计入适当性的数量错误。 • 第5.3步:在ASME V & V 40之后,每个与未来计划的活动相对应的可信度因素:· 考虑到第3步中评估的示范风险,从分级中选择 " 信誉目标 " 。高风险的利害关系问题一般需要更高层次的可信度目标。必须指出的是,在这一步骤中,正在就每一因素提出一定程度的可信度,这将有助于提高模式的总体可信度。例如,见ASME V & V 40。 • 如果目标低于与示范风险相称的水平(见图3),例如由于实际制约因素,您应说明为什么这些活动是足够的。 • 说明实现拟议的可信度目标的高级别计划。 这一点应列入对未来可信度的评估,以证明所提议的可信度水平合理。 • 与以前产生的数据相对应的每个可信度系数(例如,ASME V & V 40 使用追溯数据集进行验证时的 " 比较 " 40 " 可信度因素:• 确定从先前执行的活动的分级中得出的与哪些水平对应。 • 如果评估的可信度低于与模型风险相称的水平,你应说明为什么这些活动足够。 图3是这一进程的一个假设例子。在这个例子中,计划了两类可信度证据:代码核查结果(第1类)和预期计划的试验台架测试验证结果(第3类)。在这一例子中,第3类证据包括审定和辅助计算核查结果,模型风险被评估为低中度。 使用了ASME V & V 40 信用系数,并确定了五级等级,以给每个信用系数分等级。如图3所示,为每个因素选择了可信度目标。对于目标与信誉水平不相称的可信度因素(即三个 " 低 " 水平的可信度因素)而言,应说明为什么这些活动是充分的。 图3:设定可信度因素目标的假设例子,在这一例子中,假定所有活动都是预期规划的。
D. 适足性评估
框架步骤6和8评估与信誉有关的活动和结果是否充分。如果达到可信度目标,根据风险评估,可信证据是否足以支持使用COU模式?步骤8是研究后充分性评估,并提出了问题:鉴于风险评估,现有可信度证据是否支持使用COU模式?注意适足性评估不同于适用性:根据第五节,可适用性是指审定活动与审计组的相关性,但充分性评估考虑所有可信证据。与模型准确性(通过验证加以量化)形成对照的是,模型充分性要求作出审慎的决定,要采用工程和临床判断,根据所有现有资料。 42 建议进行预期适当性评估(第6步),如果您计划通过提交前(如第五节第6步所述)请FDA就计划的活动提出反馈意见,以便利评价您提议的计算模型可信度理由。如果进行预期的适足性评估,我们建议你考虑计划中的可信度证据,每个可信度因素的拟议可信度目标,以及任何其他有关资料。未来适足性评估应包括一个理由,说明为何所计划的可信度证据预计将足以支持使用COU模型,考虑到风险评估。 42 Oberkampf WL和Roy CJ. 科学计算中的核查和验证。 2010. 在进行研究后适足性评估时(第8项),我们建议你首先重新评估每个信誉因素达到的可信度水平,以及是否达到了信誉目标。研究后充分性评估还应包括一个理由,说明根据风险评估,可信的证据为何足以支持使用COU模式。研究后充分性评估也可以使用COU模拟结果(如果有的话),以及相关信息,如团结和团结组织模型预测与安全阈值之间的差别(见下文示例)。我们建议,在研究后的适当性评估中,考虑到下列问题和建议:• 模型的所有相关特点是否都经过充分测试?也就是说,核查、验证和任何其他可信证据来源是否涵盖该模型与团结和团结小组相关的所有特征?• 对于器械软件内使用的模式,是否作为信誉评估进程的一部分对所有示范衍生器械产出都进行了评价? · 是否达到了可信度目标?如果某一因素没有达到目标,我们建议你说明为什么未满足的可信度系数(与使用模型解决利息问题有关)对风险的影响可以接受。 建议:· 不妨预先确定用于示范验证比较的量化准确性目标,以便如果达到准确性目标,该模型将被认为足够。由于量化准确性目标将针对具体应用,您仍应提供理由说明为何这一准确度足以支持使用COU模型。请注意,即使没有达到为示范审定规定的预定数量准确性指标,如果能够提供合理的理由,例如根据进一步的分析,仍有可能使用计算机器械管理单位的模式。我们还认识到,预先确定准确的量化准确目标并非总是可能和(或)有意义的。在这种情况下,我们建议你预先具体说明你打算如何评估示范结果与验证数据之间的一致程度。 · 当利害关系问题包括有关决定或安全门槛值的资料时,然后作为适当评估的一部分,我们建议考虑模型预测是否接近这种阈值。也就是说,模型预测离决定或安全阈值有多近?考虑COU预测中的不确定性估计(例如,基于不确定性的量化、计算核查结果,和(或)验证比较得出的模型准确性),以及(如果适用的话)决定或安全阈值价值的不确定性。可以利用这些考虑因素进一步支持该模式是否足以解决利息问题。• 用于一个可植入金属器械MR引起的能量吸收计算模型,假设COU模拟预测 沉积在周围组织中的能量 完全在可接受的水平范围内 而且预测能量的不确定性总体而言,沉积于周围组织中的99%的能量置信度间隔完全在可接受的水平之内。这种信息可用于进一步证明示范可信度评估活动对于解决利害关系问题是否充分。 · 必须明确说明模式的任何局限性,并解释为何这些局限性不会降低对使用模式作为团结小组的信心,酌情提及可信度证据或其他科学知识。 如果你确定未来或研究后充分性评估中证据不足,我们建议考虑修改模式,降低模型影响, 修改COU,和/或修订计划,以产生可信度证据(可能的适足性评估)或收集补充证据(研究后适足性评估)。关于这些不同选择的讨论,见ASME V & V 40。
- 以下每一类可信的证据的考虑涉及产生和/或评价可信度证据,第六.B节中每一类证据。 根据所进行模型制作的具体细节,下列一些考虑可能不适用。 • 关于框架步骤5,我们建议使用ASME V & V 40中定义的代码核查可信度因素。 • 在医疗器械软件内实施的计算模型,指出软件和模型核查和验证既重要,但范围和定义不同。为软件核查进行的测试可包括计算模型的代码核查,尽管后者通常单独处理,可能需要考虑具体的共同承担义务。见FDA题为 " 指导FDA关于 医疗器械中所含软件的预售提交”43,在描述示范代码核查活动时提及适当的测试。 • 不属于器械一部分的计算模型(例如硅器械测试、硅临床试验),模型的代码核查与器械软件核查和/或验证无关,因此与器械软件核查和验证分开进行。 • 不属于器械一部分的计算模型(例如硅器械测试、硅临床试验),如果使用商业软件包开发计算模型,我们建议酌情提及软件制造商提供的关于软件质量保证和代码核查的任何信息。 第2类:示范校准证据 · 关于框架步骤5,考虑界定与参照数据数据是否适当、质量质量有关的可信度因素;以及校准活动与COU的相关性。 • 谨慎行事,不要将校准证据作为/与验证证据提出或混淆,并确保校准数据分开或不包括用于验证的数据。 • 考虑评价具有物理/生理含义的所有校准参数的最终值是否在预期的物理/生理范围内。 · 考虑量化 " 适当良好 " ;· 校准程序,包括校准的参数;如果采用贝叶斯校准方法,这些参数的先前分布;• 模拟运行细节、实验/比较数据的来源和细节;• 关于框架步骤5,我们建议采用ASME V & V 40中界定的可信度因素。 • 如果该委员会将涉及对体能作出预测,我们建议特别注意法院测试验证结果对体能检验结果的适用性。 • 计划进行的验证:如有可能我们建议考虑让进行模拟的计算分析员无视台架测试验证数据,以防止出现偏差的可能性。• 我们建议你特别注意验证结果是否适用于审计总署,由于参照数据数据不是设计用于验证当前计算机器械管理单位的模型的。 • 对于以前产生的验证结果:我们建议你特别注意以前产生的验证结果是否适用于审计组,由于先前的审定结果不是为了支持目前COU的模式而设计的。这应包括评估以往审定结果中所用模型与现行模型之间的任何差异及其影响。 第4类:• 关于框架步骤5,如果证据是传统的验证证据,我们建议使用ASME V & V 40中界定的可信度因素。 • 如果证据具有另一种形式(如临床试验结果),我们建议你利用适当的最佳做法和方法(如适当的统计技术)产生和评估证据。适当的敏感性和具体性措施、积极预测值、适用的管理要求(如良好的临床做法条例45),并界定框架步骤5的适当可信度因素。 • 计划进行鉴定:2010年,剑桥大学出版社,Economic出版社。 第5类:基于人口的证据 · 考虑通过比较手段和差异,从数量上评估这两个人口的近距离,或使用其他适当的统计方法。 • 我们建议提供和比较下列各方面所用的人口信息、解剖学、病理学和共同发病率:(一) 用于生成虚拟组群的病人数据;(二) 用于验证的临床数据集;(三) 预定病人人数。 • 如果证据来自临床研究,但没有主题数据,我们建议你利用适当的最佳做法和方法(例如,良好的临床做法、适当的统计技术)产生和评估证据,并界定框架步骤5的适当可信度因素。 第6类:新兴行为模式 · 如第六.B节所述,与验证模式相比,新出现的模型行为一般是模型可信度相对薄弱的证据,因为它不涉及与实验数据的直接比较。我们一般不建议依赖新兴模式行为作为模型可信度的主要证据来源,尽管它可作为有用的次要证据。 • 考虑评估突发行为对中央应急小组的重要性或相关性,并解释为何复制紧急行为的模型能对中央应急小组的模型提供信心。 • 关于框架第5步,我们建议你确定与中央应急小组有关的行为的可信度因素,随机行为敏感度 模拟输入不确定性等等 第六.B节讨论过,与示范验证相比,模型的可信度一般比较弱,因为不涉及测试模型预测。因此,如果模型的可信证据是主要计算机,剑桥大学出版社,2010年。 所出示的可信证据,您应说明为何无法或没有理由对模型进行审定测试,例如:是指评估的模型风险。 • 考虑评估任何假设如何影响预测,方法是使用替代模式表格比较结果,最好尽可能采用较高忠诚模式。 • 考虑对模型参数进行不确定性量化和敏感性分析。 • 关于框架步骤5,我们建议酌情使用与示范形式和模型投入有关的ASME V & V 40可信度因素。 第8类:使用COU模拟计算核查/UQ结果; 计算核查结果:关于框架步骤5,我们建议采用ASME V & V 40中确定的三个计算核查可信度系数。 • 关于普遍质量结果:关于框架第5步,我们建议使用ASME V & V 40中界定的示范投入可信度因素。 · 如果你提出这种证据,我们建议,在将COU预测与任何决定阈值进行比较时,纳入计算核实和/或UQ结果(如第六.D节所述,`适足性评估 ' ,考虑到估计的来自英国的数值不确定性和/或产出不确定性。
附录2:对内建和系统的报告建议
医疗器械提交的可信度评估(a) 建议提供信息,以便在请求在提交调查表时就内容与战略评估可信度评估计划提供反馈时列入这些信息,(b) 关于在医疗器械监管提交中报告内装器械和系统可信度评估的建议。 我们确认,评估模型可信度的普遍框架可能需要FDA提供互动反馈,特别是风险评估范本和预期适足性评估(第五节中分别为第3和第6节)。想要从FDA得到反馈的制造商可以接受关于使用Q-提交途径进行计算模型和/或可信度评估的任何方面的反馈(参见FDA题为 " 索取反馈和召开医疗器械提交会议的要求:Q - 问题 - 47. 如果要求就可信度评估计划提出反馈意见,我们建议你提供资料,说明在第五节(第1至6节)概述的框架内初步和可能采取的步骤。以下举例说明如何安排提交材料:
- 目的:本Pre-Sub的总目的,包括实现Pre-Sub成果的目标 与FDA的互动。
- 背景:例如,供缔约方大会 器械 。
- 器械描述
- 拟议的使用说明
- 监管历史
- 计算模型说明
- 信誉评估计划 a. 总方针概述b. 利利问题(见第六.A(1)节)c. COU(见第六.A(2)节)d. 示范风险评估(见第六.A(3)节)e.计划中的可信度证据:对于计划规划的每类可信证据,提供如下:一. 按照第六.B.二节对证据进行分类。三. 所选的可信度因素(见第六.C节)。 对于每一因素,请说明:
- 信用分级
- 拟议的可信度目标(或评估 关于《可靠性评估报告》的建议 A《可靠性评估报告》是一份自成一体的文件,可作为监管提交的一部分列入。报告旨在提供证据和医疗器械监管提交中使用的内装药加固剂可信度的理由。 下面我们举例说明如何组织一份《信誉评估报告》。以下提纲只适用于内容及战略信息可信度信息,不提供与模型本身有关的信息的建议格式。对于硅器械测试或硅临床试验中使用的CM&S(见第二节),提纲没有建议提供模拟研究结果。对于用于硅器械测试或硅临床试验的硅器械测试或硅临床试验的CM&S, 参考FDA题为 " 报告 医疗器械提交材料中的计算模型研究”48 (下称“计算模型报告指南”)用于报告模式细节和研究结果。在此情况下,我们建议你提供两份报告:一份报告,其中说明模型和研究结果,并使用《计算模型报告指南》,在第一次报告中,我们建议你酌情参考你的《信誉评估报告》,以提供《计算模型报告指南》建议的任何与可信度有关的信息(即:第三节: 守则核查,第八节:系统分化-计算核查,第十节:验证)。 FDA认识到,《信誉评估报告》中的详细程度各不相同,将取决于具体的纪律、计算模型的类型,以及模型的COU,等等。因为我们期望不同类型CM&S的详细程度会有所不同,我们建议贵组织在《风险评估报告》中强调在产生和评估您的可信证据时所使用的理由/理由。下列概要可能有助于安排贵组织的《可靠性评估报告》的内容: 建议的《可靠性评估报告》内容:
- 内容提要:包括简要描述器械、模型、问题 模型用来处理的利害关系、模式COU、经评估的模型风险、所提供可信证据的类别摘要,并附有简短理由的适足性评估摘要。
- 背景:例如,该器械的临床背景或其他有关背景。 此处提供,或在监管提交中提及另一节。
- 器械描述: 包含在报告内或在监管中引用另一部分 提交。
脚注
[^1]:
[^2]: 标准 - 上市前提交 - 医疗器械。
[^7]: ~ 0 ~ mddt
[^8]: 0 开发工具
[^31]: 医用器械提交文件q提交方案受控制台架测试或活体实验数据,本指南框架与ASME V & V 40完全一致,但包括第六.A节和第六.D节的补充建议。使用其他类别可信度证据或多种审定证据来源))该框架使得能够根据ASME V & V 40的方法进行系统的可信度评估。
[^35]: • 模型影响将取决于是否还有其他信息(例如,• 在评估决定后果时,如利益问题所述,您应考虑与正在处理的具体器械安全或有效性问题有关的器械危险。
[^36]: 见ISO 14971 医疗器械——为界定可合理预见滥用,对医疗器械适用风险管理。采用更笼统的“可信度证据”这一术语,这是任何能够支持计算模型可信度的证据。下文界定的证据类别是不同的VVUQ活动的结果。下文提供了一些澄清要点。
[^43]: * 提交材料-软件-装有医疗器械-为确保模型不过分装配而采取的任何步骤;• 获得校准结果的数字方法。如果提供模型校准证据作为可信度证据的主要来源,您应说明为何无法或没有理由对模型进行验证测试的理由,例如,提及经评估的模型风险。· 如果没有验证结果,校准结果是模型可信度的主要证据来源,考虑评估校准条件与COU条件之间的关系,以及利息校准数量与COU利息数量之间的关系。
[^44]: 见第2.5.1节和第11.1.4节,Oberkampf WL和Roy CJ. 科学核查和验证
[^45]: 见条例:• 可能时,在0我们建议考虑让进行模拟的计算分析员熟视无睹地看准验证数据,以防止出现偏差的可能性。• 我们建议你特别注意验证结果是否适用于审计总署,• 用于先前产生的验证结果:• 我们建议你们特别注意以前产生的验证结果是否适用于审计总署,由于先前的审定结果不是为了支持目前COU的模式而设计的。这应包括评估以往审定结果中所用模型与现行模型之间的任何差异及其影响。
[^46]: 见第2.5.1节和第11.1.4节,Oberkampf WL和Roy CJ. 科学核查和验证
[^47]: 医疗器械提交文件 q提交方案3为实现可信性目标的简要计划f. 未来适当评估(见第六.D节)。
[^48]: 4. 拟议的使用说明:5. 计算模型说明:如果在条例提交的其他地方列入模式细节,我们建议相应参考。模型参数值、用于确定参数值的方法、用于解决正方程的数值方法、6. 信誉评估模型 a. 总方针概述b.利息问题(见第六.A(1)节)c. COU(见第六.A(2)节)d. 示范风险评估(见第六.A(3)节)e. 可信度证据。对于所提供的每一类可信证据,提供如下:一. 按照第六.B.二节对证据进行分类。 三. 证据说明所选的可信度因素(见第六.C节)。 对于每一因素,提供:1. 信誉等级;2. 信用等级;3. 信用等级;6.C节。未来可信度目标(如果计划开展活动)或评估可信度水平(如果以前生成数据);和(如果计划开展活动的话)四. 方法。此处可以提供完整的方法,也可以在其他地方提供(例如,在《风险评估报告》的附录中或发表在杂志文章中),并在此引用。与方法一样,此处可以提供或其他地方提供和参考了这里的完整结果。 f. 研究后适当性评估(见第六.D节)。8. 结论9. 参考资料10. 附录:关于(必要时)信誉评估研究方法和结果的详细描述 42