应用于放射影像与放射器械数据的计算机辅助检测器械——上市前通知（510(k)）提交：行业与FDA工作人员指南
Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data - Premarket Notification [510(k)] Submissions: Guidance for Industry and Food and Drug Administration Staff
发布日期：2022-09-28
状态：Final（最终） 类型：Guidance Document 类别：数字健康与网络安全 主题：Premarket、Radiology 案卷号：FDA-2009-D-0503
官方来源
https://www.fda.gov/regulatory-information/search-fda-guidance-documents/computer-assisted-detection-devices-applied-radiology-images-and-radiology-device-data-premarket PDF：https://www.fda.gov/media/77635/download
INFO
本内容由英文原文机器辅助翻译，并经结构校对。如有歧义，以英文官方文本为准。
官方文件全文
2023年6月14日FDA发布了一项题为“器械软件功能预先提交材料的内容”的指南。 1 这份最后指南取代了《医疗器械中所含软件预先提交材料内容指南》,2005年5月11日发布 2005年6月14日发布的最后指南提供建议申办者的资料,说明应列入供FDA评价器械软件功能的安全和有效性的上市前提交中。特别是,最后指南包括有助于确定器械文件水平(以前称为关注程度)的资料。文件级的目的是帮助确定支持包括器械软件功能在内的上市前提交材料的最低限度信息量。 在被取代的指导意见的框架内,用于放射图象的计算机辅助检测器械和放射器械数据被视为一种中等关注程度的器械。根据器械在预定用途方面的风险,适用于放射图象的计算机辅助检测(CADE)器械,以及放射器械数据,一般应涉及基本文件水平的建议。您器械的实际文档级别可能根据您器械的具体内容而有所不同。欲了解更多关于文件水平的资料和上市前提交文件的建议文件,鼓励申办者审查“器械软件功能上市前提交文件的内容”指南。
用于放射图像和放射器械数据的计算机辅助检测（CADe）器械 — 上市前通知[510(k)]
本指南代表美国食品药品监督管理局（FDA）对该主题的当前观点。它不赋予任何个人任何权利，对FDA或公众不具有约束力。如果您采用的替代方法满足适用法律法规的要求，则可以采用该替代方法。如需讨论替代方法，请联系本指南标题页所列的负责FDA工作人员或办公室。
I. 简介
本指南文件向行业、系统和服务提供者、顾问、FDA工作人员以及其他相关方，就用于放射图像和放射器械数据（本文件中通常称为“放射数据”）的计算机辅助检测（CADe）器械的510(k)提交提供建议。CADe器械是包含模式识别和数据分析能力的计算机化系统，旨在识别、标记、突出或以其他方式引起临床医生（即医生或其他保健专业人员）在解读患者放射图像或放射器械数据时对图像部分或放射数据某些方面可能存在的异常的关注。本指南纳入了2009年3月4–5日、2008年3月2日以及2008年11月17–18日放射器械小组会议期间提出的关于CADe器械文件和性能测试的建议，³ 并考虑了联邦公报公布的指南草案所收到的公众意见。
1 计算机辅助检测使用缩略语CADE可能不是整个社区公认的缩略语。本文件用于确定本文件所讨论的具体类型的器械。 登记日期为2009年10月21日(74 FR 54053)。
总的来说,FDA的指南文件没有规定法律上可以执行的责任。 相反,FDA目前对一个专题的想法,只应视为建议,除非引述具体的规章或法规要求。在FDA指南中使用“应当（should）”一词，表示某事项被建议或推荐，但并非强制要求。
II. 背景
本指南适用于第三节所确定的CADE器械(21 CFR 892.2050)和产品编码(NWE、OEB、OMJ)。制造商如果打算上市其中一种器械,必须:
• 遵守《联邦食品、药品和化妆法》(FD&C法)的一般控制,包括21 CFR 807 E分区所述的510(k)要求;• 符合为这一器械指定的特别管制措施(见21 CFR 892.2050(b));• 在上市该器械之前,从FDA获得相当量的确定(见21 CFR 807 E分节)。
本文件就这些器械的510(k)号提出建议,补充了21 CFR 807 E分节的要求。FDA其他文件中关于510(k)提交具体内容的建议,包括“传统格式和缩写格式510(k)”5 指南。
修订了该指南,稍作更新,以反映最后规则“医疗器械”的发布;符合《21世纪Cures法案》医疗软件规定的医疗器械分类条例”(86 FR 20278)。
III. 范围
本文件就510(k)份用于放射图像和放射器械数据的CADE器械提交文件提供指导。在病人检查期间产生的超声波、放射、磁共振成像(MRI)、计算断层成像(CT)、正电子发射断层成像(PET)等图像,如上所述,CADE器械是电脑化系统,旨在识别、标记、突出或以任何其他方式显示、标记、突出或显示,直接注意图像的部分或放射器械数据的各个方面,临床医生在解释病人放射图象或病人放射器械数据时,可能发现特定异常。本指南涵盖CADE器械,作为完整的成套器械上市,并配有审查工作站,或作为附加软件
本指南文件适用于根据21 CFR 892.2050医疗图像管理和处理系统分类的CADE器械,包括以下产品编码:
• NWE(光计算断层摄影系统、计算机辅助探测);• OMJ(太阳X射线、计算机辅助检测)。
FDA打算制定新的产品编码,以确定和跟踪在必要时新类型的CADE产品。
本指南不适用于(1) 用于在手术期间使用的CADE器械的临床性能评估研究,(2) 放射性计算机辅助诊断器械(CADx)(分类为21 CFR 892.2060),(3) 计算机辅助检测/诊断(CADE/x)器械(分类低于21 CFR 892.2090),(4) 计算机辅助购置/优化(CADa/o)器械(在21 CFR 892.2100下分类),(5) 放射性计算机辅助处理和通知器械(CADt)(分类为21 CFR 892.2080),无论是作为独有器械上市,还是与CADE器械捆绑在一起,而CADE器械本身可能受本指南的制约。该指南也不适用于许多非CADE器械,这些器械也归入21 CFR 892.2050分类,例如包括产品编码LLZ(System、图像处理、图像处理、辐射)和NFJ(系统、图像管理、眼科)。因此,大多数基本的放射性图像处理和图像获取产品不属于本指南文件的范围。
21 CFR 892.2050 医疗图像管理和处理系统。
(a) 识别。医疗图像管理和处理系统是一种器械,提供一种或多种与审查和数字处理医疗图像有关的能力,供受过训练的疾病检测从业人员判读。软件组件可提供高级或复杂的图像处理功能,用于图像处理、改进图像处理、改进和或用于解释和分析医学图像的量化。高级图像操纵功能可包括图像分割、多式联运图像登记或3D可视化。复杂的定量功能可包括半自动测量或时间序列测量。
(b) 分类:二级(特殊控制;自愿标准-医学数字成像和通信(DICOM)标准,联合摄影专家组(JPEG)标准;电影和电视工程师协会(SMPTE)试验模式。
产品编码”可参见《产品编码》第_ 通过设计,CADE器械可以是一种独特的探测器械,仅针对一种类型的潜在异常或多种平行探测器械的组合或捆绑,每种专门设计用于检测病人辐射数据中显示的一种潜在异常。
属于本指南范围的CADE器械的例子包括:
• 一种CADE器械,目的是在CT结肠学研究中识别和迅速找到结肠聚苯;• CADE器械,旨在查明和及时填补CT检查时的缺陷;• 用于在CT、X光或MRI研究中识别肺结核的CADE器械。
不属于本指南范围的器械实例包括:
• 用于3D直观结肠的软件;• 旨在测量预先确定的肿瘤大小的软件;和
本指南不包括任何用于操作内程序的任何CADE器械,或任何计算机辅助诊断器械(CADx)或计算机累进器械,无论是作为独有器械上市,还是与计算机辅助检测器械捆绑在一起,以下进一步解释本指南未涵盖的CADx和计算机分解器械:
• CADx器械是计算机化系统,旨在提供除识别、标记、突出、突出外的信息;或以任何其他方式引起注意某一图像的部分或放射器械数据的各个方面,临床医生在解释病人放射图象或病人放射器械数据时,可能会发现异常。CADx器械包括那些旨在从疾病存在或不存在的可能性的角度评估疾病或其他条件的器械,或旨在具体说明疾病类型(即具体诊断或差别诊断)、严重程度、阶段或建议采取的干预措施。这种器械的一个例子是计算机算法,其目的是在CT检查中识别和加速肺结核,并为每个潜在损伤的临床医生提供恶性分数的可能性,作为补充信息。
• 计算机老化器械是电脑化系统,旨在以任何方式减少或消除目前由临床医生提供的临床护理的任何方面;例如一个器械,输出输出表明有一组病人(即:目标人口中一名或多名病人)正常,因此不需要临床医生解释其放射数据。这种器械的一个例子是预先筛选计算机办法,它确定病人的正常磁共振扫描不需要临床医生进行任何检查或诊断解释。
对于其中任何一类器械,我们建议你与FDA联系,以了解上市前路径、监管要求、监管要求、以及关于非临床和临床数据的建议。
IV. 将器械描述为 510(k)
我们建议你按照本节描述的 条例和产品代码 来识别你的器械
III. 范围(如果适用的话),并提供对您的 CADE 算法的概述,并描述以下内容:
• 算法设计和功能,处理步骤,特点,模式和分类,培训模式,数据库,参考标准,和评分方法。
A. 一般资料 一般资料
在介绍你的器械时,我们建议你列入以下信息:
• 目标人口信息,包括病人、有关器官、疾病/条件/有关常态;以及打算使用该器械的适当临床医生(如放射科医生、家庭执业医生、护士);• 用于输入和符合您CADE设计的辐射数据,包括成象模式(例如计算断层摄影、磁共振),每种方式/系统(如果适用)的具体图像获取参数范围(例如,kVp范围、切片厚度)的模型和具体商品名称,和具体的临床成像规程(例如口服对比研究、磁共振成像序列);· 与感兴趣的疾病/条件/异常有关的当前临床实践;• 拟议的临床工作流程(与参照器械相比),包括说明:o 何时应在拟议的工作流程内使用你的器械,在提出具体要求时对口译时间有何影响;• 器械撞击(与参照器械相比),包括:与器械性能有关的对病人的影响,包括真实正值和真实负值;和对与器械性能有关的假正负和假负分数对病人的影响,分别列出(例如,以假阳性检测为依据的不正确后续建议,可能导致对病人进行短期监控成像);• 器械限制(与参照器械相比),包括该器械被认为无效和不应使用的疾病/条件/正常性;• 科学文献的佐证数据。
B. 算数设计和函数
此指导建议您在 510 (k) 中包含您 CADE 算法的详细描述 。在某些情况下,对算法及其阶段的一般描述足以为FDA审查提供适当程度的了解,特别是如果临床性能评估作为你们性能测试的一部分列入。特别是当将修改过的 CADE 器械与先前的 CADE 器械比较时,如果更详细地描述原始和修改过的CADE器械,可能降低评价修改过的器械可能需要的性能测试要求。FDA建议,详细程度应达到这一水平,以便能够与任何参照器械进行技术比较。
我们建议你提供关于算法设计和功能的信息,包括算法实施细节,说明所有CADE标记的格式,包括所有相关几何特性和其他特性,如形状、大小、相对于有关区域(如重叠、相邻)、边界(如固体、对于作为图像审查工作站和医疗图像管理系统附加软件设计的 CADE 器械,FDA建议制订适当显示CADE标记的要求,并将这些标记列入你提交的文件。
我们建议您提供一个流程图,确定您的算法所使用的处理、特征、模型和分类方法。我们建议你的流程图包括以下内容:
• 所有手工操作和相关预先界定的默认设置(例如由医生选择规则或阈值);· 所有半自动作业及相关的预先界定的默认设置(例如选择区域分割的种子点);• 所有不涉及与临床医生直接互动的自动操作。
您还应包括其它算法/软件信息,包括:
• 软件平台的名称、版本和相关的特点。
我们建议你简要说明你算法每个阶段的设计和功能,一个阶段是CADE算法中独立或明确界定的职能单位。描述应基本了解CADE检测过程的每个阶段。如果您的技术与已出版的研究报告相似,鼓励提及该研究报告illi和/或列入该条。您的描述应包括以下内容:
• 阶段目的、处理步骤、特点、模式和分类、培训模式、使用的发展和培训数据库以及参考标准。
我们还建议,为了便利审查过程,将贵器械的技术特点与参照器械的技术特点的相似性和不同性制成图表,并加以描述。
C. 处理处理
处理是指CADE算法中包含的任何图像或信号处理步骤。 处理的例子包括过滤(例如,减少噪音过滤)、有关区域或结构的分割(例如,将某一利益机关与其周围环境的界限划分)、正常化、登记，以及伪影或运动的校正。我们建议您描述所有处理过程以及相关算法流程图和参考。
正常化处理是指将图像或信号特性校准或转换为参考图像或信号。我们建议你说明用于确定适当校准或变换的技术,以及参考的特征。
D. 特征
特征是计算机或人类估计数量,其特征为图像、区域或辐射数据中的像素,包括具体病人特征(例如年龄、性别、(种族、族裔)。 对于你的算法的每一阶段 我们建议你提供:
• 算法使用的特征类别(例如人口、生物、形态和几何特征);• 简要说明作为商业产品一部分的特征;和用于缩小成套候选特征的技术)或减少维度(即用于减少特征空间的维度的技术)过程。
E. 模型和分类
我们将模式定义为信息综合使用的任何方法或规则。分类器是一种人类或数学界定的模式,用于在有关疾病、状况或异常的图像中对区域进行评分或分类。这一模型假定是图像特征与疾病、状况或异常的评级或分类之间的关系,并取决于一组特定的参数,这些参数由人工或自动确定。模型和分类人员通常采用某种模式识别程序。它们可以从单一的临界值(一个独特的提取特征)到复杂的分类(即特征值的加权组合)。对于你的算法的每一阶段,我们建议您描述所使用的模型和分类器的类型(例如简单阈值、决策树、线性辨识、神经网络。支持矢量机),每个模型或分类器所使用的输入特性的总数,以及应用这些特性的顺序。
F. 算数培训
分析培训是用来确定算法参数和阈值的程序。这一程序包括调整过滤参数、选择最不相容的特征、调整分类器重量和模型参数。培训可由人(例如程序员或医疗专业人员)手动进行,可自动使用专门培训算法,或两者兼而有之。我们建议你简要概述你的算法培训模式,并说明是否进行了:
• 由人手操作,自动使用计算机化培训方法,或结合人工和计算机化技术。
我们还建议你描述用于确定参数设置的标准和性能衡量标准,并概述算法适当中间阶段的递增算法性能。
G. 数据库
数据库系指用于培训和测试你的器械(即培训和测试案例)的放射图象或放射器械数据集。这些数据库可能包含计算机模拟数据、体模数据或病人数据,视评价的性质而定。
关于模拟或体模计算机数据数据库,我们建议你提供:
• 说明体模或模拟方法;· 显示模拟或体模数据与成像技术、器官和引起关注疾病的实际病人数据之间关系的任何数据。
对于每个病人数据数据库(即培训和测试案例),我们建议你提供具体信息,包括(如果有的话):
• 病人人口数据(如年龄、族裔、种族、性别);• 与CADE应用有关的病人病史;例如,技术(包括试验是否与/没有对比、每个病人的对比类型和剂量、相关病人身体质量指数、辐射照射、• 说明如何收集成象数据(例如成象器械的制作和模型以及成象程序);• 收集地点;o 疾病病例数、正常病例数,以及用于确定疾病状况、地点和程度的任何方法(见第四节H. 参考标准);• 由有关混杂因素或效应修饰因素分解的病例分布,如损伤类型(例如高塑性对高腺结肠质聚苯酯)、损伤大小、损伤位置、疾病阶段、器官特征、伴随疾病、成像硬件(例如制造和模型)、成像或扫描程序、收集地点、· 比较病人数据的临床、成像和病理特征与目标人口;• 培训和测试数据库的累积和使用历史。
对于打算用于专利成像器械的CADE器械,我们建议你提供商品名称、监管状况、这些专有成像器械的物理特征。
H. 参考标准标准
为本文件的目的,病人数据的参考标准(在成像界中也常常称为“黄金标准”或“地面真相”)表明疾病/状况/异常情况是否存在,可能包括疾病/状况/异常情况的程度或地点等属性。CADE器械的开发和评价往往依靠放射图象或放射图象数据数据库,并有一个参考标准,说明疾病/状况/异常是否存在于个别病人,如果存在,则说明是否存在于病人体内。我们把病人参考标准的这一定性,例如疾病状况,称为真相进程。
用来确定参考标准的方法可以影响所报告的性能。 您应提供理由并描述确定疾病/状况/异常情况是否存在以及疾病/状况/异常情况的地点和程度的程序(例如:您还应注明参考标准是否基于:
• 另一器械的产出;• 除成像以外的后续体检;或
应当说明用于确定这一参考标准的方法,并在开始评价之前确定。为了了解真相,我们建议你提供:
· 参与的临床查明真相者的人数;· 在参加真相进程之前向他们发出的指示;· 病人在查明疾病/状况/异常情况以及标明疾病/状况/异常情况的地点和程度时所使用的所有现有临床信息;• 作为真相进程一部分使用的任何具体标准。
当涉及多个临床真相者时您应描述他们的解释合并在一起,以便作出总体参考标准确定的过程,以及您的过程如何解释参与真相进程的临床医生之间的不一致之处。 参与真相进程的临床医生不应与参加CADE器械核心临床性能评估的临床医生相同,因为这样做会使研究结果产生偏差。
I. 区标
除了确定疾病/状况/异常程度的地点和程度的参考标准之外,CADE器械的开发和评价往往取决于确定CADE标记的空间位置和范围是否与疾病/状况/异常程度的位置和程度相符。我们把确定CADE输出与参考标准(如疾病位置)之间的对应性的程序确定为评分过程。评分程序和评分定义是解释独立器械性能和适当标出该器械的重要组成部分。
在此指南中,我们描述用于评价器械独立性能的评分。临床性能评估采用不同类型的评分,FDA题为“临床性能评估”的指导意见对临床性能评估作了说明。用于放射图像和放射器械数据的计算机辅助探测器械的考虑因素,见预先通知(510(k))提交材料。”
用于确定每次CADE检测性质的共同评分标准
• CADE检测区或参考标准区或体积下降的体积的中间体;• CADE探测的中子体与参考标准之间的距离相对于参考标准区域最大宽度的比率;• CADE探测与参考标准之间区域(A)或体积(V)交叉点与CADE探测总面积或体积之比,定义如下:
A(CCCC) _
(CCCC) + + V(RRR) V(CCCC)
• CADE探测与参照标准之间区域(A)或体积(V)交叉点与参照标准总面积或体积结合和CADE探测之间的比率,定义如下:
(CCCC) + A(RRRRR) + A(CCC) + A(RRRRR) 或 V(CCCC) + V(RRRR) V (CCC) + V(RRRRR)
评分过程应当与CADE所标的异常情况以及预定使用你的器械和要求性能的情况相符。您应为这一过程提供科学上的理由,在开始评估之前,应先确定这一过程。在你对评分过程的说明中,我们建议你说明评分是否基于:
• 电子或非电子手段;• 标记的中间体与参考标准的边界或空间位置的关系;• 参考标准与标记的边界或空间位置的中间体关系;
对于仰赖阅读者解释的评分, 我们建议您提供参与的读者数量, 以及他们的资历,他们的经验和专长水平,在参加评分过程之前向他们转达的具体指示,以及作为评分过程一部分使用的任何具体标准。当多个读者参与评分时,请描述合并其解释以作出总体评分决定的过程,或如何将其解释纳入评分,包括如何处理任何不一致之处。
J. 其他资料
我们建议您在“医疗器械中所含软件预先提交材料内容指南”9 和FDA“医疗器械中现成软件使用”10 指南10 之后列入软件文件。 我们建议提交的信息由与软件故障相关风险有关的“关切程度”决定。根据先前提交的CADE器械报告,CADE系统的关注程度一般是中等的。
如果CADE系统是将在第三方图像审查平台内安装的附加软件,我们建议您也提供姓名、版本/模型编号,这些第三方平台的特性,以及您的器械生成的 CADE 输出的文件格式说明。
V. 独立性能评估
由于每个新的CADE器械代表着CADE算法和软件的新实施,FDA预计每个新的CADE器械(以及软件和其他设计),技术,或已清除的CADE器械性能变化)的技术特性与合法上市的参照器械不同,我们可能会考虑改变或修改CADE算法,以大大影响该器械的安全或有效性,为本指南的目的,如果,例如,图像处理部件、特征、分类算法、培训方法等发生变化,培训数据集,或算法参数。 因此,根据《FD&C法》第513(i)(1)(A)节,确定实质性等同与否将取决于所提交的资料是否、是否包括适当的临床或科学数据,证明新器械或更换器械与合法上市的参照器械一样安全有效,不会产生与参照器械不同的安全和有效性问题。我们鼓励你与FDA联系,就你提议修改或修改现有的CADE器械是否构成重大修改或修改,需要上市前通知提供咨询意见。
为了支持对新的 CADE 器械进行实质性等同确定,或更改已清除的 CADE 器械, 可能对器械的安全性或有效性产生显著影响,我们建议您在与临床医生(即:这些测量结果估计CADE器械本身如何很好,CADE器械如何能避免除异常(例如正常器官和结构)以外的标记区域。应当选择研究终点,以确定该器械具有有意义的和统计上相关的性能。
为了支持实质上的等同,我们建议将您的 CADE 器械的独立性能与同一数据集的参照器械的独立性能进行比较,如果可能的话 否则用于评估贵器械独立性能的数据库的特性或组成,应与据称用于评估参照器械的数据库的特性或组成相类似。
您的 CADE 器械标记或未标记的异常类型和性质应该与您器械的预期用途相一致。为衡量独立性能,您应通过某种描述明确的真相程序(见第四.H节参考标准)确定异常的真实位置。使用既定的评分程序(见第四.I节评分),您应该将CADE标记的位置和范围与事实位置和异常程度进行比较。您应制定参考标准定义、评分过程和分析方法,包括初级和二级绩效终点,在收集独立性能评估数据和分析这些数据之前。 您应通过预先指定的分析计划,根据共变分析,证明任何性能声称要求。
我们建议你们进行独立测试,以便提供良好的性能估计,由重要的共变体,如损伤类型、大小或形状,分层进行。这种分层独立的性能在标签方面很有用,它向最终用户提供更多信息,以更好地解释CADE标记。
A. 研究人口
我们建议您评估并报告您的器械在测试数据方面的独立性能,该测试数据与您开发和培训 CADE 的数据是独立的,并且与您开发和培训的数据分离。
您的测试数据库应代表目标人口(例如包括不同的人口群体)和目标疾病、病情等。或你的器械所针对的异常,我建议你为案件集提供协议书。获取代表预定用途人群的数据的一个可接受的方法是,从每个参与收集的收集地点收集符合列入标准并不属于排除标准的连续案例。测试数据库应充分体现疾病/异常和正常病例的全部情况。
允许用疾病/异常情况浓缩高效和最不繁重的具有代表性的案件数据集,但可能影响独立的性能估计(例如,性能估计数不得概括于预期用途总数)。您可以选择让研究人群 更丰富一些病人的病例 包含成像结果(或其他图像数据) 来挑战临床医生但仍属于该器械预定用途(即压力测试)的范围。在使用压力测试时,对预定使用人群中的组群进行选择性抽样是适当的。例如,a 研究中富含含有小共聚物的病例的人口,在评估一般CADE器械时,可能适当,该器械旨在协助探测各种聚苯乙烯大小。根据CADE器械在这些案件上的性能进行浓缩是不合适的。
研究应包括来自重要群体(例如临床相关混淆者界定的子集、效应修饰因素、改变以便您能够对这些子集获得独立的性能估计和信心间隔(例如:在评价肺部CADE器械时,对不同结核大小类别的性能估计值)。除非你正在提出具体的子集绩效申报,否则没有必要将这些子集用于统计意义。
一项良好的研究设计可能包括并报告包含相关混杂因素的丰富数据集以及每个参与收集地点的一系列连续案例的结果,这些连续案例可能更好地代表临床实践的独立表现。
研究的抽样规模应该足够大,使研究有足够的权力,能够以具有统计意义的方式发现你拟议的性能声称。如果为个别子集提出性能声称,然后,你应相应确定这些子集的样本大小,以发现具有统计意义的这些声称。当您提出多重性能声称时,需要事先对测试多个子集进行统计调整。
作为器械独立性能评估的一部分,您应描述测试数据库(见第四节G.数据库)。我们建议,你的性能测试应包括检测精确度测试和定位精确度测试。
B. 测试数据重新使用
重复使用测试数据(即对同一数据进行多次测试)可能对解释独立性能结果造成问题。FDA认识到难以获得用于CADE评估的数据。FDA还认识到,如果同一个测试组多次使用,CADE算法可能隐含或明确与测试数据相适应。FDA鼓励利用新获得的独立测试案例(即:FDA不鼓励在评价器械性能时反复使用试验数据)。如果您在评估您的 CADE 器械的独立性能时考虑数据再利用,您应证明,重新使用测试数据的任何部分不会给CADE性能估计带来不合理的偏差,测试数据的完整性得到维护。
如果你希望FDA考虑在独立评估中重新使用任何测试数据,您应控制您的工作人员获取测试子群和个别病例的性能结果。因此,你也许有必要设立“防火墙”,以确保管理评估小组以外的人员(例如:除了适当的简要性能结果之外,其他任何东西都完全与放射图象和辐射数据知识隔绝。您应在产品整个生命周期内保持测试数据的完整性。这类似于临床试验数据监测委员会的数据完整性,以及使用“防火墙”使负责提议临时议定书更改的人员无法了解临时比较结果。关于临床试验数据监测委员会数据完整性的更多信息,参阅FDA题为“建立和运行临床试验数据监测委员会”的指导意见第4.4.1.4节。
尽量减少调试数据和维持数据完整性的风险,我们建议,在考虑重新使用任何测试数据时,应开发审计线索,并实施下列控制措施:
• 随机从随着时间增长而扩大的数据库中选择数据;• 以过时的图像购置协议或器械获取的数据不再符合现行做法,将退出数据;• 对用于评估的案件数目设定一个小的固定限制;• 维持防火墙,严格控制数据存取,以确保监管评估小组以外的任何人,特别是任何与算法开发有关的人,都可以查阅数据(即只有简要性能结果在评估小组之外报告);• 维持一个数据访问日志,以便每次访问数据时都跟踪数据,包括记录谁访问数据、测试条件和简要性能结果。
审计线索的目的包括:(1) 规定你在培训和测试组中适当界定了案例,使培训组和测试组之间没有发生数据泄漏;(2) 确保事先(即在对测试集应用之前)确定新的CADE算法;和(3) 提供资料,说明您在多大程度上使用同一测试组或其子集来测试其他CADE算法或设计,包括向FDA报告的结果以及未报告的结果。我们推荐的控制措施旨在大大降低您在以后的一项研究中评估新的 CADE 算法的机会, 使用与您先前用于 CADE 算法的相同的测试数据。
如果您重新使用测试数据,除了总体性能外,还应报告相关子集的测试性能。这些子集包括:(1) 为新的CADE算法设定的与以前使用的测试套件重叠的测试套件部分,以及(2) 你以前从未使用过的测试套件部分。由于与新的CADE算法的总体测试方法相比,这些子集的规模较小,因此子集的置信间隔将更大。但是,平均性能的趋势有助于说明您是否已将CADE系统调整到测试集中以前使用的部分。
C. 精确度
我们建议你估计和报告评分过程之后CADE的独立性能(见第四.I节评分)。真正的正(TP)、正(TN)、假正(FP)和假负(FN)CADE标记的定义应与器械的预定用途一致。例如,如果器械意在检测所有异常(例如,
对于依赖审查读者解释的参考标准(如疾病类型、地点和范围),我们建议你考虑读者在真相进程上的变异性,以及专家读者之间达成的各种共识或协议规则,参考标准可变性的核算方法之一是重塑专家真相小组。有关一种方法的细节,见Miller等人13。
我们建议你报告整体的损害、病人或其它相关的独立敏感度(例如:概率 CADE 算法正确标记每个操作点异常的位置。您应报告每个器械操作点独立假正率14的相关度量(例如每个器械操作点每个案件的平均假正数[Fps/case])。您应该酌情报告根据相关变形器或效果修饰器进行的分层分析(例如,损伤大小、损伤类型、损伤位置、疾病阶段、病变阶段等)。独立的假阳率应分别从正常和异常病人数据中得出。如果您的器械允许临床医生选择或操作器械操作点,我们建议您为每个可选操作点或可能的操作点范围提供器械性能。此外,检测准确性可能取决于用于确定每次CADE检测的性质和程度的评分标准和评分阈值(见第四节I)。)) 因此,我们还建议,酌情使用距离和评分率阈值的不同值来估计和报告你的器械的性能。我们建议酌情列入显示性能变化的图案,作为重叠标准的一个函数。你应确定和确定探测准确性评估方法,包括选择初级和二级性能终点,在开始评估之前。
所有性能计量应连同相关的信任期报告。我们建议你说明估算这些光学指数的方法以及这些光学指数的临床意义。
我们还建议你提供独立自由反应接收器操作特征(FROC)曲线(即基于病人的独立敏感度与/或独立反应接收器操作特征的图解)的图解(即:以病人为基础的独立敏感度与/或独立反应接收器操作特征之间的图解)。在报告检测准确性和临床解释这一分析时,作为运行点函数的函数,平均联络点数量/案件数量。回收技术,如靴子器械,15 是估算这些光学指标的潜在方法。
13 Miller, D.P., O ' Shaughnessy, K.F., Wood, S.A., 和 Castellino M.D., R.A., Gold 标准及专家小组:肺结核个案研究,有挑战和解决办法。SPIE 5372,2004年医学成像:图像感知、观察性能和技术评估。 14 独立的具体特性(即:通常情况下没有 CADE 标记的部分)可能适用,而不是对一些 CADE 算法单独适用假正率,因为这些算法没有多少假正率检测。 15 Efron, B.,Tibshirani, R.,《标准错误、互信和其他统计准确性衡量标准错误的诱捕方法》,统计学家,Sci.,1986年。 最后,我们建议你们的测试应说明异常的地点和程度的差异(例如,CADE 标记的交叉区域之比和这些区域的联盟的参考标准),当您的标记包括关于这两个因素的信息时(例如,CADE标记是分块结构的大纲)。
D. 通用性测试
我们建议你说明你的研究在多大程度上概括了器械标签中界定的获取技术的范围。这可能包括研究各种获取技术和获取参数对CADE性能的影响,以深入了解CADE算法的稳定性。您应该以适当和不增加额外风险的方式进行这种额外的测试(例如:(b) 病人在检查各种图象获取混淆因素的影响时,对病人的辐射增加或对比照射增加,例如:
• 成像硬件、成像或扫描程序以及图像或数据特征(例如:与使用扫描胶卷的CADE数字化结构差异相关联的特性)。
CADE 器械的一般性测试实例包括:
· 对预期在结果上带来变异的参数进行分层分析(例如扫描特征、成像器械的制造和模型),(b) 开发和测试中使用的数据反映成像要求时,购置协议参数,如对比剂或探测定位;• 可靠的技术论证或基础数据,支持使用相同或类似基本技术的各种成像系统与您的CADE器械兼容;· 在CADE输入为数字化图像数据时,对不同扫描仪上一套数字化多次的图像进行性能比较;• 以相同方式(如磁共振或超声波)从同一个病人那里获得多图象的性能评估。同样,任何额外的检测都应以适当的方式进行,而且不得对病人造成额外风险;• 对模拟数据进行性能评估,以代替实际获取(例如,参数噪声模拟研究、模拟重建、当模拟数据的有效性得到确定时。
我们建议你在一般性评价中提供以下资料:
• 评价预期在结果上带来变异的参数(例如扫描特征、成像器械的制造和模型),• 说明所进行的研究;• 用于评价的结果和统计分析。 我们还建议您确定您在验证测试中使用的具体器械或器械技术和获取技术,并将与您的CADE器械兼容的具体器械或器械技术和获取技术列入产品标签。
E. 与参照器械比较
直接比较您器械的独立性能和参照器械的独立性能(即:如果比较可行,建议采用同样的评价程序和测试数据集比较性能。与另一制造商的参照器械直接比较可能并不总是可能的,但预计:如果您提交了基于您自己的器械而修改的器械 510(k) , 您应该可以访问先前已清除的器械版本,因此,我们建议您描述您的比较分析、要测试的假设、样本规模估计和终点,并提供比较结果,包括CADE独立性能计量,例如:
· 独立FROC曲线下的地区差异和相关统计分析(例如,见Samuelson等人,16);· 器械操作点的探测独立敏感度和燃料元件/病例数量的差异,• 将新的或已改变的CADE器械与参照器械(例如:两个器械引起的重叠真实正值平均百分比,两个器械引起的重叠假正值平均百分比,并分析每个器械产生的CADE标记的大小),如果可以对器械进行直接比较。
后一种比较的目的是确定真实正数和假CADE正数与参照器械产生的相应标记是否一致。我们建议你评估这一重要的附加因素,因为两个具有类似独立敏感度和假正率的CADE器械在图像中可能标志着不同的结构,这种差异可能导致临床性能的明显差异。
同样,独立的数据集应该足够大,使研究有足够的权力,能够以统计意义来检测你拟议的性能声称。在某些情况下,为了便于比较,非急性病研究可能是适当的。研究应包含重要组群(例如,临床相关混淆者、效应修饰因素、改变者)的足够数量的案例。以便您能够对这些子集获得独立的性能估计和信心间隔(例如:在评价肺肺 CADE时,对不同结核大小类别不同结核的性能估计值
16 Samuelson,F.W.和Petrick,N.,《利用再抽样比较图像探测算法》,第三次IDE与环境研究所生物医学成像:纳米到宏观国际专题讨论会,2006年。2006年:1312-1315。
除非您正在提出具体的子集性能要求,否则不必为统计意义而启用这些子集。
独立性能结果的报告可遵循FDA题为“关于评价诊断试验研究的报告结果统计指导”的指南。
F. 电子数据
我们建议提交您研究中任何统计分析中使用的数据,包括病人信息、疾病或正常状况、损伤大小、损伤类型、病情等。为精简器械审查,在可能的情况下,可以电子方式(如在光盘上)进行成像和扫描设置以及成像和数据特性。关于以电子方式提交数据的更多信息,请见FDA题为《上市前文件的临床数据》的白皮书。此外,FDA关于eCopy方案18 和FDA题为 " eCopy医疗器械提交方案 " 的指导的网页。 19
VI. 临床性能评估
如上所述,由于每个新的CADE器械代表着CADE算法和软件的新实施,FDA预计,每一个新的CADE器械可能具有与合法上市的参照器械不同的技术特点,即使共用了相同的预定用途。因此,根据《FD&C法》第513(i)(1)(A)节,确定实质性等同与否将取决于所提交的资料是否、是否包括适当的临床或科学数据,证明新器械或更换器械与合法上市的参照器械一样安全有效,不会产生与参照器械不同的安全和有效性问题。
在某些情况下,临床性能评估可能没有必要证明新器械或更换的器械与合法上市的参照器械一样安全和有效,并不产生与参照器械不同的安全和有效性问题。如果能够直接将单独性能情况与法律上上市的参照器械的相应性能进行比较,而声称其具有相当有效性(即:使用同样的评价程序和测试数据集比较独立性能)。如果您可以直接比较,并且可以证明新器械或已变换器械至少有下列之一,则无需进行新的临床性能评估研究:
· 改进独立的敏感性度量(例如,增加基于损伤的敏感性),以及稳定或改进的独立的假正率度度量;
新的或改变的器械产生真实的正正数和假的CADE标记,这些标记与参照器械在位置和范围上产生的标记合理一致。
我们认为,在不需要进行新的临床性能研究时,最有可能出现的情况是,您能够将经过修改的CADE器械与原先的已释放的该器械的原版本进行比较。FDA认为,由于潜在的差异(例如,由于可能存在差异),在间接比较的基础上,很难证明新器械或已改变器械与参照器械之间具有实质上的等同性(例如,这两项研究的数据集、参考标准、评分过程、评价方法)中的数据。
可能还有其他情况,即独立性能评估,不进行临床性能评估(即:(a) 读者研究)可能足以表明实质上的等同。如果你认为这可能会适用于你的器械, 我们建议你联系机构 讨论你的情况。
因为读者是CADE器械诊断过程的一个组成部分我们认为,独立性能评估无需临床性能评估(即:(a读者研究)可能不足以证明,当独立性能无法直接与参照性能相比时,CADE器械的诊断性能与合法上市的参照一样安全和有效。此外,如果使用迹象发生变化,或与参照有实质性的技术差异(例如,如果使用迹象改变,则与参照器械直接比较整体独立性能可能不够充分。在这种情形下,您应当假设,必要时应当进行临床评估,以证明您的CADE器械与其预定用途的参照器械之间具有实质性的等同性,预定用户使用时,按照拟议的标签和说明。
这种临床性能评估应提供对CADE器械对临床性能的临床影响的估计。如果你认为临床评估对于证明你的器械与参照相当 可能没有必要我们建议你与FDA联系,在进行你的研究之前征求咨询意见。
在临床评估方面,我们建议你对照控制模式评估你的CADE器械的临床性能。可以采用各种武器监管,最常用的方法是不加帮助地阅读。使用无助读作为控制手段,可以评估你的器械在临床上的有效性,在510(k)项研究中,如先前一项研究所估计的,应该与参照器械的临床有效性相比较。 控制的另一个例子是使用在与您的器械相同的数据集上评价的参照器械。在此情况下,您应该直接比较使用您的CADE器械的临床医师的性能与在同一数据集上使用参照器械的临床医师的性能(见第六.A节)。与参照器械进行比较,以了解关于将临床性能与参照器械的性能相比较的更多细节)。
关于可能的临床评估方法的进一步详情,我们建议你参考题为“临床性能评估:用于放射图像和放射器械数据的计算机辅助探测器械的考虑因素,见预先通知(510(k))提交的材料。”
我们建议提交临床性能评估的已许可的CADE器械的变化实例包括:
• 用于评估独立性能的数据库的特点或构成(见第五节)。无法证明这些差异与用于评估参照器械的数据库的特点或构成相类似,这些差异引起了临床关切(即:• 独立性能评估结果(见第五节))低于参照器械;• CADE标记的位置或范围与参照器械的位置或范围大不相同,这些差别引起了临床关切(即:• 参考标准定义、评分过程、分析方法,或性能终点不同于参照器械的终点,这些差异对临床医生或病人的意义和影响在文献中并不广为人知或描述得很清楚;• 算法设计不同于参照器械的设计,这种差异引起临床关切(即可能对安全或有效性产生重大影响);• 采用新的购置技术或协议,改变向CADe提供的输入的性质（例如，受试CADe器械适用于数字放射影像，而参照器械适用于胶片放射影像）,这些差异引起了临床关切(即:这可能严重影响安全或有效性)。
我们建议,无论是否包括临床性能评估,在你的提交中应包含独立的性能评估。
A. 与参照器械比较
我们建议你将临床性能评估结果与声称具有相当能力的参照器械(例如:如果临床评估是必要的,则不一定总能与参照器械直接比较。一种备选研究可以与一种控制臂作比较,控制臂规定,将你的器械用于其预定用途,(a) 预定用户使用时,根据其拟议的标签和指示,导致
临床性能结果报告可遵循FDA题为“关于评价诊断试验研究的报告结果统计指导”的指南。
B. 电子数据
我们建议提交临床评估研究中任何统计分析中使用的数据,包括病人信息、疾病或正常状况、损伤大小、病情等。尽可能简化器械审查,尽可能以电子方式(如在光盘上)对成像和扫描类型、成像和扫描设置以及成像和数据特性进行简化。关于以电子方式提交数据的更多资料,请见FDA关于eCopy方案22的网页和FDA题为“eCopy医疗器械提交方案”的指南。
VII. 用户培训
我们建议你提供一份程序摘要,说明在推销时,用于培训器械预定用户的程序。这项培训的目标应该是帮助临床医生以适当的方式使用CADE器械,并提供培训,使他们能够实现预期的器械有效性。培训应包括该器械的预期优势和已知局限性(例如,CADE没有确定凝结结核)。 培训应当以包括正常病例在内的一整套广泛的病人数据为基础。这种培训数据应包括器械倾向于输出的典型真实正数和假正数,以及典型真实正数和假负数。
对于允许多个阈值或操作点的CADE器械,培训应帮助临床医生确定最适合其做法的器械设置。此外,培训应帮助临床医生确定适当的CADE阅读情景。
VIII. 标签标签
根据21 CFR 807.87(e),您必须提供拟议的标签、标签和广告,足以描述器械、预定用途、名称、名称等。及其使用方向。 510(k)必须包括足够详细的标签,以满足21个通用报告格式的要求
您的用户手册应包括以下信息。
A. 使用说明
我们建议使用标识(IFU)说明该器械将如何使用,例如:
该器械旨在协助[目标用户]审查[患者/数据特征],利用[图像类型/技术和成像条件]检测[目标疾病/状况/异常]。
B. 使用方向
如21 CFR 801.5所述,必须有适当的使用指示;适用于处方器械的要求见21 CFR 801.109。您应提交简明明了的说明,说明具体器械的技术特征,以及该器械如何用于患者图像/数据。教学应鼓励地方/机构培训方案,使临床医生熟悉该器械的特点以及如何安全有效地使用该器械。这些指示还应明确界定该器械的预定用户。
C. 警告警告
警告应针对器械的限制。 例如 :
[目标用户]不应仅仅依赖[器械交换名称]所确定的产出,而应对整个患者数据集进行全面的系统审查和解释。
另一个例子是:
这一CADE器械对[疾病/状况/异常]患者无效。不应在患者出现这种[疾病/状况/异常]时使用这一CADE。
D. 预防
预防措施应讨论与使用器械有关的不利事件的可能性,并建议减轻措施。对不利事件的讨论至少应包括
虽然510(k)项的清关不需要最后标签,最后标签必须符合21 CFR Part 801的要求,然后才能将医疗器械引入国家间商业。此外,处方医疗器械的最后标签必须符合21 CFR 801.109。本指南中的标签建议符合21 CFR Part 801的要求。 讨论与检查率提高(即假阳性者事件)和疾病/状况/失常有关的潜在不利事件。
E. 器械描述
我们建议你将下列内容列入你的器械说明:
· 算法设计和特点概览;• 说明用于发展和调整算法的病人数据参考标准;• 与您的CADE器械兼容的具体器械或器械技术和购置技术;• 适当显示您的CADE标记的显示要求,这些标记用于设计作为一般图像审查工作站和PACS附加软件的器械。
F. 临床性能评估
我们建议酌情列入临床性能评估摘要,包括:
• 研究目标、研究设计、病人人口(例如年龄、族裔、种族、性别)、临床医生人数及其资格;• 说明用于收集临床信息的方法,说明用于分析数据的统计方法,以及研究结果。
关于报告临床性能结果的补充资料,见FDA题为“临床性能评估:临床性能评估”的指南。用于放射图像和放射器械数据的计算机辅助探测器械的考虑因素,见预告(510(k)),提交材料。”
G. 独立性能评估
我们建议你提供器械独立性能和一般性测试的摘要,包括:
• 用于确定用你的CADE器械标明的每个区域的性质的评分标准;
脚注
[^2]: 可在以下网址查阅: <https://www.fda.gov/AdvisoryCommittees/CommitteesMeetingMaterials/MedicalDevicesAdvisoryCommittee/RadiologyDevicesPanel/ucm124890.htm。
[^4]: 见 74 FR 54053。
[^6]: 见 86 FR 20278。嵌入成像器械、图像审查平台(例如医疗图像管理和处理系统)或其他成像辅助器械。
[^7]: 关于产品编码的更多信息,请参考FDA题为 " 医疗器械分类 " 的指南。
[^11]: 21 CFR 807.81(a)(3)。
[^12]: 可在以下网站查阅: 业务-临床-试验-数据-监测-委员会。然后,真正的正CADE标记应定义为“标记”任何异常。如果一个器械的用意是只探测一个异常子集(例如,只探测具有某些成像特征的损伤),然后,您应该相应定义一个真实的或虚假的 CADE 标记 。
[^17]: 报告结果研究 - 评估 - 诊断 - 诊断 - 测试 - 指导 - 工业 - 信息。
[^19]: 可在“0”的医疗器械提交书查阅。· 改进独立假正率衡量标准(例如减少每个案件的假正率),以及稳定或改进的独立敏感度衡量标准;· 改进独立FROC曲线;
[^21]: 报告结果研究 - 评估 - 诊断 - 诊断 - 测试 - 指导 - 工业 - 信息。
[^23]: 807.87(e).。以下建议旨在协助你制作符合21 CFR Part 801.19要求的标签。
[^25]: 评估考虑-计算机辅助检测-器械-应用-放射学。· 在每个现有器械操作点,采用整体的独立敏感度和独立的假正率度量;• 分层分析(例如,每个损害大小、每个损害类型、每个成像或扫描程序、每个成像或数据特点);• 酌情采用独立FROC性能。