引言
「人工智能」輔助檢測醫療器械（軟件）臨床評價注冊審查指導原則
附件：人工智能輔助檢測醫療器械（軟件）臨床評價注冊審查指導原則
本指導原則旨在指導注冊申請人開展人工智能（artificial intelligence，AI）輔助檢測類醫療器械臨床評價的資料準備，同時為技術審評部門審評人工智能輔助檢測類產品臨床評價資料提供參考。
本指導原則進一步明確人工智能輔助檢測類醫療器械臨床評價的要求和適用情形。申請人可依據產品的具體特征確定其中內容是否適用，若不適用，需闡述理由并提供相應的科學依據，并依據產品的具體特征對臨床評價資料的內容進行充實和細化。
本指導原則是供注冊申請人和技術審評人員使用的指導性文件，但不包括審評審批所涉及的行政事項，亦不作為法規強制執行，應在遵循相關法規的前提下使用本指導原則。如果有能夠滿足相關法規要求的其他方法，也可以采用，但是需要提供詳細的合理性論述和驗證確認資料。
本指導原則是在現行法規和標準體系以及當前認知水平下制定，隨著法規和標準的不斷完善，以及科學技術的不斷發展，相關內容也將適時進行調整。
一、適用范圍
人工智能醫療器械從與預期用途角度可分為輔助決策類和非輔助決策類。其中，輔助決策是指通過提供診療活動建議輔助醫務人員進行臨床決策，如通過異常識別、自動制定手術計劃進行輔助分診、輔助檢測、輔助診斷、輔助治療等。
人工智能輔助檢測產品，是指基于計算機人工智能算法，可包含模式識別和數據分析等功能，通過識別、標記、突出等方式提示醫師關注可能的異常/病變區域，從而輔助臨床醫師做出相應診療決策的產品，可為獨立軟件或嵌入式軟件；分類編碼為21-04-02，管理類別為第III類；產品還可同時包含非輔助決策功能，如結構化報告生成、前后圖像對比、正常解剖組織的分割（如肺葉、肋骨等）、尺寸測量、CT值測量等臨床功能和數據儲存、傳輸等非臨床功能。人工智能輔助檢測產品常見的有針對肺結節、乳腺結節、骨折、血管狹窄、結腸息肉等病變/異常的檢出產品，本指導原則給出此類產品的通用要求，并以肺結節輔助檢測和結腸息肉輔助檢測產品為例（詳見附件），闡述對人工智能輔助檢測產品的臨床試驗中具體要素的考慮建議，同類型產品可參考相關適用部分。
本指導原則不適用于如下情形（但下述產品可參照本指導原則中適用部分的要求）：1.可鑒別病變的性質（如良惡性）或疾病分期分型的人工智能輔助診斷類產品；2.預測疾病發生概率的產品；3.可同時輔助檢測、鑒別診斷多種病變的多分類人工智能輔助檢測產品（例如同時輔助檢測并分類肺結節、條索、胸膜增厚、胸腔積液、肋骨骨折等的產品）；4.人工智能輔助分診、轉診產品，此類產品通過初步評估患者是否疑似患有目標疾病，從而對患者的分診轉診提供輔助決策建議，該類產品不給出具體病變情況，且無論輔助分診結果為陰性、陽性，均需專業醫師再一次對患者影像進行評閱，常見的有糖尿病視網膜病變輔助分診、肺炎輔助分診、腦出血輔助分診等；5. 配合體外診斷試劑產品使用的人工智能輔助分析軟件。
二、臨床試驗設計
（一）臨床試驗目的
臨床試驗目的一般是評價申報產品在預期適用范圍下使用時輔助檢測的診斷學性能，亦可一并觀察產品的可用性與安全性。
（二）臨床試驗基本設計類型
人工智能輔助檢測類產品的臨床意義通常在于提升醫師的病變檢測準確度，為充分評估產品的臨床受益風險可接受性，此類產品一般需考慮開展對照試驗，根據產品特征及臨床診療實際，可以為隨機平行對照、交叉自身對照或多閱片者多數據樣本（multiple reader multiple case，MRMC）試驗設計。
試驗組一般為醫師在軟件的輔助下完成異常/病變的檢測，對照組一般為臨床醫師獨立的異常/病變的檢測，比較二者的檢測準確度。
（三）研究對象
1．適用人群的影像學樣本
預期人群的影像學樣本是人工智能輔助檢測產品臨床試驗的典型研究對象，影像學樣本需基于定義明確的入選和排除標準收集，可為臨床已有數據（如臨床診療中產生的真實世界數據）。考慮到AI與醫師觀察、操作的協同交互等因素，基于實時影像的輔助檢測產品臨床試驗，推薦考慮前瞻性采集影像檢查，作為臨床試驗研究對象。
為了保證臨床試驗質量以及結果的可靠性，選取研究對象時，申請人需考慮如下措施：一是納入數據樣本獨立于申報產品或前代產品開發所用數據集，如申報產品或前代產品的訓練集、測試集。二是采用臨床已有數據進行研究時，需基于明確且嚴格的入排標準和臨床試驗計劃，連續收集過往某段時間內、特定醫療機構內患者影像學數據，避免主觀挑選病例。三是考慮陽性樣本中，目標疾病的疾病譜分布（如分型、分期）合理性，某些對輔助檢測具有挑戰性的分期、分型，必要時在臨床試驗中富集相關具有代表性的亞組。四是通常情況下，需避免在一項臨床試驗中同時入組同一患者同一目標部位的多組樣本數據。五是臨床已有數據收集時，需盡可能全面的收集與疾病相關的信息（適用的），具體包括但不限于：
（1）人口統計學信息(如年齡、性別);
（2）與輔助檢測目標疾病相關的信息，如病史、疾病狀態、分期、分型、病變大小、病變位置、器官特征(如乳腺腺體分型)、伴隨疾病等。
（3）確定為陽性/陰性病例的依據，如既往診斷結論，以及確定疾病狀態、部位和程度的方法。
2.閱片者
由于閱片者表現的變異度及其與患者樣本變異度和診斷方法（即AI輔助器械）之間的交互效應，一般情況下宜將閱片者列入研究對象。基于非實時影像的輔助檢測產品（如肺結節/骨折/乳腺結節輔助檢測等），采用MRMC設計可較好的控制閱片者偏倚，同等情況下所需的樣本量一般較少，申請人可優先考慮選擇。采用MRMC設計時，根據預期的使用者情況，選取不同年資的多位醫師作為閱片者，申請人需論述閱片者數量的合理性。
（四）評價指標
主要評價指標應結合產品設計特征進行綜合選擇，一般認為靈敏度、特異度、ROC或其衍生曲線等診斷準確性指標受樣本患病率差異的影響較小，因此，宜優先考慮此類指標作為主要評價指標。
無論選擇哪些指標作為主要評價指標，該類產品臨床試驗應當考慮整體的優效性設計，例如ROC或其衍生曲線下面積（Area Under Curve，AUC）的優效設計，或者目標疾病輔助檢測特異度非劣效前提下的靈敏度優效性，或者息肉/腺瘤初檢檢出率的優效性等。
（五）臨床參考標準構建
申請人應詳述臨床參考標準的選擇、構建方法及理由。可供選擇的臨床參考標準構建方法包括：一是以臨床已確認結果為臨床參考標準，即臨床上結合患者影像學檢查、病史、實驗室檢查（如病理檢查）、長期隨訪結果等方法綜合判定的臨床診斷結果；二是通過專家組對研究對象（影像樣本）的閱片判定作為臨床參考標準。
對于人工智能輔助檢測產品，若根據產品設計判定可采用專家組意見作為臨床參考標準，通常可選擇高年資醫師組成的閱片專家組綜合意見為臨床參考標準，閱片專家組的成員需獨立于“試驗和對照組的閱片研究者”，并需要明確：1.專家數量；2.專家經驗及專業水平；3.決策機制（如遵循多數意見、背靠背第三人仲裁等）；4.專家決策時所依據的信息（如圖像上是否有標記，是否還提供了病史或其他檢查結果等）；5.判定所依據的臨床準則（如臨床指南、診療規范、專家共識等）。
對于試驗中對病灶的檢出是否與臨床參考標準專家組意見一致，一般可考慮1.試驗組/對照組勾畫病灶的中心在專家組勾畫的病灶輪廓邊界范圍內；2.試驗組/對照組勾畫病灶與專家組勾畫病灶的像素重合度高于一定比例（需提供比例設定的支持依據）；若采用其他判定方法，則需論述合理性。
若采用臨床已確認結果作為臨床參考標準，則需明確1.已確認結果所依據的臨床信息，包括檢查類型及結果；2.各類影像學檢查的設備信息，包括影像檢查的掃描條件等；3. 已確認結果的臨床診斷依據；4.得出已確認結果的醫師情況，包括專家會診，需明確醫師資質；5.若還依據了臨床隨訪數據，則還需明確隨訪的時間以及隨訪所做的檢查類型及結果。
（六）樣本量估算與統計分析
樣本量估算需綜合考慮臨床試驗設計、主要評價指標和統計學要求。申請人需明確計算公式、相應參數及確定理由，以及所用的統計軟件。
臨床試驗資料中可以提供樣本患病率以及目標疾病的流行病學研究的患病率情況進行合理性論述，并確保臨床研究設計中樣本數據隨機分配給閱片者進行評閱。
平行對照試驗樣本量計算可參考《醫療器械臨床試驗設計指導原則》中的相關內容。
若采用MRMC的試驗設計，樣本量計算需首先明確具體的分析方法，如Obuchowski-Rockette Analysis（OR分析方法）、Dorfman-Berbaum-Metz-Hillis Analysis（DBMH分析法），并進一步明確受試醫師數量，檢驗水準α、檢驗效能1-β、預計效應值，優效/非劣效界值，其中預計效應值可通過預試驗或調研并匯總分析目標病灶檢出的診斷學研究文獻獲得，優效/非劣效界值應通過同品種產品臨床試驗結果或權威文獻研究等確定。不同疾病的檢測效應不同，在試驗設計中應明確優效/非劣效界值的設定依據。以DBMH分析法為例，樣本量估算與交互隨機效應值，檢驗的檢驗效能、檢驗水準，受試醫師數量，優效界值，非劣效界值（如有）等要素有關。用于樣本量估算的效應值（effect size）選擇時，可通過預試驗得到的誤差和混合效應方差來估計，并考慮預試驗樣本量等情況，在預試驗結果的基礎上采用適度保守的估計。
所有應用了試驗產品的受試醫師和患者都將被納入分析，對于主要指標，除給出主要評價指標（靈敏度、特異度、AUC）的點估計外，還將分別對其對應的95%置信區間進行估計，通過試驗組與對照組的優效/非劣效比較判斷本試驗產品是否滿足臨床應用的需要。
（七）其他臨床試驗設計需關注的問題
1.臨床試驗培訓
在試驗前對閱片者開展必要的培訓，可以有效降低試驗的偏倚。除基本情況培訓（試驗流程、術語定義、數據樣本閱片的評價標準等）以外，還需考慮案例培訓和典型數據樣本講解等，且所用案例獨立于試驗研究數據樣本；培訓中宜設置閱片者培訓結果測試及合格接受標準；建議臨床試驗中，對閱片者的培訓與臨床應用時的培訓，在方法、時間、接受標準上盡量保持一致性；并考慮對臨床試驗閱片者資質、能力等要求與臨床應用時使用者情況的匹配性。對專家組的培訓時間和接受標準宜顯著高于試驗組/對照組的閱片者的培訓時間和接受標準。
2.影像樣本評閱質量控制
一是由閱片者在獨立盲法條件下對患者關于試驗的影像檢測結果進行解釋。二是在選取試驗閱片者時基于其專業能力和參與研究的可能性，充分保證閱片者對預期使用者的代表性。可考慮不同醫療機構來源、不同年資/專業水平的醫師。三是將數據樣本的臨床診斷結果、臨床參考標準判定結果、其他診斷信息（如生化檢測結果、后續治療等）或基本信息（如年齡、病史等）對試驗的閱片者設盲。四是對照試驗可考慮采用交叉閱片設計，交叉設計中可根據相關領域記憶曲線的研究設置合理的洗脫期。若采用多閱片者，最好每位閱片者按照不同的數據樣本順序進行評閱，有文獻報道典型的洗脫期一般為4~6周。是否采用交叉設計可根據申報產品的臨床應用方法、場景及適用范圍等綜合判定。
三、產品中非輔助決策臨床功能的評價
人工智能輔助檢測醫療器械產品還可能包括結構化報告生成、前后圖像對比、正常解剖組織的分割（如肺葉、肋骨等）、流程優化、尺寸測量（包括大小、體積等）、CT值測量等非輔助決策類軟件功能，可在臨床試驗中設置次要評價指標用于評價這些功能的安全有效性，亦可根據《醫療器械臨床評價技術指導原則》提交相應臨床評價資料。若提交臨床評價，上述功能的驗證確認可以考慮測試集測試、壓力測試、對抗測試、質量良好的數據庫測試結果中的一種或幾種作為臨床評價的支持證據；若在臨床試驗中設置次要指標，指標一般采用臨床上對功能準確性評價的臨床參考標準或學術上常用的方法，如分割的準確性考慮，與醫師的分割結果的分割一致性Dice相似系數（Dice similarity coefficient）等；配準功能可考慮標志點配準誤差(Fiducial Registration Error)、目標配準誤差（target registration error）、標志點定位誤差(Fiducial Localization Error)等。
四、與臨床評價相關的說明書內容
說明書中一般需結合臨床與非臨床資料給出下列適用的信息：1）臨床試驗總結；2）適用范圍；3）數據采集設備和數據采集過程相關要求等。臨床試驗總結通常考慮臨床數據基本信息、評價指標與結果（必要時含亞組結果）。人工智能輔助檢測類產品的適用范圍需明確輔助檢測適應癥（如肺結節、骨折），所基于的影像類型（如胸部CT或結腸鏡檢查影像），產品其他主要功能（如影像的顯示、處理、測量和分析），以及產品臨床定位（不能單獨用作臨床診療決策依據）等。
建議申請人根據產品實際情況在說明書中體現如下方面的警告注意事項。1)軟件僅輔助醫師進行病灶檢測，存在假陰/陽性可能，應由專業醫師結合患者的病史、癥狀、體征、其他檢查結果情況綜合給出最終的病灶檢出結論，核實是否需要進一步診療的決策，并對臨床診斷結果負責。2) 產品依據YYYY年版指南（例如《胸部CT肺結節數據標注與質量控制專家共識（2018）》）設計，如診療指南有所更新，使用者應充分評估指南差異可能帶來的風險。3）明確產品臨床試驗中未對病灶邊界分割的準確性進行評價，如依據軟件的檢測結果決定手術干預或穿刺活檢，醫師應當充分評估其風險。
五、參考文獻
[1]中華醫學會呼吸病學分會肺癌學組， 中國肺癌防治聯盟專家組，肺結節診治中國專家共識（2018版）[J]. 中華結核和呼吸雜志， 2018,41(10): 763-771.
[2]原國家食品藥品監督管理總局.醫療器械臨床試驗設計指導原則:食品藥品監管總局通告2018年第6號[Z].
[3]國家藥品監督管理局醫療器械技術審評中心.深度學習輔助決策醫療器械軟件審評要點：國家食品藥品監督管理局醫療器械技術審評中心通告2019年第7號[Z].
[4]Guidance for Industry and Food and Drug Administration Staff Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data - Premarket Notification [510(k)] Submissions（FDA，2012.07.03）
[5]Lung Cancer Screening CT ProtocolsVersion5.1（AAPM，2019.9.13）
[6]FDA. Clinical Performance Assessment: Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data - Premarket Approval (PMA) and Premarket Notification [510(k)] Submissions - Guidance for Industry and FDA Staff，(2012.11)[2021-4-15]. https://www.fda.gov/regulatory-information/search-fda-guidance-documents/clinical-performance-assessment-considerations-computer-assisted-detection-devices-applied-radiology
[6]Sica, G.T., 2006. Bias in research studies. Radiology, 238(3), pp.780-789.
[7]Xiao-Hua Zhou, Nacy A. Obuchowski, Donna K. McClish. Statistical Methods in Diagnostic Medicine [M]. Hoboken: JohnWiley&Sons, 2011.
[8]國家衛生健康委員會. 人工智能輔助診斷技術臨床應用質量控制指標（2017年版）:國家衛生計生委通知2017第7號[Z].
[9]Brandon D. Gallas.et al. Evaluating Imaging and Computer-aided Detection and Diagnosis Devices at the FDA [J]. Acad Radiol. 2012 Apr; 19(4): 463–477. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5557046/
[10]蕭毅, 劉士遠. 肺結節影像人工智能技術現狀與思考[J]. 腫瘤影像學, 2018, 27: 249-252.
[11]Rees, Colin J., et al. “UK key performance indicators and quality assurance standards for colonoscopy.” Gut 65.12 (2016): 1923-1929.
[12]Misawa, Masashi, et al. "Development of a computer-aided detection system for colonoscopy and a publicly accessible large colonoscopy video database (with video)." Gastrointestinal endoscopy 93.4 (2021): 960-967.
[13]國家消化系統疾病臨床醫學研究中心（上海）， 中華醫學會消化內鏡學分會，中華醫學會健康管理學分會等. 中國早期結直腸癌篩查流程專家共識意見（2019）[J]. 中華醫學會雜志，2019,99（38）：2961-2970.
[14]Rompianesi, Gianluca, et al. "Artificial intelligence in the diagnosis and management of colorectal cancer liver metastases." World Journal of Gastroenterology 28.1 (2022): 108.
[15]國家藥品監督管理局.醫療器械臨床評價技術指導原則:國家藥品監督管理局通告2021年第73號[Z].
肺結節CT影像輔助檢測產品采用MRMC設計、交叉自身對照設計或平行對照設計。平行對照設計的具體過程及方法參考《醫療器械臨床試驗設計指導原則》相關內容。
若采用MRMC的設計，試驗過程具體為，將參與試驗的臨床醫師隨機劃分為A、B兩組。A組：醫師第一階段在使用AI輔助的條件下完成所有數據樣本CT影像的肺結節檢測；經一定的洗脫期后，第二階段在不使用AI輔助的條件下完成所有數據樣本CT影像的肺結節檢測。B組：醫師第一階段在不使用AI輔助的條件下完成所有數據樣本CT影像的肺結節檢測；經一定的洗脫期后，第二階段在使用AI輔助的條件下完成所有數據樣本CT影像的肺結節檢測。該試驗中醫師使用AI輔助的作為試驗組，不使用AI輔助的作為對照組，對比試驗組與對照組肺結節檢測的診斷準確度指標，閱片過程中每名醫師需分別在使用AI和不使用AI的條件下都完成所有入組影像數據樣本的閱片。
二、評價指標
此類產品臨床試驗通常選擇檢出的靈敏度（以病灶為單位）和特異度(以患者為單位)等組成的復合指標，亦可在此基礎上添加受試者工作特征（receiver operating Characteristic, ROC）曲線或其衍生曲線組成復合指標，如因變量自由的受試者工作特征（free-response receiver operating Characteristic, FROC）曲線、定位受試者工作特征（location-specific receiver operating characteristic, LROC）曲線等。使用ROC曲線或其衍生曲線時，可考慮在試驗組醫師閱片階段，由閱片醫師標記對目標疾病判定的檢驗效能（可考慮百分數評分），從而構建ROC曲線，并需考慮在培訓階段明確醫師百分數評分的標準和方法。
次要指標可包括AI輔助醫師檢出目標疾病的陽性預測值/陰性預測值，似然比，Kappa系數，軟件獨立檢出目標疾病的靈敏度（以病灶為單位），軟件獨立檢出目標疾病的靈敏度和特異度（以患者為單位），閱片時間，醫生診斷信心評價，軟件功能易用性和穩定性（可采用主觀感受評價，如李克特量表等）。若同時觀察量化分析等非輔助決策臨床功能的性能表現，亦可設立相應次要評價指標。
三、樣本量估算及統計學分析
以MRMC設計為例，說明樣本量估算考慮要素，若主要評價指標為AUC、結節水平靈敏度、患者水平特異度。試驗中，檢驗的檢驗效能取80%。對于主要評價指標，優效性與非劣效統計分析將在單側0.025的檢驗水準下進行。下述內容僅為示意舉例，可根據產品具體情況合理調整相關參數：
1.基于AUC的樣本量計算，預試驗或文獻資料確認效應值取0.05，研究醫師設定為12名，AUC優效界值取0，則總樣本量不得低于87例，陰性、陽性患者比為1:1。
2.基于結節水平靈敏度，效應值取0.069，研究醫師設定為12名，優效界值取0，需陽性樣本至少116個結節，假定平均每個陽性患者存在2個結節，則至少需要58例陽性數據樣本。
3.基于患者水平的特異度，效應值取-0.055，非劣效值取0.1（參考Riverain ClearRead CT 的特異度95%區間下限），在當受試醫師為12名時，非劣效驗證（非劣效界值取0.1）需要陰性樣本達到至少157例。
綜合以上各指標樣本量估算值，本試驗樣本量最低為215例，陽性數據樣本58例，陰性數據樣本157例。考慮到樣本存在剔除和脫落的可能，當預期脫落率為5%，剔除率為5%時，陽性樣本需要達到至少62例，陰性樣本需要達到至少166例，共計228例。
結腸息肉電子內窺鏡圖像輔助檢測產品可考慮平行對照設計，此處以序貫的平行對照為例進行說明，申請人亦可采用其他科學的平行對照設計開展研究，序貫的平行對照具體設計及試驗程序如下：
入組的受試者隨機分配到A組和B組，A組：常規結直腸鏡檢查先進行組：先接受無 AI 輔助的常規結直腸鏡檢查，對檢查過程中發現的所有息肉都凍結影像留存圖片。第一次退鏡后在AI 輔助下再做一次結直腸鏡檢查，對檢查過程中發現的所有息肉都凍結影像留存圖片。B 組：AI 輔助檢查先進行組：先接受 AI 輔助的結直腸鏡檢查，對檢查過程中發現的所有息肉都凍結影像留存圖片。第一次退鏡后再進行一次常規結直腸鏡檢查，對檢查過程中發現的所有息肉都凍結影像留存圖片。分別以各組兩次檢出的腸息肉作為基準，比較第一次檢查時，有AI輔助檢測和無AI輔助檢測的病變檢出能力。原則上，結腸息肉人工智能輔助檢測產品臨床試驗需將前瞻性腸鏡檢查樣本作為臨床試驗研究對象。
二、評價指標
此類產品臨床試驗因不完美臨床參考標準等問題，可考慮選取息肉/腺瘤的初檢檢出率/漏診率或息肉檢出的靈敏度與特異性等作為主要評價指標。相關指標需以息肉/腺瘤水平而非受試者水平進行計算，例如初檢息肉檢出率=初檢發現的息肉數量÷兩次檢測到的息肉總數，腺瘤漏診率=第二次檢測到的腺瘤數÷兩次檢測到的腺瘤總數。
次要評價指標可考慮息肉/腺瘤檢出率（受試者水平），平均息肉/腺瘤檢出數，軟件獨立評估性能（即軟件獨立的息肉/腺瘤檢出率、息肉檢測準確性等）：結直腸鏡操作時間（包括各次進鏡時間、退鏡時間）、軟件易用性評價、穩定性評價、不良事件情況等。若同時觀察圖像傳輸、儲存等非輔助決策臨床功能的性能表現，亦可設立相應次要評價指標。
三、樣本量估算
1.以序貫的平行對照試驗為例，若采用腺瘤漏診率作為評價指標，樣本量的計算基于腺瘤漏檢率的主要結果（每個病灶），假設如下：AI 先進行組別的腺瘤漏診率為 10%，標準檢查先進行組別的腺瘤漏診率為 30%，優效界值設定為0，在 80％統計功效的條件下， 雙側α值設為 0.05。主要評價指標為初檢息肉檢出率，其樣本量估算公式為：
假設每位患者的平均腺瘤數為 0.6，考慮10%的脫落率，需入組220名受試者，AI 先進行組110名，標準檢查先進行組110名。
2.若采用初檢息肉檢出率作為主要評價指標，A 組： 常規結直腸鏡檢查先進行組； B 組： AI 輔助檢查先進行組。PC、 PT 分別為 A 組和 B 組預期初檢息肉檢出率，其中 PC=70%、 PT=80%；|D|為兩組預期率差的絕對值， |D| = |PC - PT|； Δ 為優效性界值，取 0。主要評價指標為初檢息肉檢出率，其樣本量估算公式為：
假設每位患者的平均息肉數為 2.5， 需約 234 例，脫落率為 20%，最終樣本量為 296 例， A組和 B 組各 148 例。
