基於人工智慧的全自動閉環系統:從強化學習到臨床轉譯
主持人 (Josep): 接下來為您介紹 Marc Breton。Marc Breton 是維吉尼亞大學 (University of Virginia) 糖尿病科技中心的教授。我想他將為我們揭示在使用人工智慧的閉環系統 (closed-loop systems) 上的一些最新進展。請開始。
Marc Breton: 非常感謝你,Josep。身為這場議程最後一位講者的宿命就是時間永遠不夠,所以我會盡量把所有內容塞進這短短幾分鐘內。
我今天要談的是全閉環系統 (fully closed loop),並探討在維吉尼亞大學我們所研究的全閉環系統中,數據驅動方法 (data-driven method) 扮演了什麼樣的角色。這是我潛在的利益衝突聲明。我曾接受來自 Dexcom、Novo Nordisk、Tandem Diabetes Care、Roche、Sinocare 與 BoydSense 等公司的酬勞、諮詢費或研究經費贊助。這是一張大家都很熟悉的標準投影片。
目前自動胰島素給藥系統 (AID) 的現況
我們現在處於什麼階段?我們已經有了自動胰島素給藥系統 (Automated Insulin Delivery, AID)。AID 確實有效。我們今天將把焦點放在第 1 型糖尿病上。目前市面上主要有三大系統,分別是 Medtronic 780G、Insulet Omnipod 5 以及 Tandem Control-IQ,這三大系統涵蓋了全球大約 94% 的 AID 使用者,服務著全球約 150 萬名患者。
這些系統都已經在隨機對照試驗 (randomized control trial) 以及平行的隨機對照試驗中獲得驗證。它們也都有長期的觀察性世代研究 (cohort studies),我們幾乎每個月都會看到相關的論文發表。
更棒的是,它們都已經在「高風險族群」中獲得了驗證。我非常喜歡終於能在投影片上寫下這句話:這些系統已經在孕婦、幼童以及老年人身上進行了測試,全部都適用。此外,它們也進行了擴展適應症的測試,大多數系統已經被證明在第 2 型糖尿病患者身上,效果即使沒有更好,也和在第 1 型糖尿病患者身上一樣有效。
這些系統在「被告知有進食」的情況下運作得最好,也就是所謂的混合閉環系統 (hybrid closed-loop system)。這意味著,如果你在用餐時或餐前給予一劑量 (bolus)——無論這個劑量是透過計算碳水化合物得出的,還是僅僅將餐點分類為小、中、大,甚至只是簡單按個按鈕給藥——所有這些系統的表現都會更好。
但這並不代表這是使用這些系統的唯一方式。所有這些系統要進入市場(至少在美國絕對是如此),都必須進行「無餐前給藥 (without meal boluses)」的研究。它們必須證明,如果使用者(患者)在進食時沒有給予餐前劑量,系統依然是安全的。這似乎是不言而喻的。而我們現在在這些世代研究中,確實看到了許多患者以全閉環 (full closed loop) 的方式使用這些系統,幾乎從不手動給藥。在這種情況下,目前所有這些商業系統的表現其實都相當不錯。
為什麼我們不該直接比較不同系統的數據?
我本來打算在這裡對不同系統進行比較,因為我們現在有多篇論文展示了這些混合系統在全閉環模式下的使用情況。但我突然想起,我們不應該這麼做。所以這張投影片是在提醒我們「不該直接比較」。
不同的連續血糖監測儀 (CGM) 報告結果的方式並不相同。這是 Freckmann 教授非常珍貴的研究成果。他把三個不同的感測器戴在同一個人身上,這項研究讓 23 位成人受試者同時配戴了 FreeStyle Libre 3、Dexcom G7 與 Medtronic Simplera 長達 14 天。結果顯示,這三款 CGM 在各個血糖區間的時間佔比(例如 >180 mg/dL 或 <70 mg/dL)存在明顯差異。這證明了它們報告的結果並不一致,這種個體內的數據差異甚至會導致截然不同的臨床治療建議。因此,我們不會在這裡直接比較不同的系統。
從混合閉環到全閉環的挑戰
從混合閉環(投影片上方那個手忙腳亂的漫畫)走向全閉環(下方那個悠哉的漫畫),這是我童年最喜歡的漫畫人物 Gaston Lagaffe。如果你有興趣,這是一部很有趣的連環漫畫。
那麼,問題出在哪裡?困難點是什麼?
困難主要來自於一個事實:我們目前的胰島素動力學 (insulin kinetics),甚至是我們在研發中看到的加速版胰島素動力學,都不足以匹配餐後血糖上升的速度。
這裡有一份我從大約 20 年前的舊研究中找出來的數據。你可以看到圖表上藍色曲線代表餐後血糖出現的速度,棕色曲線代表胰島素作用的速度。我們必須在餐後血糖飆升的早期盡可能注入大量胰島素,並在最初的血糖上升期過後限制注射量。你可以清楚看到這兩條曲線之間的差異,這種時間差會導致血糖迅速上升,引發潛在的高血糖;隨後又會迅速下降,引發潛在的低血糖。
在這種情況下,我們該如何實現全閉環?因為如果你只在進食當下才給藥,你就已經落後了。
有幾種解決方案:
- 你可以偵測進食 (detect meal),目前已經有 AI 模組被用來執行這項任務。
- 你可以設計更進階的控制演算法 (advanced control algorithm),讓系統在餐後血糖波動的初期和末期,能夠表現出截然不同的行為。
- 你可以使用佐劑 (adjuvants)。這個禮拜我們已經聽了好幾場關於使用 GLP-1 受體促效劑或 SGLT2 抑制劑來協助 AID 系統運作的演講。抱歉,我差點忘了還有 amylin(胰島澱粉素)。Amylin 可以減緩餐後葡萄糖的出現;GLP-1 RA 可以減緩葡萄糖出現並減少進食量;而 SGLT2-i 則能削平餐後血糖的峰值。這些都能在餐後血糖波動期間減輕 AID 系統的負擔。
維吉尼亞大學的 AIDANET 系統
因為我只剩兩分鐘了,所以我將把重點放在維吉尼亞大學的 AID 系統上,它被稱為 aidanet,代表的是 AID as a Network。
這個系統的作用是,它利用了幾個基於數據驅動方法 (data-driven methods) 的新模組,來解決我們在控制餐後血糖波動時面臨的一些挑戰。特別是我剛剛提到的一點:系統必須能夠在進食初期、血糖上升中段、以及接近血糖峰值時,表現出完全不同的給藥行為。
理所當然地,你會希望在初期盡可能注入最多的胰島素;當血糖開始攀升時,你會希望放慢給藥速度;而當你接近血糖峰值時,你絕對不能再注射任何胰島素。因為如果你在接近峰值時注射胰島素,你將會面臨低血糖的風險——這些胰島素會在三個小時後發揮作用,那才是真正危險的時候。因此,基礎胰島素的調節必須積極且及早,並在達到血糖最大值前完全停止。
為了做到這一點,我們加入了幾個模組:
- 第一個模組是我們放在控制系統核心的神經網路 (neural network),它完全有能力執行我剛剛描述的任務。
- 系統具備偵測類似進食事件 (meal-like event) 的能力。我這裡說得比較保守,我們其實不是在偵測「進食」,我們是在偵測「看起來需要給予餐前劑量」的血糖模式。當然,大多數時候這確實是進食,但也不一定。這是透過自動分析患者近期 CGM 和胰島素歷史數據來達成的。
- 它能適應患者每天的需求。系統內有一個適應模組,會根據過去的表現,持續調整系統的積極程度與運作方式。
- 它保留了維吉尼亞大學早期研究所開發出來的核心元素(也就是後來成為 Control IQ 的基礎),包含了低血糖保護機制以及陷入高血糖時的自動校正 (autocorrection) 功能。
- 最後一個重點是,它允許混合閉環 (hybrid closed loop) 操作。雖然我接下來要展示的是全閉環的結果(這也是我們設計系統的初衷),但我強烈認為,我們不應該強迫糖尿病患者必須如何使用 AID 系統。如果他們想要手動給藥,如果這對他們達到更好的控制表現很重要——因為在目前的胰島素範式下,手動給藥永遠比不給藥來得好——如果他們想這麼做,系統應該允許他們這麼做。所以,一個系統不該被死板地分為混合閉環或全閉環,一個好的系統應該要能支援這些不同的模式。它同時允許計算碳水化合物或簡單宣告進食的混合閉環,以及完全不宣告的全閉環使用。
AIDANET 的早期驗證與測試
我們已經測試這個系統一段時間了。
第一個研究是在疫情期間進行的,與我的同事 Jose Garcia Tirado 合作,我們只測試了單一餐點。這項研究發表於 2021 年的《Diabetes Care》。結果顯示,在沒有手動給藥的情況下,我們的新系統能夠對血糖波動做出快得多的反應。圖表上的紅線是大學版本的 Control IQ,藍線則是我們的新系統。
在測試了單一餐點後,我們在非常受控的環境下進行了全天候的測試,包含了完整的三餐。這項研究發表於 2023 年的《Diabetes Care》。受試者住在飯店裡,研究團隊全程在場,確保一切運作正常且患者安全。我們必須對這些「目標範圍內時間 (Time in Range)」的百分比保持謹慎,因為這並不是我們在日常真實生活中會看到的數據。但這證明了該系統在全閉環模式下是高度可行的,其目標範圍內時間可達 77%。
接著,我們也針對進食偵測模組進行了測試。我剛剛提過,我們有一個小模組可以偵測類似進食的事件並給予劑量。這個「自動啟動劑量 (priming bolus)」的大小,實際上是可以由醫師或使用者來控制的。他們可以決定自己對於系統自動給予較大劑量胰島素的接受度,範圍可以從零(「我完全不想要這些啟動劑量」)一直到每日總劑量 (TDI) 的某個比例。我們目前測試的範圍是最高達每日總劑量的 10%。這項研究發表於 2025 年的《Diabetes Technology & Therapeutics》。
我們測試了這個模組的效果。我們發現,是的,有這個模組確實有幫助,在最高 10% 的設定下,藍色曲線(有啟動劑量)表現優於紅色曲線(無啟動劑量)。但我們同時也證明了,即使沒有這些啟動劑量,系統的一切運作依然良好且安全。
FCL@Home:全閉環居家臨床試驗
所以,是時候讓系統進入患者家中了。我和科羅拉多大學芭芭拉·戴維斯中心 (BDC)、UCSF 的 Lael Spore 等同事,以及我們維吉尼亞大學的團隊,決定進行一項過渡到居家的研究 (transition to home study)。
你們之前可能看過部分數據。我們有 3 個試驗中心,預計進行 2 個梯次,每梯次最多 6 名參與者(總人數 N=36)。我們決定將受試者分為兩個世代:
- 第一個是我們認為比較容易控制的群體:HbA1c 低於 8% 的患者。
- 第二個是更具挑戰性的群體:HbA1c 高於 8% 的患者。全部都是第 1 型糖尿病患者。
我們涵蓋了三個年齡層:青少年 (14-17歲)、年輕成人 (18-25歲) 和成人 (26歲以上)。
試驗的流程如下:受試者先在飯店待 5 天。在這 5 天裡,我們讓自己熟悉「將患者置於全閉環系統」意味著什麼,試圖了解我們需要提供什麼樣的訓練、患者對系統的適應度如何,並確保系統連線正常且運作無誤。這段期間患者每天可以自由選擇 3 餐不宣告的餐點,並進行約 60 分鐘的運動。
5 天後,我們讓他們回家。他們只在家待了一個禮拜。請記住,這是我們第一次將這個系統送到我們無法直接觸及的地方,所以我們在這一個禮拜內,非常謹慎地對患者進行了遠端監控。
我們決定將這一個禮拜的全閉環數據,與兩週「常規照護 (usual care)」對照期中的最後一週進行比較。這是一個隨機交叉設計 (randomized crossover design),常規照護期可能在全閉環介入期之前或之後進行。
我們是如何執行的?我們使用了我們可靠的 Android DiAs 原型平台,搭配現在算是有點舊的 T-slim 幫浦和 Dexcom G6 血糖機。我們設有自動化的通知警報和遠端監控。
最終有 34 人完成了研究。有 2 人退出,均發生在低 A1C 的年輕成人組,一人是因為生病,另一人是依受試者要求退出。除了 1 人之外,其餘受試者原本都是 AID 的使用者。因此,當我們看「常規照護」的數據時,他們使用的是目前市面上的混合閉環系統(包含 MiniMed 780G、Omnipod 5 和 Control IQ 這三大系統)。研究過程中沒有發生嚴重或與設備相關的不良事件。
患者的人口統計資料如下:12 名男性 / 31 名女性 / 1 名其他性別;年齡介於 14 到 53 歲;HbA1c 介於 5.9% 到 10.8%;體重 50 到 166 公斤;每日總劑量 (TDI) 22 到 103 單位。順帶一提,這些結果現在已經發表了,文獻參考為 Moscoso Vasquez M, Ekhlaspour L, et al. Diabetes Care 2025 Dec。
整體血糖控制結果
發生了什麼事?結果非常驚人。
主要評估指標是平均 CGM 血糖值,我們進行了非劣性檢定 (non-inferiority),邊界設為 10 mg/dL。我認為結果非常有說服力,它完美地通過了測試。
在這 34 名第 1 型糖尿病患者中,在完全不手動給藥的全閉環 (FCL) 模式下,新系統的表現不亞於目前市面上的混合閉環系統。 這反映在平均 CGM 血糖值、目標範圍內時間 (Time in Range)、嚴格目標範圍內時間 (Time in tight range),以及幾乎所有你能想到的指標上。
在測試完非劣性之後,我們問了一個不同的問題:「它們實際上是否有差異?」這顯然是一個不同的統計問題。
結果顯示,在這個受試群體中,全閉環系統在平均血糖控制上優於常規照護系統。常規照護的平均 CGM 為 177.9,而全閉環降至 163.8 (p=0.000);Time in Range 從 57.9% 提升至 63.6% (p=0.002);大於 180 mg/dL 的時間從 40.8% 降至 34.8%。
這一次你可以看到,低於 70 和低於 54 的時間,在全閉環和常規照護之間並沒有顯著的優劣或差異。(常規照護低於 70 的時間為 1.3%,全閉環為 1.6%)。
我們是怎麼做到這一點的?因為一個全閉環系統居然能擊敗混合閉環系統,這聽起來至少有點令人驚訝。
答案就在這裡:白天表現相當,夜晚表現更好。
因為我們在白天有更進階的胰島素給藥方式,所以白天能維持相當的表現;但在夜間,新系統的控制比目前市面上的系統(或至少比我們受試者使用現有系統的方式)更為積極。你可以從圖表上清楚看到兩條曲線的分野。從下午 4 點到午夜,全閉環的紅線明顯低於常規照護的藍線。然後你也可以清楚看到它們在白天融合在一起,表現變得相當。所以,如果你在一天中的某個時段表現相當,而在另一個時段表現更優,那麼最終你就能獲得整體更優的結果。
不同 HbA1c 與年齡層的次群體分析
另一個有趣的問題是,控制良好的群體與控制不佳的群體,結果有什麼不同?
你可以清楚看到,對於 HbA1c 低於 8% 的人,我們證明了非劣性。在 HbA1c < 8% 的組別中,常規照護的 TIR 為 68.3%,全閉環為 65.7%。
但對於那些在使用混合閉環系統上遇到挑戰、HbA1c 高於 8% 的患者,我們在全閉環系統上看到了深遠的改善。在 HbA1c ≥ 8% 的組別中,常規照護的 TIR 僅有 48.7%,而全閉環大幅提升至 61.9% (p=0.007),大於 250 mg/dL 的時間也從 22.7% 降至 13.1%。
我們有三個年齡層:成人、年輕成人、青少年。這些效果在所有年齡層中都得到了驗證:
- 成人:TIR 從 62.6% 提升到 70.6%
- 年輕成人:TIR 從 58.0% 提升到 60.7%
- 青少年:TIR 從 52.2% 提升到 58.9%
AIDANET 在學齡兒童的應用 (Pediatrics)
但這還遠遠無法涵蓋所有具挑戰性的第 1 型糖尿病患者。看完上一張投影片後,自然會出現的問題是:「那學齡兒童呢?」
為此,我們實際進行了一項不同的研究。我現在呈現給你們的這些結果是熱騰騰剛出爐的,我的意思是,這些數據是上個禮拜才收集完的。
我們採用了相同的研究設計,但這次飯店監督的階段短了很多,因為到那時我們已經知道如何向患者介紹這些系統了。所以流程是:2 週常規照護、2 晚飯店訓練、以及 2 週居家全閉環。納入條件為 6-13 歲、確診 T1D 超過 1 年的幫浦與 Dexcom 使用者;排除條件為過去 6 個月內曾發生 DKA 或嚴重低血糖,以及使用 SGLT2-i 的患者。
這次,我們將 AIDANET 系統建置在一個全新的 iOS 平台上(而不是我們舊的 Android 平台),搭配 Mobi 幫浦,並且這次同時使用了 Dexcom G6 和 G7。我們還測試了一些不同的血糖目標設定(嚴格 vs. 平衡),今天我不會深入探討這個部分。
我將向你們展示初步分析。我們有 36 名兒童,分為兩個各 18 人的梯次。在這兩個梯次之間,實際的演算法有稍微做了一些調整。
結果的點狀圖與我們在青少年和成人身上看到的極為相似:夜間控制更好,白天控制相當。
在全閉環模式下,我們再次成功降低了平均血糖,從常規照護的 160.6 降至全閉環的 156.2 (p=0.00002)。不過,TIR 從 68.3% 微幅降至 66%。這個群體的平均 HbA1c 是 7%,最高大概是 8.5%。所以這些數據應該與前一項研究中「控制良好」的群體進行比較。再次證明,全閉環系統不僅可行,而且相當有效。
未來展望:基於 Transformer 的胰島素給藥模型
我想用最後幾分鐘,稍微超前一點,談談接下來可能會發生的事。這不是關於目前正在大規模臨床試驗中部署的全閉環系統,而是關於未來的技術。
昨天 Boris 稍微誘惑了我們一下,提到使用 Transformers(轉換器)——也就是 Giacomo 相當有理由感到害怕的那種大型複雜網路。我們要用它來做比他一小時前提議的更瘋狂的事:讓我們直接用它來給予胰島素劑量。
首先,你需要做什麼?你需要一塊羅塞塔石碑 (Rosetta Stone)。你需要將糖尿病數據轉化為看起來像語言的東西。你需要定義什麼是「字元 (character)」,什麼是「單字 (word)」。
我們選擇的定義是:
- 字元 (Characters) 實際上是一個三元組:[葡萄糖讀數, 體內殘留胰島素 (IOB), 體內殘留碳水化合物 (MOB)]。我們不使用進食宣告,我們只是透過演算法自動重建碳水化合物數據。所以我們有直接來自幫浦的 CGM 和胰島素數據,而碳水化合物是自動重建的。
- 單字 (Words):我們有標記化的單字 (token words),這是一連串字元的組合。
- 句子 (Sentences):單字的串聯。
當我們把這些都準備好後,我們基本上就能讓變換器分析過去幾天的數據,並直接輸出一個劑量結果。我們選擇了分析過去兩週的數據,後來一路縮減到只看過去 3 天(72 小時),也得到了相似的結果。這項研究的架構細節發表於 2024 年的《IFAC-PapersOnLine》。
這就是 Boris 昨天展示的架構。我不會花太多時間講解,但它基本上展示了如何從數據直接轉化為 AID 系統中的給藥劑量,以及我們如何訓練這樣一個框架。
紙上談兵和模擬是一回事,但我們喜歡在實際的臨床試驗中進行測試,這正是我們所做的。
我們讓患者先進行一週我剛剛花了十分鐘描述的 AIDANET 系統測試;然後他們來到飯店,我們開啟了 Transformer-based 的給藥功能,它取代了我們原本的小型啟動劑量模組。同樣地,使用者不需要做任何事,不用按任何按鈕。接著我們讓他們帶著這個新的自動給藥系統回家測試一週。
有 15 人完成了這項研究。我們對 Transformer 能做的事設定了一些安全限制:BPS-RL (強化學習給藥) 的劑量被限制在不能超過 AIDANET 基礎給藥曲線的 2 倍,而且給藥頻率也不能太高。
我們獲得了極佳的結果。但我現在不打算展示給你們看。為了看這些結果,你們必須留到星期六下午。我強烈建議你們留下來聽,Sue Brown 教授將會發表這些結果。(圖表偷偷顯示,AIDANET+BPS-RL 將 TIR 從 74.0% 提升到了 77.5%)。是的,我故意留下這個 77.5% 的數據來吊你們胃口。
AIDANET@Home 大型臨床試驗
最後 10 秒鐘,稍微預告一下即將到來的事。
我確實說過,原本的 AIDANET 系統(不是 Transformer 版本)目前正在進行大型臨床試驗。我們正在進行一項名為 AIDANET@Home 的臨床試驗,預計招募 40 人。納入條件包含 18 歲以上、確診 T1D 超過一年、且過去半年內曾使用過 FDA 核准的 AID 系統。
我們將讓系統運行一個月的混合閉環、一個月的全閉環,以及一個月由患者自行決定模式的混合期。這裡的想法不僅是要證明全閉環的療效,也是為了了解患者對不同模式的偏好。
這是一份期中分析,我們目前進度大約一半。在全閉環模式下,我們分析了 22 名患者、共計 580 天的全閉環數據(對比 353 天的混合閉環數據)。在完全沒有手動給藥的情況下,我們達到了 71.4% 的目標範圍內時間 (Time in Range),並且低血糖發生率極低。
非常感謝大家,期待稍後的交流。
