今日頭條
官方微信
官方抖音
資訊頻道2024年3月11日，由中國科學院自動化研究所和中國科學院香港創新院人工智能與機器人創新中心聯合研發的醫療垂直領域的AI多模態大模型——CARES Copilot 1.0在香港科學園正式發布，現已面向香港神經外科醫生開放使用。
中國科學院香港創新研究院人工智能與機器人創新中心執行主任、中國科學院自動化研究所研究員劉宏斌介紹，CARES Copilot 1.0實現了對圖像、文本、語音、視頻、MRI、CT、超聲等多模態手術數據的深入理解，能夠準確識別和解析如動作、影像和生命體征等多種醫療信息。CARES Copilot 1.0結合了大模型的廣泛知識和小模型的專業精準，可以進行高級的圖像和視頻語義提取，同時利用語言模型進行深層次理解，在醫學多場景多任務的理解與處理方面取得了顯著進展，可支持手術階段識別、器械與解剖結構分割、器械檢測與計數、MRI高分辨率圖像生成等一系列功能。在實際應用中，CARES Copilot 1.0不僅可為臨床醫生提供手術階段的詳細分析報告，還能進行手術風險與質量評估，從而提高醫療服務水平。
此外，CARES Copilot 1.0擁有長達100K上下文窗口的理解與高效分析能力，能夠處理超過3000頁的復雜手術教材，對于年輕醫生的培訓和教學具有極高的實用性。通過深度檢索功能，Copilot 1.0能夠快速精確地提取手術教材、專家指南、醫學論文等專業文檔信息，確保所提供答案的高度可信度和可追溯性。經過測試，該大模型能在一兩秒內快速檢索百萬級數據，準確率高達95%。
香港中文大學外科學系神經外科組主任、名譽臨床副教授陳達明醫生，北京協和醫院神經外科主任醫師馮銘教授，首都醫科大學附屬北京同仁醫院神經外科主任康軍教授出席發布會。會上，陳達明醫生與馮銘教授共同現場演示了CARES Copilot 1.0，全面展示了其功能和實際應用價值。
目前，CARES Copilot 1.0已在多家醫院的不同科室進行了實地測試和優化，充分驗證了其作為手術智能輔助工具全面、先進、可靠的基礎功能和關鍵技術，下一步將持續推動醫療智能化的實現，為智能健康產業的進步提供強有力的技術支持。
中國科學院香港創新研究院是中國科學院在港設立的首個國家級新型研發機構。2019年在港正式注冊，下設兩個創新中心。其中，人工智能與機器人創新中心依托中國科學院自動化研究所建設，圍繞新一代人工智能基礎理論、面向健康的智能技術、新型人機交互技術與設備、人工智能開放平臺技術等開展國際前沿研究工作。
圖1. 劉宏斌研究員介紹CARES Copilot 1.0
圖2. CARES Copilot 1.0系統界面
圖3. CARES Copilot 1.0在醫院實地應用
圖4. 馮銘教授、康軍教授、劉宏斌研究員及陳達明醫生（從左至右）合影
來源：中國科學院自動化研究所
北京市公安局海淀分局備案號：11010802023656號