案例簡(jiǎn)介

本案例中，0xmd 公司通過(guò) NVIDIA GPU 打造醫(yī)療 AI 解決方案，覆蓋影像分析和文本解讀等領(lǐng)域。

本案例采用TensorRT、MONAI、Triton Inference Server等先進(jìn)工具，實(shí)現(xiàn)了高效的圖像識(shí)別、醫(yī)學(xué)文本分析和模型推理，幫助醫(yī)療機(jī)構(gòu)顯著提升診斷效率與準(zhǔn)確性。

以生成式 AI 賦能醫(yī)療健康

0xmd 專注于研發(fā)面向醫(yī)療和健康的生成式 AI 應(yīng)用，致力于改進(jìn)患者護(hù)理和醫(yī)學(xué)診斷。解決方案涵蓋增強(qiáng)診斷能力、改善病患護(hù)理、優(yōu)化醫(yī)療體系，推動(dòng)醫(yī)療服務(wù)更加平等與普及。0xmd 的方案應(yīng)用于食品分析、藥物管理、健康檢查報(bào)告解讀和皮膚病檢測(cè)等領(lǐng)域。

0xmd 醫(yī)療 AI 方案面臨的挑戰(zhàn)

在推動(dòng)醫(yī)療健康 AI 方案的技術(shù)和業(yè)務(wù)上也遇到了一些挑戰(zhàn)，包括高性能技術(shù)需求、實(shí)時(shí)成像數(shù)據(jù)處理、模型推理效率和準(zhǔn)確性、多模態(tài)數(shù)據(jù)融合、擴(kuò)展性和靈活性等，在 NVIDIA 的產(chǎn)品和技術(shù)支持下實(shí)現(xiàn)了很好的優(yōu)化。

高性能計(jì)算需求：處理醫(yī)學(xué)影像和復(fù)雜醫(yī)學(xué)文本數(shù)據(jù)需要強(qiáng)大的計(jì)算能力。NVIDIA GPU 及其并行計(jì)算技術(shù)，能夠高效處理和分析海量醫(yī)療數(shù)據(jù)，滿足實(shí)時(shí)復(fù)雜算法的執(zhí)行需求。

成像數(shù)據(jù)處理：通過(guò)深度學(xué)習(xí)技術(shù)，對(duì)多種類型的醫(yī)療影像數(shù)據(jù)（如 X 光片、MRI 和 CT 掃描）進(jìn)行分析和處理。利用 MONAI 進(jìn)行影像的預(yù)處理、增強(qiáng)和分割，從而提高診斷的準(zhǔn)確性和速度，實(shí)現(xiàn)高吞吐量、低延遲的醫(yī)療影像分析。這為醫(yī)療專業(yè)人員提供了即時(shí)且可操作的診斷信息，支持精準(zhǔn)醫(yī)療決策。

模型推理效率與準(zhǔn)確性：提高模型推理的效率、準(zhǔn)確性和速度是關(guān)鍵挑戰(zhàn)。通過(guò) TensorRT 和 Triton Inference Server 的優(yōu)化，實(shí)現(xiàn)了模型推理加速，顯著提升了診斷效率和準(zhǔn)確性。

多模態(tài)數(shù)據(jù)融合：LVLM 需要融合文本與圖像數(shù)據(jù)。NVIDIA GPU以卓越的圖像處理能力，為多模態(tài)數(shù)據(jù)分析提供了強(qiáng)大支持。

擴(kuò)展性與靈活性：隨著業(yè)務(wù)發(fā)展，需要一個(gè)可擴(kuò)展且靈活的技術(shù)基礎(chǔ)設(shè)施。NVIDIA 解決方案幫助動(dòng)態(tài)調(diào)整資源和計(jì)算能力，支持公司的全球業(yè)務(wù)擴(kuò)展。

NVIDIA 驅(qū)動(dòng)0xmd

實(shí)現(xiàn)醫(yī)療 AI 應(yīng)用升級(jí)

0xmd 的醫(yī)療 AI 應(yīng)用，最重要一部分是AI醫(yī)療小助手：用戶通過(guò)與 AI 助手的對(duì)話， AI 小助手會(huì)根據(jù)已有的模型進(jìn)行詳細(xì)分析、解答和詢問(wèn)，通過(guò)模擬真實(shí)世界醫(yī)生和病人的問(wèn)診過(guò)程，從而幫助用戶更好的處理病患或健康相關(guān)問(wèn)題。在此應(yīng)用上，公司采用 NVIDIA GPU 用于訓(xùn)練和推理，確保高效的運(yùn)算性能和反應(yīng)速度，極大地優(yōu)化了 AI 模型推理的效率和效果。同時(shí)，通過(guò) TensorRT 的部署，優(yōu)化了深度學(xué)習(xí)模型，提高生產(chǎn)環(huán)境中的推理效率。同時(shí)，通過(guò)模型的量化和層融合技術(shù)，TensorRT 適用于所有規(guī)模的模型，能有效減少延遲并提升吞吐量。在模型并行部署時(shí)，采用 Triton Inference Server，根據(jù)需求動(dòng)態(tài)調(diào)整資源分配，優(yōu)化整體的運(yùn)算效率。

公司醫(yī)療 AI 應(yīng)用也接入了大型視覺語(yǔ)言模型（LvLM），應(yīng)用于食品、藥品、體檢報(bào)告和皮膚病檢測(cè)領(lǐng)域。例如，通過(guò)健康報(bào)告掃描器，用于解讀體檢報(bào)告，分析和提取關(guān)鍵信息，以全面了解用戶的健康情況。

為了支持實(shí)時(shí)醫(yī)療影像的分析與預(yù)處理，公司基于 MONAI Stream SDK 打造了高效的 AI 驅(qū)動(dòng)解決方案進(jìn)行醫(yī)療影像處理。MONAI 基于 PyTorch 構(gòu)建，支持圖像分割、分類和配準(zhǔn)等多種醫(yī)療影像任務(wù)，并提供專為醫(yī)療影像優(yōu)化的工具和算法。

0xmd正在逐步將現(xiàn)有系統(tǒng)更新至NVIDIA Clara，以獲得更廣泛的生態(tài)系統(tǒng)支持，預(yù)計(jì)在 2025 年第三季度完成。更新后的系統(tǒng)將進(jìn)一步應(yīng)用 MONAI Deploy SDK，提升預(yù)處理、增強(qiáng)和推理等環(huán)節(jié)中的深度學(xué)習(xí)模型的精準(zhǔn)度和效率，確保更快速地分析 X 光片、MRI 和 CT 掃描等醫(yī)療影像。

MONAI Label 工具在訓(xùn)練數(shù)據(jù)集標(biāo)注上的優(yōu)勢(shì)，也有助于提升醫(yī)療影像分析模型的質(zhì)量，從而增強(qiáng)整個(gè)系統(tǒng)的分析能力。

NVIDIA 高性能計(jì)算解決方案

助力 0xmd 醫(yī)療 AI 應(yīng)用效能躍升

NVIDIA 技術(shù)在 0xmd 的應(yīng)用中帶來(lái)了顯著的效果，在 NVIDIA GPU 和軟件庫(kù)的賦能下，0xmd 開發(fā)出更為高效和精準(zhǔn)的醫(yī)療 AI 模型應(yīng)用。NVIDIA GPU 的部署使得由小型到大型模型的推理變得更有效率，大幅提高了醫(yī)療影像分析和自然語(yǔ)言處理的反應(yīng)速度。在模型訓(xùn)練階段，也極大縮短了研發(fā)周期，幫助 0xmd 更快地迭代和優(yōu)化 AI 模型和應(yīng)用。

通過(guò)引入 NVIDIA 的 Triton Inference Server，能夠在維持成本的同時(shí)靈活地?cái)U(kuò)展其服務(wù)。這一技術(shù)優(yōu)勢(shì)使得 0xmd 能夠在全球范圍內(nèi)更高效地部署和管理其醫(yī)療AI解決方案，從而快速擴(kuò)展業(yè)務(wù)，并在全球市場(chǎng)中取得領(lǐng)先地位。結(jié)合 MONAI 的應(yīng)用，進(jìn)一步增強(qiáng)了 0xmd 在醫(yī)療影像分析與數(shù)據(jù)處理上的效率。

0xmd 創(chuàng)始人及首席架構(gòu)師區(qū)兆倫表示：“NVIDIA 的技術(shù)在我們的業(yè)務(wù)中起到了革命性的作用。它不僅提高了我們的運(yùn)算效率，還大大縮短了產(chǎn)品開發(fā)周期。借助于 NVIDIA 的高性能計(jì)算解決方案，我們能夠提供市場(chǎng)領(lǐng)先的醫(yī)療 AI 產(chǎn)品，這在提高診斷準(zhǔn)確性和加快疾病診斷速度方面發(fā)揮了至關(guān)重要的作用。”

NVIDIA 初創(chuàng)加速計(jì)劃

NVIDIA 初創(chuàng)加速計(jì)劃 (NVIDIA Inception)為免費(fèi)會(huì)員制，旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計(jì)劃聯(lián)合國(guó)內(nèi)外知名的風(fēng)投機(jī)構(gòu)、創(chuàng)業(yè)孵化器、創(chuàng)業(yè)加速器、行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等，打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣、技術(shù)支持、市場(chǎng)宣傳、融資對(duì)接、業(yè)務(wù)推薦等一系列服務(wù)，加速創(chuàng)業(yè)公司的發(fā)展。