NVIDIA FLARE （ NVIDIA Federated Learning Application Runtime Environment ， NVIDIA 聯(lián)邦學(xué)習(xí)應(yīng)用程序運(yùn)行時(shí)環(huán)境）是一個(gè)用于協(xié)作計(jì)算的開源 Python SDK 。 FLARE 設(shè)計(jì)有一個(gè)組件化體系結(jié)構(gòu)，允許研究人員和數(shù)據(jù)科學(xué)家將機(jī)器學(xué)習(xí)、深度學(xué)習(xí)或一般計(jì)算工作流調(diào)整為聯(lián)合范式，以實(shí)現(xiàn)安全、隱私保護(hù)的多方協(xié)作。

此體系結(jié)構(gòu)提供了用于安全地配置聯(lián)合、建立安全通信以及定義和編排分布式計(jì)算工作流的組件。 FLARE 在一個(gè)可擴(kuò)展的 API 中提供了這些組件，該 API 允許定制以適應(yīng)現(xiàn)有的工作流或輕松試驗(yàn)新的分布式應(yīng)用程序。

圖 1 ：高級 NVIDIA FLARE 體系結(jié)構(gòu)

圖 1 顯示了具有基礎(chǔ) API 組件的高級 FLARE 體系結(jié)構(gòu)，包括用于保護(hù)隱私和安全管理平臺的工具。在此基礎(chǔ)之上是聯(lián)邦學(xué)習(xí)應(yīng)用程序的構(gòu)建塊，以及一組聯(lián)邦工作流和學(xué)習(xí)算法。

除了核心 FLARE 堆棧之外，還有一些工具，這些工具允許使用 FL Sim ulator 進(jìn)行實(shí)驗(yàn)和概念驗(yàn)證（ POC ）開發(fā)，以及一組用于部署和管理生產(chǎn)工作流的工具。

在這篇文章中，我將重點(diǎn)介紹如何開始使用簡單的 POC ，并概述從 POC 過渡到安全的生產(chǎn)部署的過程。我還強(qiáng)調(diào)了從本地 POC 遷移到分布式部署時(shí)的一些注意事項(xiàng)。

NVIDIA FLARE 入門

為了幫助您開始使用 NVIDIA FLARE ，我將介紹該平臺的基本知識，并重點(diǎn)介紹版本 2.1 中的一些功能，這些功能可以幫助您將概念驗(yàn)證引入生產(chǎn)聯(lián)合學(xué)習(xí)工作流。

安裝

開始使用 NVIDIA FLARE 的最簡單方法是在 Quickstart 中所述的 Python 虛擬環(huán)境中。

只需幾個(gè)簡單的命令，就可以準(zhǔn)備一個(gè) FLARE 工作區(qū)，該工作區(qū)支持獨(dú)立服務(wù)器和客戶端的本地部署。此本地部署可用于運(yùn)行 FLARE 應(yīng)用程序，就像它們在安全的分布式部署上運(yùn)行一樣，無需配置和部署開銷。

$ sudo apt update
$ sudo apt install python3-venv
$ python3 -m venv nvflare-env
$ source nvflare-env/bin/activate
(nvflare-env) $ python3 -m pip install -U pip setuptools
(nvflare-env) $ python3 -m pip install nvflare

準(zhǔn)備 POC 工作區(qū)

安裝了 nvflare pip 包后，您現(xiàn)在可以訪問 poc 命令。執(zhí)行此命令時(shí)所需的唯一參數(shù)是所需的客戶端數(shù)。

(nvflare-env) $ poc -h
usage: poc [-h] [-n NUM_CLIENTS] optional arguments: -h, --help show this help message and exit -n NUM_CLIENTS, --num_clients NUM_CLIENTS number of client folders to create

執(zhí)行此命令后，例如，對于兩個(gè)客戶端執(zhí)行poc -n 2，您將擁有一個(gè) POC 工作區(qū)，其中包含每個(gè)參與者的文件夾：管理客戶端、服務(wù)器和站點(diǎn)客戶端。

(nvflare-env) $ tree -d poc
poc
├── admin
│ └── startup
├── server
│ └── startup
├── site-1
│ └── startup
└── site-2 └── startup

每個(gè)文件夾都包含啟動(dòng)和連接聯(lián)合所需的配置和腳本。默認(rèn)情況下，服務(wù)器配置為在本地主機(jī)上運(yùn)行，站點(diǎn)客戶端和管理客戶端分別在端口 8002 和 8003 上連接。您可以在后臺運(yùn)行服務(wù)器和客戶端，例如：

(nvflare-env) $ for i in poc/{server,site-1,site-2}; do \ ./$i/startup/start.sh; \
done

服務(wù)器和客戶端進(jìn)程將狀態(tài)消息發(fā)送到標(biāo)準(zhǔn)輸出，并記錄到它們自己的poc/{server，site-？}/log.txt文件。如前所示啟動(dòng)時(shí)，此標(biāo)準(zhǔn)輸出是交錯(cuò)的。您可以在單獨(dú)的終端中啟動(dòng)每個(gè)端口，以防止這種交叉輸出。

部署 FLARE 應(yīng)用程序

連接服務(wù)器和站點(diǎn)客戶端后，可以使用管理客戶端管理整個(gè)聯(lián)合。在深入管理客戶端之前，請從 NVIDIA FLARE GitHub 存儲(chǔ)庫中設(shè)置一個(gè)示例。

(nvflare-env) $ git clone https://github.com/NVIDIA/NVFlare.git
(nvflare-env) $ mkdir -p poc/admin/transfer
(nvflare-env) $ cp -r NVFlare/examples/hello-pt-tb poc/admin/transfer/

這會(huì)將Hello PyTorch with Tensorboard Streaming示例復(fù)制到管理客戶端的傳輸目錄中，將其暫存以部署到服務(wù)器和站點(diǎn)客戶端。有關(guān)更多信息，請參閱快速啟動(dòng)（ PyTorch with TensorBoard）.

在部署之前，還需要安裝一些必備組件。

(nvflare-env) $ python3 -m pip install torch torchvision tensorboard

現(xiàn)在您已經(jīng)準(zhǔn)備好了應(yīng)用程序，可以啟動(dòng)管理客戶端了。

(nvflare-env) $ ./poc/admin/startup/fl_admin.sh
Waiting for token from successful login...
Got primary SP localhost:8002:8003 from overseer. Host: localhost Admin_port: 8003 SSID: ebc6125d-0a
56-4688-9b08-355fe9e4d61a
login_result: OK token: d50b9006-ec21-11ec-bc73-ad74be5b77a4
Type ? to list commands; type "? cmdName" to show usage of a command.
> 

連接后，管理客戶端可用于檢查服務(wù)器和客戶端的狀態(tài)、管理應(yīng)用程序和提交作業(yè)。

對于本例，提交hello-pt-tb應(yīng)用程序以執(zhí)行。

> submit_job hello-pt-tb
Submitted job: 303ffa9c-54ae-4ed6-bfe3-2712bc5eba40

此時(shí)，您將看到作業(yè)提交確認(rèn)和作業(yè) ID ，以及服務(wù)器和客戶端終端上的狀態(tài)更新，這些更新顯示了執(zhí)行培訓(xùn)時(shí)服務(wù)器控制器和客戶端執(zhí)行器的進(jìn)度。

您可以使用list_jobs命令檢查作業(yè)的狀態(tài)。作業(yè)完成后，使用download_job命令從服務(wù)器下載作業(yè)結(jié)果。

> download_job 303ffa9c-54ae-4ed6-bfe3-2712bc5eba40
Download to dir poc/admin/startup/../transfer

然后，可以使用下載的作業(yè)目錄作為 TensorBoard 日志目錄來啟動(dòng) TensorBoard 。

(nvflare-env) $ tensorboard \ --logdir=poc/admin/transfer

這將使用從客戶端流到服務(wù)器并保存在服務(wù)器運(yùn)行目錄中的日志啟動(dòng)本地 TensorBoard 服務(wù)器。您可以打開 http://localhost:6006 的瀏覽器以可視化運(yùn)行。

圖 2 :來自的張力板輸出示例 hello-pt-tb application

NVIDIA FLARE 提供的 example applications 均設(shè)計(jì)為使用此 POC 模式，可以作為開發(fā)自定義應(yīng)用程序的起點(diǎn)。

一些示例，如 CIFAR10 example ，定義了端到端工作流，突出顯示 NVIDIA FLARE 中可用的不同功能和算法，并使用 POC 模式，以及下一節(jié)討論的安全資源調(diào)配。

從概念驗(yàn)證轉(zhuǎn)移到生產(chǎn)

NVIDIA FLARE v2.1 引入了一些新的概念和功能，旨在實(shí)現(xiàn)強(qiáng)健的生產(chǎn)聯(lián)合學(xué)習(xí)，其中最明顯的兩個(gè)是高可用性和對多作業(yè)執(zhí)行的支持。

高可用性（ HA ） 支持多個(gè) FL 服務(wù)器，并在當(dāng)前活動(dòng)服務(wù)器不可用時(shí)自動(dòng)激活備份服務(wù)器。這由聯(lián)合體中的一個(gè)新實(shí)體監(jiān)管者管理，監(jiān)管者負(fù)責(zé)監(jiān)控所有參與者的狀態(tài)，并在需要時(shí)協(xié)調(diào)到備份服務(wù)器的切換。

Multi-job execution 通過允許并發(fā)運(yùn)行，支持基于資源的多作業(yè)執(zhí)行，前提是滿足作業(yè)所需的資源。

具有高可用性的安全部署

上一節(jié)介紹了 FLARE 的 POC 模式，其中禁用了安全功能以簡化本地測試和實(shí)驗(yàn)。

為了演示生產(chǎn)部署的高可用性，請?jiān)俅螐?POC 模式中使用的單一系統(tǒng)部署開始，并在 OpenProvision API 中引入 provisioning 的概念。

Sim NVIDIA FLARE 提供了provision命令來驅(qū)動(dòng) OpenProvision API 。provision命令讀取項(xiàng)目。配置安全部署中使用的參與者和組件的 yml 文件。此命令可以在沒有參數(shù)的情況下使用，以創(chuàng)建 sample project.yml 的副本作為起點(diǎn)。

對于這篇文章，繼續(xù)使用與上一節(jié)中配置的相同的nvflare-venv Python 虛擬環(huán)境。

(nvflare-env) $ provision
No project.yml found in current folder. Is it OK to generate one for you? (y/N) y
project.yml was created. Please edit it to fit your FL configuration.

為了安全部署，必須首先配置聯(lián)合體中的參與者。您可以修改示例文件project.yml的participants部分，以創(chuàng)建一個(gè)簡單的本地部署，如下所示。來自默認(rèn)項(xiàng)目的更改。 yml 文件以粗體文本顯示。

participants: # change overseer.example.com to the FQDN of the overseer - name: overseer type: overseer org: nvidia protocol: https api_root: /api/v1 port: 8443 # change example.com to the FQDN of the server - name: server1 type: server org: nvidia fed_learn_port: 8002 admin_port: 8003 # enable_byoc loads python codes in app. Default is false. enable_byoc: true components: <<: *svr_comps - name: server2 type: server org: nvidia fed_learn_port: 9002 admin_port: 9003 # enable_byoc loads python codes in app. Default is false. enable_byoc: true components: <<: *svr_comps - name: site-1 type: client org: nvidia enable_byoc: true components: <<: *cln_comps - name: site-2 type: client org: nvidia enable_byoc: true components: <<: *cln_comps # You can also override one component with a different one resource_manager: # This id is reserved by system. Do not change it. path: nvflare.app_common.resource_managers.list_resource_manager.ListResourceManager args: resources: gpu: [0, 1] - name: admin@nvidia.com type: admin org: nvidia roles: - super

定義參與者有幾個(gè)要點(diǎn)：

• 每個(gè)參與者的名稱必須唯一。就監(jiān)管者和服務(wù)器而言，所有服務(wù)器和客戶端都必須能夠解析這些名稱，可以是完全限定的域名，也可以是使用/etc/hosts的主機(jī)名（后面會(huì)有更多介紹）。
• 對于本地部署，服務(wù)器必須為 FL 和 admin 使用唯一的端口。如果服務(wù)器在單獨(dú)的系統(tǒng)上運(yùn)行，則分布式部署不需要此功能。
• 參與者應(yīng)將enable_byoc: true設(shè)置為允許在/custom文件夾中部署帶有代碼的應(yīng)用程序，如示例應(yīng)用程序中所示。

project.yml文件的其余部分配置了定義 FLARE 工作區(qū)的builder modules?，F(xiàn)在可以將這些保留在默認(rèn)配置中，但在從安全的本地部署轉(zhuǎn)移到真正的分布式部署時(shí)需要考慮一些問題。

修改后的項(xiàng)目。 yml ，您現(xiàn)在可以為參與者提供安全的啟動(dòng)工具包。

(nvflare-env) $ provision -p project.yml
Project yaml file: project.yml.
Generated results can be found under workspace/example_project/prod_00. Builder's wip folder removed.
$ tree -d workspace/
workspace/
└── example_project ├── prod_00 │ ├── admin@nvidia.com │ │ └── startup │ ├── overseer │ │ └── startup │ ├── server1 │ │ └── startup │ ├── server2 │ │ └── startup │ ├── site-1 │ │ └── startup │ └── site-2 │ └── startup ├── resources └── state

與 POC 模式一樣，資源調(diào)配會(huì)生成一個(gè)工作區(qū)，其中包含每個(gè)參與者的啟動(dòng)工具包以及每個(gè)參與者的 zip 文件。 zip 文件可用于在分布式部署中輕松分發(fā)啟動(dòng)工具包。每個(gè)工具包都包含 POC 模式下的配置和啟動(dòng)腳本，并添加了一組共享證書，用于在參與者之間建立身份和安全通信。

在安全資源調(diào)配中，對這些啟動(dòng)工具包進(jìn)行簽名以確保它們未被修改。查看 server1 的啟動(dòng)工具包，您可以看到這些附加組件。

(nvflare-env) $ tree workspace/example_project/prod_00/server1
workspace/example_project/prod_00/server1
└── startup ├── authorization.json ├── fed_server.json ├── log.config ├── readme.txt ├── rootCA.pem ├── server.crt ├── server.key ├── server.pfx ├── signature.json ├── start.sh ├── stop_fl.sh └── sub_start.sh

要連接參與者，所有服務(wù)器和客戶端必須能夠解析project.yml中定義的名稱處的服務(wù)器和監(jiān)管者。對于分布式部署，這可能是一個(gè)完全限定的域名。

您還可以在每個(gè)服務(wù)器和客戶端系統(tǒng)上使用/etc/hosts將服務(wù)器和監(jiān)管者名稱映射到其 IP 地址。對于此本地部署，請使用/etc/hosts重載環(huán)回接口。例如，以下代碼示例為監(jiān)督者和兩個(gè)服務(wù)器添加了條目：

(nvflare-env) $ cat /etc/hosts
127.0.0.1 localhost
127.0.0.1 overseer
127.0.0.1 server1
127.0.0.1 server2

因?yàn)楸O(jiān)管者和服務(wù)器都使用唯一的端口，所以您可以在本地 127.0.0.1 界面上安全地運(yùn)行所有端口。

與上一節(jié)一樣，您可以循環(huán)訪問參與者集，以執(zhí)行啟動(dòng)工具包中包含的start.sh腳本，以連接監(jiān)管者、服務(wù)器和站點(diǎn)客戶端。

(nvflare-env) $ export WORKSPACE=workspace/example_project/prod_00/
(nvflare-env) $ for i in $WORKSPACE/{overseer,server1,server2,site-1,site-2}; do \ ./$i/startup/start.sh & \
done

從這里開始，使用管理客戶端部署應(yīng)用程序的過程與在 POC 模式下相同，但有一個(gè)重要的更改。在安全資源調(diào)配中，管理客戶端會(huì)提示輸入用戶名。在此示例中，用戶名為admin@nvidia.com，如project.yml中所配置。

安全、分布式部署的注意事項(xiàng)

在前面的部分中，我討論了 POC 模式和在單個(gè)系統(tǒng)上的安全部署。這種單一系統(tǒng)部署消除了真正安全的分布式部署的許多復(fù)雜性。在單個(gè)系統(tǒng)上，您可以享受共享環(huán)境、共享文件系統(tǒng)和本地網(wǎng)絡(luò)的好處。分布式系統(tǒng)上的生產(chǎn) FLARE 工作流必須解決這些問題。

一致的環(huán)境

聯(lián)盟中的每個(gè)參與者都需要 NVIDIA FLARE 運(yùn)行時(shí)，以及服務(wù)器和客戶端工作流中實(shí)現(xiàn)的任何依賴項(xiàng)。這很容易在具有 Python 虛擬環(huán)境的本地部署中實(shí)現(xiàn)。

當(dāng)運(yùn)行分布式時(shí)，環(huán)境不容易約束。解決這個(gè)問題的一種方法是在容器中運(yùn)行。對于前面的示例，您可以創(chuàng)建一個(gè)簡單的 Dockerfile 來捕獲依賴項(xiàng)。

ARG PYTORCH_IMAGE=nvcr.io/nvidia/pytorch:22.04-py3
FROM ${PYTORCH_IMAGE} RUN python3 -m pip install -U pip
RUN python3 -m pip install -U setuptools
RUN python3 -m pip install torch torchvision tensorboard nvflare WORKDIR /workspace/
RUN git clone https://github.com/NVIDIA/NVFlare.git

sample project.yml文件中引用的 WorkspaceBuilder 包含一個(gè)用于定義 Docker 映像的變量：

# when docker_image is set to a Docker image name,
# docker.sh is generated on server/client/admin
docker_image: nvflare-pyt:latest

當(dāng)在 WorkspaceBuilder 配置中定義了docker_image時(shí)，設(shè)置會(huì)在每個(gè)啟動(dòng)工具包中生成一個(gè)docker.sh腳本。

假設(shè)此示例 Dockerfile 已在標(biāo)記為 n vflare-pyt:latest的每個(gè)服務(wù)器、客戶端和管理系統(tǒng)上構(gòu)建，則可以使用docker.sh腳本啟動(dòng)容器。這將啟動(dòng)容器，其中映射了啟動(dòng)工具包并準(zhǔn)備運(yùn)行。當(dāng)然，這需要 Docker 以及服務(wù)器和客戶端主機(jī)系統(tǒng)上的適當(dāng)權(quán)限和網(wǎng)絡(luò)配置。

另一種選擇是提供要求。 txt 文件，如許多聯(lián)機(jī)示例所示，可以在運(yùn)行分布式啟動(dòng)工具包之前將其安裝在nvflare-venv虛擬環(huán)境中。

分布式系統(tǒng)

在到目前為止討論的 POC 和安全部署環(huán)境中，我們假設(shè)了一個(gè)單一的系統(tǒng)，您可以在其中利用本地共享文件系統(tǒng)，并且通信僅限于本地網(wǎng)絡(luò)接口。

在分布式系統(tǒng)上運(yùn)行時(shí)，必須解決這些簡化問題以建立聯(lián)邦系統(tǒng)。圖 3 顯示了具有高可用性的分布式部署所需的組件，包括管理客戶端、監(jiān)管者、服務(wù)器和客戶端系統(tǒng)之間的關(guān)系。

圖 3 ： NVIDIA FLARE 高可用性部署（ HA ）

在此模型中，您必須考慮以下因素：

Network： 客戶端系統(tǒng)必須能夠在其完全限定的域名或通過將 IP 地址映射到主機(jī)名來解析監(jiān)督者和服務(wù)提供商。

Storage： 服務(wù)器系統(tǒng)必須能夠訪問共享存儲(chǔ)，以便于從活動(dòng)（熱）服務(wù)提供商處進(jìn)行切換，如project.yml文件snapshot_persistor中所定義。

向每位參與者分發(fā)配置或啟動(dòng)工具包

應(yīng)用程序配置和客戶端數(shù)據(jù)集的位置

如前一節(jié)所述，可以通過在容器化環(huán)境中運(yùn)行來解決其中的一些問題，其中啟動(dòng)工具包和數(shù)據(jù)集可以安裝在每個(gè)系統(tǒng)上的一致路徑上。

分布式部署的其他方面取決于主機(jī)系統(tǒng)和網(wǎng)絡(luò)的本地環(huán)境，必須單獨(dú)解決。

總結(jié)

NVIDIA FLARE v2.1 提供了一套強(qiáng)大的工具，使研究人員或開發(fā)人員能夠?qū)⒙?lián)合學(xué)習(xí)概念引入到實(shí)際的生產(chǎn)工作流中。

這里討論的部署場景基于我們自己構(gòu)建 FLARE 平臺的經(jīng)驗(yàn)，以及我們早期采用者將聯(lián)合學(xué)習(xí)工作流引入生產(chǎn)的經(jīng)驗(yàn)。希望這些可以作為開發(fā)您自己的聯(lián)邦應(yīng)用程序的起點(diǎn)。

關(guān)于作者

Kris Kersten 是 NVIDIA 的解決方案架構(gòu)師，專注于 AI ，致力于擴(kuò)展 ML 和 DL 解決方案，以解決當(dāng)今醫(yī)療領(lǐng)域最緊迫的問題。在加入 NVIDIA 之前， Kris 曾在 Cray 超級計(jì)算機(jī)公司工作，研究從低級緩存基準(zhǔn)測試到大規(guī)模并行模擬的硬件和軟件性能特征。

審核編輯：郭婷