NNI 自動機器學習調(diào)參，是微軟開源的又一個神器，它能幫助你找到最好的神經(jīng)網(wǎng)絡架構(gòu)或超參數(shù)，支持 各種訓練環(huán)境 。

它常用的使用場景如下：

• 想要在自己的代碼、模型中試驗 不同的機器學習算法 。
• 想要在不同的環(huán)境中加速運行機器學習。
• 想要更容易實現(xiàn)或試驗新的機器學習算法的研究員或數(shù)據(jù)科學家，包括：超參調(diào)優(yōu)算法，神經(jīng)網(wǎng)絡搜索算法以及模型壓縮算法。

它支持的框架有：

• PyTorch
• Keras
• TensorFlow
• MXNet
• Caffe2
• Scikit-learn
• XGBoost
• LightGBM

基本上市面上所有的深度學習和機器學習的框架它都支持。

下面就來看看怎么使用這個工具。

1.準備

開始之前，你要確保Python和pip已經(jīng)成功安裝在電腦上，如果沒有，可以訪問這篇文章：超詳細Python安裝指南 進行安裝。

**(可選1) **如果你用Python的目的是數(shù)據(jù)分析，可以直接安裝Anaconda：Python數(shù)據(jù)分析與挖掘好幫手—Anaconda，它內(nèi)置了Python和pip.

**(可選2) **此外，推薦大家用VSCode編輯器，它有許多的優(yōu)點：Python 編程的最好搭檔—VSCode 詳細指南。

請選擇以下任一種方式輸入命令安裝依賴 ：

1. Windows 環(huán)境 打開 Cmd (開始-運行-CMD)。
2. MacOS 環(huán)境 打開 Terminal (command+空格輸入Terminal)。
3. 如果你用的是 VSCode編輯器 或 Pycharm，可以直接使用界面下方的Terminal.

pip install nni

2.運行示例

讓我們運行一個示例來驗證是否安裝成功，首先克隆項目：

git clone -b v2.6 https://github.com/Microsoft/nni.git

如果你無法成功克隆項目，請在Python實用寶典后臺回復 **nni **下載項目。

運行 MNIST-PYTORCH 示例， Linux/macOS ：

nnictl create --config nni/examples/trials/mnist-pytorch/config.yml

Windows ：

nnictl create --config nniexamplestrialsmnist-pytorchconfig_windows.yml

出現(xiàn)這樣的界面就說明安裝成功，示例運行正常：

訪問 http://127.0.0.1:8080 可以配置運行時間、實驗次數(shù)等：

3.模型自動調(diào)參配置

那么如何讓 NNI 和我們自己的模型適配呢？

觀察 config_windows.yaml 會發(fā)現(xiàn)：

searchSpaceFile: search_space.json
trialCommand: python mnist.py
trialGpuNumber: 0
trialConcurrency: 1
tuner:
  name: TPE
  classArgs:
    optimize_mode: maximize
trainingService:
  platform: local

我們先看看 trialCommand, 這很明顯是訓練使用的命令，訓練代碼位于 mnist.py，其中有部分代碼如下：

def get_params():
    # Training settings
    parser = argparse.ArgumentParser(description='PyTorch MNIST Example')
    parser.add_argument("--data_dir", type=str,
                        default='./data', help="data directory")
    parser.add_argument('--batch_size', type=int, default=64, metavar='N',
                        help='input batch size for training (default: 64)')
    parser.add_argument("--batch_num", type=int, default=None)
    parser.add_argument("--hidden_size", type=int, default=512, metavar='N',
                        help='hidden layer size (default: 512)')
    parser.add_argument('--lr', type=float, default=0.01, metavar='LR',
                        help='learning rate (default: 0.01)')
    parser.add_argument('--momentum', type=float, default=0.5, metavar='M',
                        help='SGD momentum (default: 0.5)')
    parser.add_argument('--epochs', type=int, default=10, metavar='N',
                        help='number of epochs to train (default: 10)')
    parser.add_argument('--seed', type=int, default=1, metavar='S',
                        help='random seed (default: 1)')
    parser.add_argument('--no_cuda', action='store_true', default=False,
                        help='disables CUDA training')
    parser.add_argument('--log_interval', type=int, default=1000, metavar='N',
                        help='how many batches to wait before logging training status')
    args, _ = parser.parse_known_args()
    return args

如上所示，這個模型里提供了 10 個參數(shù)選擇。也就是說 NNI 可以幫我們自動測試這10個參數(shù)。

那么這些參數(shù)在哪里設定？答案是在 searchSpaceFile 中，對應的值也就是 search_space.json:

{
    "batch_size": {"_type":"choice", "_value": [16, 32, 64, 128]},
    "hidden_size":{"_type":"choice","_value":[128, 256, 512, 1024]},
    "lr":{"_type":"choice","_value":[0.0001, 0.001, 0.01, 0.1]},
    "momentum":{"_type":"uniform","_value":[0, 1]}
}

這里有4個選項，NNI 是怎么組合這些參數(shù)的呢？這是 tuner 參數(shù)干的事，為了讓機器學習和深度學習模型適應不同的任務和問題，我們需要進行超參數(shù)調(diào)優(yōu)，而自動化調(diào)優(yōu)依賴于優(yōu)秀的調(diào)優(yōu)算法。NNI 內(nèi)置了先進的調(diào)優(yōu)算法，并且提供了易于使用的 API。

在 NNI 中，Tuner 向 trial 發(fā)送超參數(shù)，接收運行結(jié)果從而評估這組超參的性能，然后將下一組超參發(fā)送給新的 trial。

下表簡要介紹了 NNI 內(nèi)置的調(diào)優(yōu)算法。

可以看到本示例中，選擇的是TPE tuner.

其他的參數(shù)比如 trialGpuNumber，指的是使用的gpu數(shù)量，trialConcurrency 指的是并發(fā)數(shù)。trainingService 中 platform 為 local，指的是本地訓練。

當然，還有許多參數(shù)可以選，比如：

trialConcurrency: 2                 # 同時運行 2 個 trial
maxTrialNumber: 10                  # 最多生成 10 個 trial
maxExperimentDuration: 1h # 1 小時后停止生成 trial

不過這些參數(shù)在調(diào)優(yōu)開始時的web頁面上是可以進行調(diào)整的。

所以其實NNI干的事情就很清楚了，也很簡單。你只需要在你的模型訓練文件中增加你想要調(diào)優(yōu)的參數(shù)作為輸入，就能使用NNI內(nèi)置的調(diào)優(yōu)算法對不同的參數(shù)進行調(diào)優(yōu)，而且允許從頁面UI上觀察調(diào)優(yōu)的整個過程，相對而言還是很方便的。

不過，NNI可能不太適用一些數(shù)據(jù)量極大或模型比較復雜的情況。比如基于DDP開發(fā)的模型，在NNI中可能無法實現(xiàn)大型的分布式計算。