TensorFlow有了替代品，竟然還是谷歌自己做出來(lái)的？這其實(shí)是TensorFlow的一個(gè)簡(jiǎn)化庫(kù)，名為JAX，可以支持部分TensorFlow的功能，但是比TensorFlow更加簡(jiǎn)潔易用。

什么？TensorFlow 有了替代品？什么？竟然還是谷歌自己做出來(lái)的？先別慌，從各種意義上來(lái)說(shuō)，這個(gè)所謂的 “替代品” 其實(shí)是 TensorFlow 的一個(gè)簡(jiǎn)化庫(kù)，名為JAX，結(jié)合 Autograd 和 XLA，可以支持部分 TensorFlow 的功能，但是比 TensorFlow 更加簡(jiǎn)潔易用。

雖然還不至于替代 TensorFlow，但已經(jīng)有 Reddit 網(wǎng)友對(duì) JAX 寄予厚望，并表示“早就期待能有一個(gè)可以直接調(diào)用 Numpy API 接口的庫(kù)了！”，“希望它可以取代 TensorFlow！”。

JAX 結(jié)合了 Autograd 和 XLA，是專為高性能機(jī)器學(xué)習(xí)研究打造的產(chǎn)品。

有了新版本的Autograd，JAX 能夠自動(dòng)對(duì) Python 和 NumPy 的自帶函數(shù)求導(dǎo)，支持循環(huán)、分支、遞歸、閉包函數(shù)求導(dǎo)，而且可以求三階導(dǎo)數(shù)。它支持自動(dòng)模式反向求導(dǎo)（也就是反向傳播）和正向求導(dǎo)，且二者可以任意組合成任何順序。

JAX 的創(chuàng)新之處在于，它基于XLA在 GPU 和 TPU 上編譯和運(yùn)行 NumPy 程序。默認(rèn)情況下，編譯是在底層進(jìn)行的，庫(kù)調(diào)用能夠及時(shí)編譯和執(zhí)行。但是 JAX 還允許使用單一函數(shù) API jit將自己的 Python 函數(shù)及時(shí)編譯成經(jīng)過(guò) XLA 優(yōu)化的內(nèi)核。編譯和自動(dòng)求導(dǎo)可以任意組合，因此可以在不脫離 Python 環(huán)境的情況下實(shí)現(xiàn)復(fù)雜算法并獲得最優(yōu)性能。

JAX 最初由 Matt Johnson、Roy Frostig、Dougal Maclaurin 和 Chris Leary 發(fā)起，他們均任職于谷歌大腦團(tuán)隊(duì)。在 GitHub 的說(shuō)明文檔中，作者明確表示：JAX 目前還只是一個(gè)研究項(xiàng)目，不是谷歌的官方產(chǎn)品，因此可能會(huì)有一些 bug。從作者的 GitHub 簡(jiǎn)介來(lái)看，這應(yīng)該是谷歌大腦正在嘗試的新項(xiàng)目，在同一個(gè) GitHub 目錄下的開(kāi)源項(xiàng)目還包括 8 月份在業(yè)內(nèi)引起熱議的強(qiáng)化學(xué)習(xí)框架 Dopamine。

以下是 JAX 的簡(jiǎn)單使用示例。

GitHub 項(xiàng)目傳送門：https://github.com/google/JAX

有關(guān)具體的安裝和簡(jiǎn)單的入門指導(dǎo)大家可以在 GitHub 中自行查看，在此不做過(guò)多贅述。

JAX 庫(kù)的實(shí)現(xiàn)原理

機(jī)器學(xué)習(xí)中的編程是關(guān)于函數(shù)的表達(dá)和轉(zhuǎn)換。轉(zhuǎn)換包括自動(dòng)微分、加速器編譯和自動(dòng)批處理。像 Python 這樣的高級(jí)語(yǔ)言非常適合表達(dá)函數(shù)，但是通常使用者只能應(yīng)用它們。我們無(wú)法訪問(wèn)它們的內(nèi)部結(jié)構(gòu)，因此無(wú)法執(zhí)行轉(zhuǎn)換。

JAX 可以用于專門化高級(jí)Python+NumPy函數(shù)，并將其轉(zhuǎn)換為可轉(zhuǎn)換的表示形式，然后再提升為 Python 函數(shù)。

JAX 通過(guò)跟蹤專門處理 Python 函數(shù)。跟蹤一個(gè)函數(shù)意味著：監(jiān)視應(yīng)用于其輸入，以產(chǎn)生其輸出的所有基本操作，并在有向無(wú)環(huán)圖 (DAG) 中記錄這些操作及其之間的數(shù)據(jù)流。為了執(zhí)行跟蹤，JAX 包裝了基本的操作，就像基本的數(shù)字內(nèi)核一樣，這樣一來(lái)，當(dāng)調(diào)用它們時(shí)，它們就會(huì)將自己添加到執(zhí)行的操作列表以及輸入和輸出中。為了跟蹤這些原語(yǔ)之間的數(shù)據(jù)流，跟蹤的值被包裝在 Tracer 類的實(shí)例中。

當(dāng) Python 函數(shù)被提供給 grad 或 jit 時(shí)，它被包裝起來(lái)以便跟蹤并返回。當(dāng)調(diào)用包裝的函數(shù)時(shí)，我們將提供的具體參數(shù)抽象到 AbstractValue 類的實(shí)例中，將它們框起來(lái)用于跟蹤跟蹤器類的實(shí)例，并對(duì)它們調(diào)用函數(shù)。

抽象參數(shù)表示一組可能的值，而不是特定的值：例如，jit 將 ndarray 參數(shù)抽象為抽象值，這些值表示具有相同形狀和數(shù)據(jù)類型的所有 ndarray。相反，grad 抽象 ndarray 參數(shù)來(lái)表示底層值的無(wú)窮小鄰域。通過(guò)在這些抽象值上跟蹤 Python 函數(shù)，我們確保它足夠?qū)ｉT化，以便轉(zhuǎn)換是可處理的，并且它仍然足夠通用，以便轉(zhuǎn)換后的結(jié)果是有用的，并且可能是可重用的。然后將這些轉(zhuǎn)換后的函數(shù)提升回 Python 可調(diào)用函數(shù)，這樣就可以根據(jù)需要跟蹤并再次轉(zhuǎn)換它們。

JAX 跟蹤的基本函數(shù)大多與 XLA HLO 1:1 對(duì)應(yīng)，并在 lax.py 中定義。這種 1:1 的對(duì)應(yīng)關(guān)系使得到 XLA 的大多數(shù)轉(zhuǎn)換基本上都很簡(jiǎn)單，并且確保我們只有一小組原語(yǔ)來(lái)覆蓋其他轉(zhuǎn)換，比如自動(dòng)微分。 jax.numpy 層是用純 Python 編寫的，它只是用 LAX 函數(shù) (以及我們已經(jīng)編寫的其他 numpy 函數(shù)) 表示 numpy 函數(shù)。這使得 jax.numpy 易于延展。

當(dāng)你使用 jax.numpy 時(shí)，底層 LAX 原語(yǔ)是在后臺(tái)進(jìn)行 jit 編譯的，允許你在加速器上執(zhí)行每個(gè)原語(yǔ)操作的同時(shí)編寫不受限制的 Python+ numpy 代碼。

但是 JAX 可以做更多的事情：你可以在越來(lái)越大的函數(shù)上使用jit來(lái)進(jìn)行端到端編譯和優(yōu)化，而不僅僅是編譯和調(diào)度到一組固定的單個(gè)原語(yǔ)。例如，可以編譯整個(gè)網(wǎng)絡(luò)，或者編譯整個(gè)梯度計(jì)算和優(yōu)化器更新步驟，而不僅僅是編譯和調(diào)度卷積運(yùn)算。

折衷之處是，jit 函數(shù)必須滿足一些額外的專門化需求：因?yàn)槲覀兿Ｍ幾g專門針對(duì)形狀和數(shù)據(jù)類型的跟蹤，但不是專門針對(duì)具體值的跟蹤，所以 jit 裝飾器下的 Python 代碼必須適用于抽象值。如果我們嘗試在一個(gè)抽象的 x 上求 x >0 的值，結(jié)果是一個(gè)抽象的值，表示集合 {True, False}，所以 Python 分支就像 if x > 0 會(huì)引起報(bào)錯(cuò)。

有關(guān)使用 jit 的更多要求，請(qǐng)參見(jiàn)：https://github.com/google/jax#whats-supported

好消息是，jit 是可選的：JAX 庫(kù)在后臺(tái)對(duì)單個(gè)操作和函數(shù)使用 jit，允許編寫不受限制的 Python+Numpy，同時(shí)仍然使用硬件加速器。但是，當(dāng)你希望最大化性能時(shí)，通常可以在自己的代碼中使用 jit 編譯和端到端優(yōu)化更大的函數(shù)。

后續(xù)計(jì)劃

目前項(xiàng)目小組還將對(duì)以下幾項(xiàng)做更多嘗試和更新：

完善說(shuō)明文檔

支持 Cloud TPU

支持多 GPU 和多 TPU

支持完整的 NumPy 功能和部分 SciPy 功能

全面支持 vmap

加速

降低 XLA 函數(shù)調(diào)度開(kāi)銷

線性代數(shù)例程（CPU 上的 MKL 和 GPU 上的 MAGMA）

高效自動(dòng)微分原語(yǔ)cond和while

有關(guān) JAX 庫(kù)的介紹大致如此。