Stability AI 近日宣布了他們首個用于編程的生成式 LLM AI 產品 ——StableCode。該產品旨在幫助程序員完成日常工作，并為新手開發(fā)者提供實用的學習工具。

官方介紹道，StableCode 提供了一種獨特的方式，通過使用三種不同的模型來幫助開發(fā)者編寫代碼，從而提示開發(fā)效率。

基礎模型 (base model)首先使用來自 BigCodestack-dataset(v1.2) 的多種編程語言進行訓練，然后使用 Python、Go、Java、Javascript、C、markdown 和 C++ 等流行語言進行進一步訓練。

總的來說，他們在 HPC 集群上使用 560B token 的代碼訓練了模型。

建立好基礎模型后，Stability AI 針對特定用例調整指令模型 (instruction model)，以幫助解決復雜的編程任務。

為了實現這一結果，他們在基礎模型上訓練了約 120,000 個 Alpaca 格式的代碼指令 / 響應對 (instruction/response)。



使用 StableCode Instruct 生成對給定指令的響應的代碼 對于那些想要了解更多編碼知識的開發(fā)者來說，StableCode 是理想的構建塊，而長上下文窗口模型 (long-context window model)是確保用戶可以使用單行和多行自動完成建議的完美助手。

該模型旨在一次處理更多代碼（比之前發(fā)布的具有 16,000 個 token 的上下文窗口的開放模型多 2-4 倍），允許用戶同時查看或編輯相當于最多 5 個平均大小的 Python 文件。

使其成為初學者想要迎接更大挑戰(zhàn)的理想學習工具。



StableCode 利用 Pytorch 深度學習庫完成一個相對復雜的 python 文件（灰色文本為 StableCode 的預測） 最后看看關于 StableCode 的評測數據：

審核編輯：劉清