微軟近日宣布，視覺Agent解析框架OmniParser已發(fā)布最新版本V2。這一新版本具有將大型語言模型如OpenAI(4o/o1/o3-mini)、DeepSeek(R1)、Qwen(2.5VL)以及Anthropic(Sonnet)等，轉(zhuǎn)化為“計算機使用智能體”(Computer Use Agent)的能力。

與前一版本相比，OmniParser V2在檢測更微小、可交互的元素時展現(xiàn)出了更高的精度和更快的推理速度。這一顯著提升得益于V2采用了更大規(guī)模的交互元素檢測數(shù)據(jù)集和圖標(biāo)功能描述數(shù)據(jù)進行訓(xùn)練。通過這些訓(xùn)練，OmniParser V2能夠更好地理解和識別計算機界面中的各種元素，從而為用戶提供更加智能、便捷的操作體驗。

此外，OmniParser V2還通過縮小圖標(biāo)描述模型的輸入圖像尺寸，進一步降低了推理延遲。據(jù)微軟透露，與前代版本相比，V2的推理延遲降低了60%，這意味著用戶可以更加迅速地獲得系統(tǒng)的響應(yīng)和反饋。

微軟OmniParser V2的發(fā)布，標(biāo)志著大型語言模型在計算機使用智能體領(lǐng)域的應(yīng)用取得了重要進展。