PyTorch 2.0：機器學習的重大飛躍

PyTorch剛剛降低了版本2.0。大新聞。數據科學界一直在等待這個開源機器學習框架的更新，現在終於來了。

自從PyTorch首次出現以來，它發展了很多。版本2.0？這確實是個大事情。

人們在各個地方使用這個平台——計算機視覺、自然語言處理等。它現在隸屬於Linux基金會。該系統提供GPU加速的張量計算和具有自動微分的神經網路。Tesla Autopilot在其上運行。Pyro也是如此。還有Transformers。甚至PyTorch Lightning和Catalyst。

2.0 更新帶來了一個華麗的新 Transformer API。似乎旨在使那些復雜的 Transformer 模型更易於訓練和部署。但真正的明星是什麼？新的 torch.compile 函數。它使 PyTorch 模型運行得更快。有趣的是，他們將一些架構從 C++ 轉回到 Python。

他們還包括了 TorchInductor - 一個用於 TorchDynamo 的編譯器後端。它將 PyTorch 程序進行超級優化。對於 GPU，它創建這些 Triton 內核。它們使用共享內存。Warp 級並行性。具體如何運作尚不完全清楚，但它是爲那些時髦的生成式 AI 模型進行調優的。

PyTorch還推出了OpenXLA和PyTorch/XLA 2.0。它們一起構成了一個處理訓練和推理的棧。很合理——PyTorch很受歡迎，而XLA具有出色的編譯器特性。

對於大模型，PyTorch/XLA 專注於混合精度訓練。運行時性能也很重要。模型分片。更快的數據加載。有些功能現在已經準備好。其他功能將通過 OpenXLA 在稍後推出。

推理怎麼樣？PyTorch/XLA希望在PyTorch 2.0中匹配Dynamo的性能。他們正在添加模型服務支持。Dynamo用於分片的大型模型。量化相關的內容。

生態系統正在擴展。更多的Hugging Face集成。更好的PyTorch Lightning支持。用戶可以使用熟悉的API，同時訪問新的OpenXLA功能。在Hugging Face中支持FSDP。在OpenXLA中進行量化。

它是完全開源的。你可以參與進來。報告錯誤。提交拉取請求。在 GitHub 上發送 RFC。