TensorFlow發(fā)布其新更新TensorFlow 2.4.0-rc4的示例分析

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)TensorFlow發(fā)布其新更新TensorFlow 2.4.0-rc4的示例分析，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

TensorFlow最近發(fā)布了其新更新TensorFlow 2.4.0-rc4。TensorFlow Profiler現(xiàn)在支持對(duì)MultiWorkerMirroredStrategy 進(jìn)行概要分析，該概要文件現(xiàn)在是一個(gè)穩(wěn)定的API，并使用采樣模式API跟蹤多個(gè)工作進(jìn)程。該策略可在多個(gè)可能具有多個(gè)GPU的工人之間進(jìn)行同步分布式訓(xùn)練。一些重大的改進(jìn)涉及處理同級(jí)失敗和許多錯(cuò)誤修復(fù)，這些錯(cuò)誤修復(fù)可以在Keras的多員工訓(xùn)練中找到 。Keras Functional API內(nèi)部的主要重構(gòu)已完成。它提高了構(gòu)建功能模型的可靠性，穩(wěn)定性和性能。該更新還增加了對(duì)TensorFloat-32的支持在基于Ampere的GPU上。TensorFloat-32（TF32）是基于NVIDIA Ampere的GPU的數(shù)學(xué)模型，默認(rèn)情況下啟用。

重大變化

TF核心：

由于TensorFloat-32的緣故，一些float32運(yùn)算在基于Ampere的GPU上運(yùn)行時(shí)的精度較低，包括matmul和卷積 。例如，此類運(yùn)算的輸入從23位精度舍入到10位精度。在某些情況下，TensorFloat-32也可用于complex64 ops。因此現(xiàn)在可以禁用TensorFloat-32。

刪除了許多不相關(guān)的API函數(shù)，例如C中用于字符串訪問/修改的C-API函數(shù)。不屬于TensorFlow公共API的模塊被隱藏。

tf.keras：

現(xiàn)在 steps_per_execution 參數(shù)在compile（）中穩(wěn)定。它有助于在單個(gè)tf.function 調(diào)用中運(yùn)行多個(gè)批處理 ，從而可以提高TPU或具有較大Python開銷的小型模型的性能。Keras Functional API的內(nèi)部結(jié)構(gòu)已經(jīng)進(jìn)行了 重大重構(gòu)。這種重構(gòu)可能會(huì)影響依賴于某些內(nèi)部細(xì)節(jié)的代碼。

tf.data：

現(xiàn)在，tf.data.experimental.service.DispatchServer 和 tf.data.experimental.service.WorkerServer使用配置元組代替單個(gè)參數(shù)。可以分別使用 tf.data.experimental.service.DispatchServer（dispatcher_config） 和 tf.data.experimental.service.WorkerServer（worker_config） 完成此操作。這有助于同時(shí)處理多個(gè)參數(shù)。

tf.distribute：

在最新更新中，各種內(nèi)置API均使用新功能進(jìn)行了重命名。

錯(cuò)誤修復(fù)和其他更改

• 使用python常量或NumPy值調(diào)用ops與tf.convert_to_tensor 行為一致 ?，F(xiàn)在，這避免了tf.reshape之類的操作 會(huì)截?cái)嘀T如從int64到int32的輸入。

• 增加了對(duì)調(diào)度程序容錯(cuò)的支持。

• 增加了對(duì)通過共享文件系統(tǒng)而不是通過RPC共享數(shù)據(jù)集圖的支持。這樣可以減輕調(diào)度程序的負(fù)擔(dān)，從而提高分布式數(shù)據(jù)集的性能。

• 功能性API重構(gòu)的改進(jìn)：

• 功能模型的構(gòu)建不需要維護(hù)全局工作空間圖， 從而消除了內(nèi)存泄漏，尤其是在構(gòu)建許多模型或擴(kuò)展模型時(shí)。

• 功能模型的構(gòu)建應(yīng)該平均快8-10％。

• 功能模型現(xiàn)在可以在第一個(gè)位置參數(shù)內(nèi)的調(diào)用輸入中包含非符號(hào)值。

• 現(xiàn)在，在功能性API構(gòu)造期間無法可靠轉(zhuǎn)換為Keras層的幾種TF ops應(yīng)該可以正常工作，例如 tf.image.ssim_multiscale。

• 當(dāng)Functional API構(gòu)造出錯(cuò)時(shí)（或無法將操作自動(dòng)轉(zhuǎn)換為Keras圖層時(shí)）的錯(cuò)誤消息應(yīng)該更準(zhǔn)確并且更易于理解。

總體而言，TensorFlow的新功能非常必要，因?yàn)樗砑恿吮匾脑匾栽鰪?qiáng)性能并刪除不相關(guān)的元素。引入的改進(jìn)將有助于開發(fā)更可靠和改進(jìn)的ML模型。

上述就是小編為大家分享的TensorFlow發(fā)布其新更新TensorFlow 2.4.0-rc4的示例分析了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道。