PyTorch怎么展示調(diào)用順序

這篇文章主要介紹“PyTorch怎么展示調(diào)用順序”，在日常操作中，相信很多人在PyTorch怎么展示調(diào)用順序問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”PyTorch怎么展示調(diào)用順序”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

總結(jié)說明:代碼實(shí)驗(yàn)表面,反向傳播計(jì)算梯度時的執(zhí)行順序是和前向計(jì)算相反的.這一點(diǎn)由鉤子函數(shù)的執(zhí)行順序可以觀察到,并且由保存梯度的列表中的內(nèi)容順序可以推斷出來.

代碼實(shí)驗(yàn)展示:

import torchprint(torch.__version__)  # 1.2.0+cu92torch.manual_seed(seed=20200910)gradients = list()# ------------------------------------------ #def grad_hook_x0(grad):print("\n為x0執(zhí)行自定義的鉤子函數(shù)...")print("保存x0的梯度...")gradients.append(grad)print("x0的鉤子函數(shù)執(zhí)行結(jié)束...\n")# return gradx0 = torch.randn(2,3,4,5,6,7,requires_grad=True)print('x0.shape:', x0.shape)  # x0.shape: torch.Size([2, 3, 4, 5, 6, 7])# print('x0:\n',x0)x0.register_hook(grad_hook_x0)# ------------------------------------------ #def grad_hook_x1(grad):print("\n為x1執(zhí)行自定義的鉤子函數(shù)...")print("保存x1的梯度...")gradients.append(grad)print("x1的鉤子函數(shù)執(zhí)行結(jié)束...\n")# return gradx1 = torch.sum((4 * x0 + 18.0), dim=(0,1))  x1.retain_grad()print('x1.shape:', x1.shape)  # x1.shape: torch.Size([4, 5, 6, 7])# print('x1:\n',x1)x1.register_hook(grad_hook_x1)# ------------------------------------------ #def grad_hook_x2(grad):print("\n為x2執(zhí)行自定義的鉤子函數(shù)...")print("保存x2的梯度...")gradients.append(grad)print("x2的鉤子函數(shù)執(zhí)行結(jié)束...\n")# return gradx2 = torch.sum(x1, dim=(1,2)) * 10.0x2.retain_grad()print('x2.shape:', x2.shape)  # x2.shape: torch.Size([4, 7])# print('x2:\n',x2)x2.register_hook(grad_hook_x2)# ------------------------------------------ #def grad_hook_loss(grad):print("\n為loss執(zhí)行自定義的鉤子函數(shù)...")print("保存loss的梯度...")gradients.append(grad)print("loss的鉤子函數(shù)執(zhí)行結(jié)束...\n")# return gradloss = torch.mean(x2)loss.retain_grad()print('loss.shape:', loss.shape)  # loss.shape: torch.Size([])print('loss:',loss)  # loss: tensor(32403.7344, grad_fn=<MeanBackward0>)loss.register_hook(grad_hook_loss)# ------------------------------------------ #loss.backward()  # 這行代碼將會執(zhí)行已注冊登記的鉤子函數(shù)tensors_list = [loss, x2, x1, x0]print('打印相關(guān)信息,gradients列表的長度為:', len(gradients))print('打印相關(guān)信息,tensors_list列表的長度為:', len(tensors_list))for g, t in zip(gradients, tensors_list):print( torch.equal(g, t.grad), g.shape==t.grad.shape==t.shape, g.shape, t.grad.shape, t.shape)

控制臺輸出結(jié)果:

嘗試新的跨平臺 PowerShell 

加載個人及系統(tǒng)配置文件用了 869 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq> conda activate ssd4pytorch2_2_0
(ssd4pytorch2_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>  & 'D:\Anaconda3\envs\ssd4pytorch2_2_0\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '58682' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\test4cxq\testHook.py'
1.2.0+cu92
x0.shape: torch.Size([2, 3, 4, 5, 6, 7])
x1.shape: torch.Size([4, 5, 6, 7])
x2.shape: torch.Size([4, 7])
loss.shape: torch.Size([])
loss: tensor(32403.7344, grad_fn=<MeanBackward0>)

為loss執(zhí)行自定義的鉤子函數(shù)...
保存loss的梯度...
loss的鉤子函數(shù)執(zhí)行結(jié)束...


為x2執(zhí)行自定義的鉤子函數(shù)...
保存x2的梯度...
x2的鉤子函數(shù)執(zhí)行結(jié)束...


為x1執(zhí)行自定義的鉤子函數(shù)...
保存x1的梯度...
x1的鉤子函數(shù)執(zhí)行結(jié)束...


為x0執(zhí)行自定義的鉤子函數(shù)...
保存x0的梯度...
x0的鉤子函數(shù)執(zhí)行結(jié)束...

打印相關(guān)信息,gradients列表的長度為: 4
打印相關(guān)信息,tensors_list列表的長度為: 4
True True torch.Size([]) torch.Size([]) torch.Size([])
True True torch.Size([4, 7]) torch.Size([4, 7]) torch.Size([4, 7])
True True torch.Size([4, 5, 6, 7]) torch.Size([4, 5, 6, 7]) torch.Size([4, 5, 6, 7])
True True torch.Size([2, 3, 4, 5, 6, 7]) torch.Size([2, 3, 4, 5, 6, 7]) torch.Size([2, 3, 4, 5, 6, 7])
(ssd4pytorch2_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>

到此，關(guān)于“PyTorch怎么展示調(diào)用順序”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！