Python怎么實(shí)現(xiàn)softmax反向傳播

這篇文章主要介紹“Python怎么實(shí)現(xiàn)softmax反向傳播”的相關(guān)知識(shí)，小編通過實(shí)際案例向大家展示操作過程，操作方法簡單快捷，實(shí)用性強(qiáng)，希望這篇“Python怎么實(shí)現(xiàn)softmax反向傳播”文章能幫助大家解決問題。

反向傳播求導(dǎo)

可以看到，softmax 計(jì)算了多個(gè)神經(jīng)元的輸入，在反向傳播求導(dǎo)時(shí)，需要考慮對(duì)不同神經(jīng)元的參數(shù)求導(dǎo)。

分兩種情況考慮：

• 當(dāng)求導(dǎo)的參數(shù)位于分子時(shí)

• 當(dāng)求導(dǎo)的參數(shù)位于分母時(shí)

當(dāng)求導(dǎo)的參數(shù)位于分子時(shí)：

當(dāng)求導(dǎo)的參數(shù)位于分母時(shí)(e^z2 or e^z3這兩個(gè)是對(duì)稱的，求導(dǎo)結(jié)果是一樣的)：

代碼

import torch
import math

def my_softmax(features):
    _sum = 0
    for i in features:
        _sum += math.e ** i
    return torch.Tensor([ math.e ** i / _sum for i in features ])

def my_softmax_grad(outputs):    
    n = len(outputs)
    grad = []
    for i in range(n):
        temp = []
        for j in range(n):
            if i == j:
                temp.append(outputs[i] * (1- outputs[i]))
            else:
                temp.append(-outputs[j] * outputs[i])
        grad.append(torch.Tensor(temp))
    return grad

if __name__ == '__main__':

    features = torch.randn(10)
    features.requires_grad_()

    torch_softmax = torch.nn.functional.softmax
    p1 = torch_softmax(features,dim=0)
    p2 = my_softmax(features)
    print(torch.allclose(p1,p2))
    
    n = len(p1)
    p2_grad = my_softmax_grad(p2)
    for i in range(n):
        p1_grad = torch.autograd.grad(p1[i],features, retain_graph=True)
        print(torch.allclose(p1_grad[0], p2_grad[i]))

關(guān)于“Python怎么實(shí)現(xiàn)softmax反向傳播”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)，可以關(guān)注億速云行業(yè)資訊頻道，小編每天都會(huì)為大家更新不同的知識(shí)點(diǎn)。