怎么在Python中實(shí)現(xiàn)softmax反向傳播

今天小編給大家分享一下怎么在Python中實(shí)現(xiàn)softmax反向傳播的相關(guān)知識(shí)點(diǎn)，內(nèi)容詳細(xì)，邏輯清晰，相信大部分人都還太了解這方面的知識(shí)，所以分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后有所收獲，下面我們一起來(lái)了解一下吧。

反向傳播求導(dǎo)

可以看到，softmax 計(jì)算了多個(gè)神經(jīng)元的輸入，在反向傳播求導(dǎo)時(shí)，需要考慮對(duì)不同神經(jīng)元的參數(shù)求導(dǎo)。

分兩種情況考慮：

• 當(dāng)求導(dǎo)的參數(shù)位于分子時(shí)

• 當(dāng)求導(dǎo)的參數(shù)位于分母時(shí)

當(dāng)求導(dǎo)的參數(shù)位于分子時(shí)：

當(dāng)求導(dǎo)的參數(shù)位于分母時(shí)(e^z2 or e^z3這兩個(gè)是對(duì)稱的，求導(dǎo)結(jié)果是一樣的)：

代碼

import torch
import math

def my_softmax(features):
    _sum = 0
    for i in features:
        _sum += math.e ** i
    return torch.Tensor([ math.e ** i / _sum for i in features ])

def my_softmax_grad(outputs):    
    n = len(outputs)
    grad = []
    for i in range(n):
        temp = []
        for j in range(n):
            if i == j:
                temp.append(outputs[i] * (1- outputs[i]))
            else:
                temp.append(-outputs[j] * outputs[i])
        grad.append(torch.Tensor(temp))
    return grad

if __name__ == '__main__':

    features = torch.randn(10)
    features.requires_grad_()

    torch_softmax = torch.nn.functional.softmax
    p1 = torch_softmax(features,dim=0)
    p2 = my_softmax(features)
    print(torch.allclose(p1,p2))
    
    n = len(p1)
    p2_grad = my_softmax_grad(p2)
    for i in range(n):
        p1_grad = torch.autograd.grad(p1[i],features, retain_graph=True)
        print(torch.allclose(p1_grad[0], p2_grad[i]))

以上就是“怎么在Python中實(shí)現(xiàn)softmax反向傳播”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家閱讀完這篇文章都有很大的收獲，小編每天都會(huì)為大家更新不同的知識(shí)，如果還想學(xué)習(xí)更多的知識(shí)，請(qǐng)關(guān)注億速云行業(yè)資訊頻道。