web的注意力機(jī)制怎么實(shí)現(xiàn)

本篇內(nèi)容介紹了“web的注意力機(jī)制怎么實(shí)現(xiàn)”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

通道注意力機(jī)制:

import torchfrom torch import nnclass ChannelAttention(nn.Module):def __init__(self, in_planes, ratio=16):super(ChannelAttention, self).__init__()
		self.avg_pool = nn.AdaptiveAvgPool2d(1)
		self.max_pool = nn.AdaptiveMaxPool2d(1)

		self.fc1 = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False)
		self.relu1 = nn.ReLU()
		self.fc2 = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False)
		self.sigmoid = nn.Sigmoid()def forward(self, x):
		avg_out = self.fc2(self.relu1(self.fc1(self.avg_pool(x))))
		max_out = self.fc2(self.relu1(self.fc1(self.max_pool(x))))
		out = avg_out + max_out		return self.sigmoid(out)if __name__ == '__main__':CA = ChannelAttention(32)data_in = torch.randn(8,32,300,300)data_out = CA(data_in)print(data_in.shape)  # torch.Size([8, 32, 300, 300])print(data_out.shape)  # torch.Size([8, 32, 1, 1])

控制臺(tái)輸出結(jié)果:

加載個(gè)人及系統(tǒng)配置文件用了 958 毫秒。(base) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>  & 'D:\Anaconda3\envs\ssd4pytorch2_2_0\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '53813' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\test4cxq\test1.py'torch.Size([8, 32, 300, 300])torch.Size([8, 32, 1, 1])(base) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq> conda activate ssd4pytorch2_2_0(ssd4pytorch2_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>

通道注意力機(jī)制:

import torchfrom torch import nnclass SpatialAttention(nn.Module):def __init__(self, kernel_size=7):super(SpatialAttention, self).__init__()assert kernel_size in (3, 7), 'kernel size must be 3 or 7'padding = 3 if kernel_size == 7 else 1self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False)  # 7,3     3,1self.sigmoid = nn.Sigmoid()def forward(self, x):avg_out = torch.mean(x, dim=1, keepdim=True)max_out, _ = torch.max(x, dim=1, keepdim=True)x = torch.cat([avg_out, max_out], dim=1)x = self.conv1(x)return self.sigmoid(x)if __name__ == '__main__':SA = SpatialAttention(7)data_in = torch.randn(8,32,300,300)data_out = SA(data_in)print(data_in.shape)  # torch.Size([8, 32, 300, 300])print(data_out.shape)  # torch.Size([8, 1, 300, 300])

控制臺(tái)輸出結(jié)果:

加載個(gè)人及系統(tǒng)配置文件用了 959 毫秒。(base) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq> conda activate ssd4pytorch2_2_0(ssd4pytorch2_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>  & 'D:\Anaconda3\envs\ssd4pytorch2_2_0\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '53827' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\test4cxq\test2.py'torch.Size([8, 32, 300, 300])torch.Size([8, 1, 300, 300])(ssd4pytorch2_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>

“web的注意力機(jī)制怎么實(shí)現(xiàn)”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！