溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇內(nèi)容主要講解“使用go實現(xiàn)多線程下載器的方法有哪些”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“使用go實現(xiàn)多線程下載器的方法有哪些”吧!
1.多線程下載原理
2.構造一個下載器
2.1 為下載器提供初始化方法
3.實現(xiàn)下載綜合調(diào)度邏輯
3.1 下載文件分段
3.2 子線程下載函數(shù)
4. 保存下載文件函數(shù)
5.完整代碼
本篇文章我們用Go實現(xiàn)一個簡單的多線程下載器。
通過判斷下載文件鏈接返回頭信息中的 Accept-Ranges 字段，如果為 bytes 則表示支持斷點續(xù)傳。
然后在請求頭中設置 Range 字段為 bytes=[start]-[end]，以請求下載文件的分段部分，然后將所有分段合并為一個完整文件。
type HttpDownloader struct {
url string
filename string
contentLength int
acceptRanges bool // 是否支持斷點續(xù)傳
numThreads int // 同時下載線程數(shù)
}func New(url string, numThreads int) *HttpDownloader {
var urlSplits []string = strings.Split(url, "/")
var filename string = urlSplits[len(urlSplits)-1]
res, err := http.Head(url)
check(err)
httpDownload := new(HttpDownloader)
httpDownload.url = url
httpDownload.contentLength = int(res.ContentLength)
httpDownload.numThreads = numThreads
httpDownload.filename = filename
if len(res.Header["Accept-Ranges"]) != 0 && res.Header["Accept-Ranges"][0] == "bytes" {
httpDownload.acceptRanges = true
} else {
httpDownload.acceptRanges = false
}
return httpDownload
}如果不支持多線程下載，就使用單線程下載。
func (h *HttpDownloader) Download() {
f, err := os.Create(h.filename)
check(err)
defer f.Close()
if h.acceptRanges == false {
fmt.Println("該文件不支持多線程下載，單線程下載中：")
resp, err := http.Get(h.url)
check(err)
save2file(h.filename, 0, resp)
} else {
var wg sync.WaitGroup
for _, ranges := range h.Split() {
fmt.Printf("多線程下載中:%d-%d\n", ranges[0], ranges[1])
wg.Add(1)
go func(start, end int) {
defer wg.Done()
h.download(start, end)
}(ranges[0], ranges[1])
}
wg.Wait()
}
}func (h *HttpDownloader) Split() [][]int {
ranges := [][]int{}
blockSize := h.contentLength / h.numThreads
for i:=0; i<h.numThreads; i++ {
var start int = i * blockSize
var end int = (i + 1) * blockSize - 1
if i == h.numThreads - 1 {
end = h.contentLength - 1
}
ranges = append(ranges, []int{start, end})
}
return ranges
}func (h *HttpDownloader) download(start, end int) {
req, err := http.NewRequest("GET", h.url, nil)
check(err)
req.Header.Set("Range", fmt.Sprintf("bytes=%v-%v", start, end))
req.Header.Set("User-Agent", userAgent)
resp, err := http.DefaultClient.Do(req)
check(err)
defer resp.Body.Close()
save2file(h.filename, int64(start), resp)
}func save2file(filename string, offset int64, resp *http.Response) {
f, err := os.OpenFile(filename, os.O_WRONLY, 0660)
check(err)
f.Seek(offset, 0)
defer f.Close()
content, err := ioutil.ReadAll(resp.Body)
check(err)
f.Write(content)
}package main
import (
"fmt"
"strings"
"log"
"os"
"net/http"
"sync"
"io/ioutil"
)
const (
userAgent = `Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36`
)
type HttpDownloader struct {
url string
filename string
contentLength int
acceptRanges bool // 是否支持斷點續(xù)傳
numThreads int // 同時下載線程數(shù)
}
func check(e error) {
if e != nil {
log.Println(e)
panic(e)
}
}
func New(url string, numThreads int) *HttpDownloader {
var urlSplits []string = strings.Split(url, "/")
var filename string = urlSplits[len(urlSplits)-1]
res, err := http.Head(url)
check(err)
httpDownload := new(HttpDownloader)
httpDownload.url = url
httpDownload.contentLength = int(res.ContentLength)
httpDownload.numThreads = numThreads
httpDownload.filename = filename
if len(res.Header["Accept-Ranges"]) != 0 && res.Header["Accept-Ranges"][0] == "bytes" {
httpDownload.acceptRanges = true
} else {
httpDownload.acceptRanges = false
}
return httpDownload
}
// 下載綜合調(diào)度
func (h *HttpDownloader) Download() {
f, err := os.Create(h.filename)
check(err)
defer f.Close()
if h.acceptRanges == false {
fmt.Println("該文件不支持多線程下載，單線程下載中：")
resp, err := http.Get(h.url)
check(err)
save2file(h.filename, 0, resp)
} else {
var wg sync.WaitGroup
for _, ranges := range h.Split() {
fmt.Printf("多線程下載中:%d-%d\n", ranges[0], ranges[1])
wg.Add(1)
go func(start, end int) {
defer wg.Done()
h.download(start, end)
}(ranges[0], ranges[1])
}
wg.Wait()
}
}
// 下載文件分段
func (h *HttpDownloader) Split() [][]int {
ranges := [][]int{}
blockSize := h.contentLength / h.numThreads
for i:=0; i<h.numThreads; i++ {
var start int = i * blockSize
var end int = (i + 1) * blockSize - 1
if i == h.numThreads - 1 {
end = h.contentLength - 1
}
ranges = append(ranges, []int{start, end})
}
return ranges
}
// 多線程下載
func (h *HttpDownloader) download(start, end int) {
req, err := http.NewRequest("GET", h.url, nil)
check(err)
req.Header.Set("Range", fmt.Sprintf("bytes=%v-%v", start, end))
req.Header.Set("User-Agent", userAgent)
resp, err := http.DefaultClient.Do(req)
check(err)
defer resp.Body.Close()
save2file(h.filename, int64(start), resp)
}
// 保存文件
func save2file(filename string, offset int64, resp *http.Response) {
f, err := os.OpenFile(filename, os.O_WRONLY, 0660)
check(err)
f.Seek(offset, 0)
defer f.Close()
content, err := ioutil.ReadAll(resp.Body)
check(err)
f.Write(content)
}
func main() {
var url string = "https://dl.softmgr.qq.com/original/im/QQ9.5.0.27852.exe"
httpDownload := New(url, 4)
fmt.Printf("Bool:%v\nContent:%d\n", httpDownload.acceptRanges, httpDownload.contentLength)
httpDownload.Download()
}到此，相信大家對“使用go實現(xiàn)多線程下載器的方法有哪些”有了更深的了解，不妨來實際操作一番吧！這里是億速云網(wǎng)站，更多相關內(nèi)容可以進入相關頻道進行查詢，關注我們，繼續(xù)學習！
免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權內(nèi)容。
