溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
今天在做一個小任務，需要調(diào)用阿里云的圖像識別接口，對 62662 張照片進行場景識別，并將結(jié)果寫到本地的 csv 文件中。
因為任務很簡單，沒想很多就開始碼。自從有了 async/await 之后，已經(jīng)很久不寫 callback 了，所以上手就寫成這樣：
本文所有代碼均有簡化，只保留關鍵過程
async fetchSceneTags(imagePath) {
try {
const result = await callAliyunAPI(imagePath);
return result.errno === 0 ? result.tags : [];
} catch(error) {
return [];
}
}
async function writeScene(paths) {
for (let i = 0, len = paths.length; i < len; i++) {
await tags = fetchSceneTags(paths[i])
writeToFile(tags);
writeStdout(`${i} / ${len}`);
}
}
function start() {
const paths = loadPaths();
writeScene(paths);
}
運行起來以后沒問題就放著忙別的去了。過了差不多 2 小時回來一看，才跑了 17180 張圖，每分鐘 144 張。這才意識到同步速度太慢了，于是停掉進程，將代碼改成下面這樣：
fetchSceneTagsAsync(imagePath, callback) {
callAliyunAPI(imagePath)
.then(result => {
const tags = result.errno === 0 ? result.tags : [];
callback(tags);
})
.catch(error => callback([]));
}
function writeSceneAsync(paths) {
const callback = tags => {
await tags = fetchSceneTagsAsync(paths[i])
writeToFile(tags);
}
paths.forEach(path => fetchSceneTagsAsync(path, callback));
}
function start() {
const paths = loadPaths();
writeSceneAsync(paths);
}
跑了一下，直接停擺了。嗯，不能一下把請求全發(fā)出去，加一個 Throttle：
fetchSceneTagsAsync(imagePath, callback) {
callAliyunAPI(imagePath)
.then(result => {
const tags = result.errno === 0 ? result.tags : [];
callback(tags);
})
.catch(error => callback([]));
}
function throttle(paths, callback) {
if(paths.length === 0) return;
const sub = paths.splice(0, 10);
sub.forEach(path => fetchSceneTagsAsync(path, callback));
setTimeout(() => throttle(paths, callback), 1000)
}
function writeSceneAsync(paths) {
const callback = tags => {
await tags = fetchSceneTagsAsync(paths[i])
writeToFile(tags);
}
throttle(paths, callback)
}
function start() {
const paths = loadPaths();
writeSceneAsync(paths);
}
重新啟動服務，觀察了一下，大約每分鐘處理 568 張圖片，速度提升約 4 倍。
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持億速云。
免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
