溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

解決nginx+lua搭建文件上傳下載服務(wù)問題

發(fā)布時(shí)間：2020-10-06 08:25:16 來源：腳本之家 閱讀：325 作者：莊進(jìn)發(fā) 欄目：服務(wù)器

導(dǎo)語

項(xiàng)目需要做一個(gè)文件上傳下載服務(wù)，利用 nginx＋lua 做一個(gè)代理服務(wù)，上傳入口統(tǒng)一，分發(fā)到不同的機(jī)器存儲(chǔ)，下載鏈接和物理存儲(chǔ)隔離，支持添加 agent 的方式擴(kuò)容，這里主要講一下思路和搭建配置過程，大神勿噴。

主要邏輯

解決nginx+lua搭建文件上傳下載服務(wù)問題

上傳

前端請求 nginx 服務(wù)， nginx 調(diào)用 upload 腳本，腳本通過查找配置，找到對應(yīng)的邏輯存儲(chǔ)路徑和物理存儲(chǔ)機(jī)器的 agent 的 ip 和端口，通過 tcp 發(fā)包到對應(yīng) agent ，部署在對應(yīng)機(jī)器的 agent 接受數(shù)據(jù)，并寫到本地文件。

下載

http下載請求 nginx ， nginx 調(diào)用 download 腳本，腳本解析鏈接參數(shù)，根據(jù)參數(shù)找到對應(yīng)的 agent 地址，請求返回文件二進(jìn)制內(nèi)容，腳本接受到 agent 返回的數(shù)據(jù)，返回給請求端。

配置Nginx＋lua

接下來主要講一下 nginx 安裝配置（這里包括lua的二進(jìn)制流處理 lpack， md5計(jì)算， mysql 操作， json 操作）

1、安裝 nginx

下載http://nginx.org/en/download.html

解壓tar -xvf nginx-1.10.3.tar.gz

2、安裝 luajit（輕量級 lua）

http://luajit.org/download.html

修改 makefile 里面的安裝路徑export PREFIX= /usr/local/luajit

然后安裝make &make install

3、安裝nginx_lua_module

下載https://github.com/openresty/lua-nginx-module

解壓

4、 安裝ngx_devel_kit （NDK提供函數(shù)和宏處理一些基本任務(wù)，減輕第三方模塊開發(fā)的代碼量）

下載https://github.com/simpl/ngx_devel_kit/

5、 安裝編譯，導(dǎo)入

export LUAJIT_LIB=/usr/local/luajit/lib 
export LUAJIT_INC=/usr/local/luajit/include/luajit-2.0 
./configure --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --add-module=/home/oicq/jeffzhuang/ngx_devel_kit-0.3.0 --add-module=/home/oicq/jeffzhuang/lua-nginx-module-0.10.
make -j2 
make install

啟動(dòng)/usr/local/nginx/sbin/nginx 重啟命令` usr/local/nginx/sbin/nginx -s reload v

如果報(bào)錯(cuò)找不到luajit庫ln -s /usr/local/lib/libluajit-5.1.so.2 /lib64/libluajit-5.1.so.2

測試nginx直接打開瀏覽器就可以了http:10.x.x.x:8080就可以看到歡迎界面了

6 、配置conf/nginx.conf運(yùn)行 lua 腳本

增加lua庫的查找路徑lua_package_path，lua_package_cpath

解決nginx+lua搭建文件上傳下載服務(wù)問題

7、增加mysql.lua下載 https://github.com/openresty/lua-resty-mysql 拷貝到lua_package_path 目錄下就可以了

8、增加 csjon http://www.kyne.com.au/~mark/software/download/lua-cjson-2.1.0.tar.gz

修改 Makefile 里面的 PREFIX＝/usr/local/luajit就是luajit 的安裝路徑，make后將生成的 cjson.so拷貝到

lua_package_cpath目錄下

9、安裝lpack 可以用現(xiàn)成的 lpack.lua 拷貝到 lua_package_path 或者用 https://github.com/LuaDist/lpack 編譯生成 lpack.so拷貝到 lua_package_cpath 64位需要增加編譯命令 -fPIC

10、upload.lua下載https://github.com/openresty/lua-resty-upload

11、md5下載 https://github.com/openresty/lua-resty-string

主要代碼

1、前端上傳頁面代碼

<!DOCTYPE html>
<html>
 <head>
  <title>File upload example</title>
 </head>
 <body>
  <form action="emer_upload/order_system_storage" method="post" enctype="multipart/form-data">
  <input type="file" name="testFileName"/>
  <input type="submit" name="upload" value="Upload" />
  </form>
 </body>
</html>

2、upload上傳代碼，該模塊在解析文件上傳請求的過程中，主要采用了簡單的類似有限狀態(tài)機(jī)的算法來實(shí)現(xiàn)的，在不同的狀態(tài)由相應(yīng)的 handler 進(jìn)行處理。

--文件下載服務(wù)寫到 saveRootPath .."/" .. filename 下面 
function DownLoad()
 local chunk_size = 4096
 local form,err=upload:new(chunk_size)
 if not form then
  ngx.log(ngx.ERR, "failed to new upload: ", err)
  ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)
 end 
 form:set_timeout(100000)
 while true do
 local typ,res,err=form:read()
 if not typ then
  ErrorMsg="failed to read :"..err
  return 1
 end
 if typ =="header" then
  local key=res[1]
  local value=res[2]
  if key =="Content-Disposition" then
  local kvlist=string.split(value,';')
   for _, kv in ipairs(kvlist) do
   local seg = string.trim(kv)
   if seg:find("filename") then
   local kvfile = string.split(seg, "=")
   filename = string.sub(kvfile[2], 2, -2)
   if filename then
    --獲取文件后綴名字
    fileExtension=getExtension(filename)
    local linuxTime=tostring(os.time())
    filePath=saveRootPath .."/" ..linuxTime..filename
    fileToSave,errmsg = io.open(filePath, "w+")
    --存儲(chǔ)的文件路徑   
    --ngx.say("failed to open file ", filePath)
    if not fileToSave then
    --ngx.say("failed to open file ", filePath .. errmsg)
    ErrorMsg="打開文件失敗"..filePath .. errmsg
    return 1
    end
   else
    ErrorMsg="請求參數(shù)找不到文件名字"
    return 1
   end
   --跳出循環(huán)
   break 
   end
   end
  end
 elseif typ =="body" then
  if fileToSave then
  fileToSave:write(res)
  fileMd5:update(res)
  end
 elseif typ =="part_end" then
  if fileToSave then
  local md5_sum=fileMd5:final()
  --ngx.say("md5: ", str.to_hex(md5_sum))
  fileMD532=str.to_hex(md5_sum)
  fileToSave:close()
  fileToSave = nil
  end  
 elseif typ =="eof" then
  break
 else
  ngx.log(ngx.INFO, "do other things")
 end
 end
 return 0
end

3、tcp接收二進(jìn)制數(shù)據(jù)

-- 讀取byte
function readInt8(tcp)
 local next, val = string.unpack(tcp:receive(1), "b")
 return tonumber(val);
end
-- 讀取int16
function readInt16(tcp)
 local next, val = string.unpack(tcp:receive(2), "h");
 return tonumber(val);
end
-- 讀取int32
function readInt32(tcp)
 local next, val = string.unpack(tcp:receive(4), ">i");
 return tonumber(val);
end
-- 讀取字符串
function readString(tcp,len)
 return tostring(tcp:receive(len));
end

4、tcp寫二進(jìn)制數(shù)據(jù)，這里和 agent 的通信協(xié)議是：開始標(biāo)志位＋包長度＋json 字符串＋結(jié)束標(biāo)志位，所以對應(yīng) pack 用的參數(shù)就是 bIAb ，> 就是轉(zhuǎn)化為大端

jsonData["filename"]=fileMD532 .. "." .. fileExtension
jsonData["cmd"]="write"
jsonData["fileSize"]=tostring(filelen)
jsonData["path"]=System.."/"..StorageDate
local Jsonstr=cjson.encode(jsonData)
local uiLen=string.len(Jsonstr)
senddata=bpack(">b1IAb",startIndex,uiLen,Jsonstr,endIndex)
socket:send(senddata)

5、下載錯(cuò)誤的時(shí)候，使用了 redirect 直接跳轉(zhuǎn)到錯(cuò)誤頁面，方便輸出錯(cuò)誤信息，其實(shí)這里還可以做用戶 token 校驗(yàn)

local ErrorUrl="/downloadError.html"
ErrorMsg="url 參數(shù)解析有問題 "..index
return ngx.redirect(ErrorUrl.."?msg="..ErrorMsg,``` ngx.HTTP_MOVED_TEMPORARILY)

總結(jié)

以上所述是小編給大家介紹的解決nginx+lua搭建文件上傳下載服務(wù)問題，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對億速云網(wǎng)站的支持！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手