Nginx源碼研究之nginx限流模塊詳解

typedef enum {
 NGX_HTTP_POST_READ_PHASE = 0, //目前只有realip模塊會(huì)注冊(cè)handler（nginx作為代理服務(wù)器時(shí)有用，后端以此獲取客戶端原始ip）
 
 NGX_HTTP_SERVER_REWRITE_PHASE, //server塊中配置了rewrite指令，重寫url
 
 NGX_HTTP_FIND_CONFIG_PHASE, //查找匹配location；不能自定義handler；
 NGX_HTTP_REWRITE_PHASE,  //location塊中配置了rewrite指令，重寫url
 NGX_HTTP_POST_REWRITE_PHASE, //檢查是否發(fā)生了url重寫，如果有，重新回到FIND_CONFIG階段；不能自定義handler；
 
 NGX_HTTP_PREACCESS_PHASE,  //訪問控制，限流模塊會(huì)注冊(cè)handler到此階段
 
 NGX_HTTP_ACCESS_PHASE,  //訪問權(quán)限控制
 NGX_HTTP_POST_ACCESS_PHASE, //根據(jù)訪問權(quán)限控制階段做相應(yīng)處理；不能自定義handler；
 
 NGX_HTTP_TRY_FILES_PHASE,  //只有配置了try_files指令，才會(huì)有此階段；不能自定義handler；
 NGX_HTTP_CONTENT_PHASE,  //內(nèi)容產(chǎn)生階段，返回響應(yīng)給客戶端
 
 NGX_HTTP_LOG_PHASE   //日志記錄
} ngx_http_phases;

typedef struct {
 ngx_int_t (*preconfiguration)(ngx_conf_t *cf);
 ngx_int_t (*postconfiguration)(ngx_conf_t *cf); //此方法注冊(cè)handler到相應(yīng)階段
 
 void  *(*create_main_conf)(ngx_conf_t *cf); //http塊中的主配置
 char  *(*init_main_conf)(ngx_conf_t *cf, void *conf);
 
 void  *(*create_srv_conf)(ngx_conf_t *cf); //server配置
 char  *(*merge_srv_conf)(ngx_conf_t *cf, void *prev, void *conf);
 
 void  *(*create_loc_conf)(ngx_conf_t *cf); //location配置
 char  *(*merge_loc_conf)(ngx_conf_t *cf, void *prev, void *conf);
} ngx_http_module_t;

static ngx_int_t ngx_http_limit_req_init(ngx_conf_t *cf)
{
 h = ngx_array_push(&cmcf->phases[NGX_HTTP_PREACCESS_PHASE].handlers);
 
 *h = ngx_http_limit_req_handler; //ngx_http_limit_req_module模塊的限流方法；nginx處理HTTP請(qǐng)求時(shí)，都會(huì)調(diào)用此方法判斷應(yīng)該繼續(xù)執(zhí)行還是拒絕請(qǐng)求
 
 return NGX_OK;
}

static ngx_int_t ngx_epoll_add_event(ngx_event_t *ev, ngx_int_t event, ngx_uint_t flags);

struct ngx_event_s {
 
 ngx_event_handler_pt handler; //函數(shù)指針：事件的處理函數(shù)
 
 ngx_rbtree_node_t timer;  //超時(shí)定時(shí)器，存儲(chǔ)在紅黑樹中（節(jié)點(diǎn)的key即為事件的超時(shí)時(shí)間）
 
 unsigned   timedout:1; //記錄事件是否超時(shí)
 
};

ngx_msec_t ngx_event_find_timer(void)
{
 node = ngx_rbtree_min(root, sentinel);
 timer = (ngx_msec_int_t) (node->key - ngx_current_msec);
 
 return (ngx_msec_t) (timer > 0 ? timer : 0);
}

void ngx_event_expire_timers(void)
{
 for ( ;; ) {
  node = ngx_rbtree_min(root, sentinel);
 
  if ((ngx_msec_int_t) (node->key - ngx_current_msec) <= 0) { //當(dāng)前事件已經(jīng)超時(shí)
   ev = (ngx_event_t *) ((char *) node - offsetof(ngx_event_t, timer));
 
   ev->timedout = 1;
 
   ev->handler(ev);
 
   continue;
  }
 
  break;
 }
}

//每個(gè)配置指令主要包含兩個(gè)字段：名稱，解析配置的處理方法
static ngx_command_t ngx_http_limit_req_commands[] = {
 
 //一般用法：limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
 //$binary_remote_addr表示遠(yuǎn)程客戶端IP；
 //zone配置一個(gè)存儲(chǔ)空間（需要分配空間記錄每個(gè)客戶端的訪問速率，超時(shí)空間限制使用lru算法淘汰；注意此空間是在共享內(nèi)存分配的，所有worker進(jìn)程都能訪問）
 //rate表示限制速率，此例為1qps
 { ngx_string("limit_req_zone"),
  ngx_http_limit_req_zone,
  },
 
 //用法：limit_req zone=one burst=5 nodelay;
 //zone指定使用哪一個(gè)共享空間
 //超出此速率的請(qǐng)求是直接丟棄嗎？burst配置用于處理突發(fā)流量，表示最大排隊(duì)請(qǐng)求數(shù)目，當(dāng)客戶端請(qǐng)求速率超過限流速率時(shí)，請(qǐng)求會(huì)排隊(duì)等待；而超出burst的才會(huì)被直接拒絕；
 //nodelay必須與burst一起使用；此時(shí)排隊(duì)等待的請(qǐng)求會(huì)被優(yōu)先處理；否則假如這些請(qǐng)求依然按照限流速度處理，可能等到服務(wù)器處理完成后，客戶端早已超時(shí)
 { ngx_string("limit_req"),
  ngx_http_limit_req,
  },
 
 //當(dāng)請(qǐng)求被限流時(shí)，日志記錄級(jí)別；用法：limit_req_log_level info | notice | warn | error;
 { ngx_string("limit_req_log_level"),
  ngx_conf_set_enum_slot,
  },
 
 //當(dāng)請(qǐng)求被限流時(shí)，給客戶端返回的狀態(tài)碼；用法：limit_req_status 503
 { ngx_string("limit_req_status"),
  ngx_conf_set_num_slot,
 },
};

static ngx_http_variable_t ngx_http_core_variables[] = {
 
 { ngx_string("http_host"), NULL, ngx_http_variable_header,
  offsetof(ngx_http_request_t, headers_in.host), 0, 0 },
 
 { ngx_string("http_user_agent"), NULL, ngx_http_variable_header,
  offsetof(ngx_http_request_t, headers_in.user_agent), 0, 0 },
 …………
}

typedef struct {
 ngx_http_limit_req_shctx_t *sh;
 ngx_slab_pool_t    *shpool;//內(nèi)存池
 ngx_uint_t     rate; //限流速度（qps乘以1000存儲(chǔ)）
 ngx_int_t     index; //變量索引（nginx提供了一系列變量，用戶配置的限流變量索引）
 ngx_str_t     var; //限流變量名稱
 ngx_http_limit_req_node_t *node;
} ngx_http_limit_req_ctx_t;
 
//同時(shí)會(huì)初始化共享存儲(chǔ)空間
struct ngx_shm_zone_s {
 void      *data; //data指向ngx_http_limit_req_ctx_t結(jié)構(gòu)
 ngx_shm_t     shm; //共享空間
 ngx_shm_zone_init_pt  init; //初始化方法函數(shù)指針
 void      *tag; //指向ngx_http_limit_req_module結(jié)構(gòu)體
};

typedef struct {
 ngx_shm_zone_t    *shm_zone; //共享存儲(chǔ)空間
  
 ngx_uint_t     burst;  //隊(duì)列大小
 ngx_uint_t     nodelay; //有請(qǐng)求排隊(duì)時(shí)是否緊急處理，與burst配合使用（如果配置，則會(huì)緊急處理排隊(duì)請(qǐng)求，否則依然按照限流速度處理）
} ngx_http_limit_req_limit_t;

//記錄結(jié)構(gòu)體
typedef struct {
 u_char      color;
 u_char      dummy;
 u_short      len; //數(shù)據(jù)長度
 ngx_queue_t     queue; 
 ngx_msec_t     last; //上次訪問時(shí)間
  
 ngx_uint_t     excess; //當(dāng)前剩余待處理的請(qǐng)求數(shù)（nginx用此實(shí)現(xiàn)令牌桶限流算法）
 ngx_uint_t     count; //此類記錄請(qǐng)求的總數(shù)
 u_char      data[1];//數(shù)據(jù)內(nèi)容（先按照key（hash值）查找，再比較數(shù)據(jù)內(nèi)容是否相等）
} ngx_http_limit_req_node_t;
 
//紅黑樹節(jié)點(diǎn)，key為用戶配置限流變量的hash值；
struct ngx_rbtree_node_s {
 ngx_rbtree_key_t  key;
 ngx_rbtree_node_t  *left;
 ngx_rbtree_node_t  *right;
 ngx_rbtree_node_t  *parent;
 u_char     color;
 u_char     data;
};
 
 
typedef struct {
 ngx_rbtree_t     rbtree; //紅黑樹
 ngx_rbtree_node_t    sentinel; //NIL節(jié)點(diǎn)
 ngx_queue_t     queue; //LRU隊(duì)列
} ngx_http_limit_req_shctx_t;
 
//隊(duì)列只有prev和next指針
struct ngx_queue_s {
 ngx_queue_t *prev;
 ngx_queue_t *next;
};

ngx_http_limit_req_ctx_t *ctx;
ngx_queue_t    *q;
 
q = ngx_queue_last(&ctx->sh->queue);
 
lr = ngx_queue_data(q, ngx_http_limit_req_node_t, queue);//此方法由ngx_queue_t獲取ngx_http_limit_req_node_t結(jié)構(gòu)首地址，實(shí)現(xiàn)如下：
 
#define ngx_queue_data(q, type, link) (type *) ((u_char *) q - offsetof(type, link)) //queue字段地址減去其在結(jié)構(gòu)體中偏移，為結(jié)構(gòu)體首地址

size = offsetof(ngx_rbtree_node_t, color) //新建記錄分配內(nèi)存，計(jì)算所需空間大小
  + offsetof(ngx_http_limit_req_node_t, data)
  + len;
 
node = ngx_slab_alloc_locked(ctx->shpool, size);
 
node->key = hash;
 
lr = (ngx_http_limit_req_node_t *) &node->color; //color為u_char類型，為什么能強(qiáng)制轉(zhuǎn)換為ngx_http_limit_req_node_t指針類型呢？
 
lr->len = (u_char) len;
lr->excess = 0;
 
ngx_memcpy(lr->data, data, len);
 
ngx_rbtree_insert(&ctx->sh->rbtree, node);
 
ngx_queue_insert_head(&ctx->sh->queue, &lr->queue);

//limit，限流策略；hash，記錄key的hash值；data，記錄key的數(shù)據(jù)內(nèi)容；len，記錄key的數(shù)據(jù)長度；ep，待處理請(qǐng)求數(shù)目；account，是否是最后一條限流策略
static ngx_int_t ngx_http_limit_req_lookup(ngx_http_limit_req_limit_t *limit, ngx_uint_t hash, u_char *data, size_t len, ngx_uint_t *ep, ngx_uint_t account)
{
 //紅黑樹查找指定界定
 while (node != sentinel) {
 
  if (hash < node->key) {
   node = node->left;
   continue;
  }
 
  if (hash > node->key) {
   node = node->right;
   continue;
  }
 
  //hash值相等，比較數(shù)據(jù)是否相等
  lr = (ngx_http_limit_req_node_t *) &node->color;
 
  rc = ngx_memn2cmp(data, lr->data, len, (size_t) lr->len);
  //查找到
  if (rc == 0) {
   ngx_queue_remove(&lr->queue);
   ngx_queue_insert_head(&ctx->sh->queue, &lr->queue); //將記錄移動(dòng)到LRU隊(duì)列頭部
  
   ms = (ngx_msec_int_t) (now - lr->last); //當(dāng)前時(shí)間減去上次訪問時(shí)間
 
   excess = lr->excess - ctx->rate * ngx_abs(ms) / 1000 + 1000; //待處理請(qǐng)求書-限流速率*時(shí)間段+1個(gè)請(qǐng)求（速率，請(qǐng)求數(shù)等都乘以1000了）
 
   if (excess < 0) {
    excess = 0;
   }
 
   *ep = excess;
 
   //待處理數(shù)目超過burst（等待隊(duì)列大小），返回NGX_BUSY拒絕請(qǐng)求（沒有配置burst時(shí)，值為0）
   if ((ngx_uint_t) excess > limit->burst) {
    return NGX_BUSY;
   }
 
   if (account) { //如果是最后一條限流策略，則更新上次訪問時(shí)間，待處理請(qǐng)求數(shù)目，返回NGX_OK
    lr->excess = excess;
    lr->last = now;
    return NGX_OK;
   }
   //訪問次數(shù)遞增
   lr->count++;
 
   ctx->node = lr;
 
   return NGX_AGAIN; //非最后一條限流策略，返回NGX_AGAIN，繼續(xù)校驗(yàn)下一條限流策略
  }
 
  node = (rc < 0) ? node->left : node->right;
 }
 
 //假如沒有查找到節(jié)點(diǎn)，需要新建一條記錄
 *ep = 0;
 //存儲(chǔ)空間大小計(jì)算方法參照3.2.1節(jié)數(shù)據(jù)結(jié)構(gòu)
 size = offsetof(ngx_rbtree_node_t, color)
   + offsetof(ngx_http_limit_req_node_t, data)
   + len;
 //嘗試淘汰記錄（LRU）
 ngx_http_limit_req_expire(ctx, 1);
 
  
 node = ngx_slab_alloc_locked(ctx->shpool, size);//分配空間
 if (node == NULL) { //空間不足，分配失敗
  ngx_http_limit_req_expire(ctx, 0); //強(qiáng)制淘汰記錄
 
  node = ngx_slab_alloc_locked(ctx->shpool, size); //分配空間
  if (node == NULL) { //分配失敗，返回NGX_ERROR
   return NGX_ERROR;
  }
 }
 
 node->key = hash; //賦值
 lr = (ngx_http_limit_req_node_t *) &node->color;
 lr->len = (u_char) len;
 lr->excess = 0;
 ngx_memcpy(lr->data, data, len);
 
 ngx_rbtree_insert(&ctx->sh->rbtree, node); //插入記錄到紅黑樹與LRU隊(duì)列
 ngx_queue_insert_head(&ctx->sh->queue, &lr->queue);
 
 if (account) { //如果是最后一條限流策略，則更新上次訪問時(shí)間，待處理請(qǐng)求數(shù)目，返回NGX_OK
  lr->last = now;
  lr->count = 0;
  return NGX_OK;
 }
 
 lr->last = 0;
 lr->count = 1;
 
 ctx->node = lr;
 
 return NGX_AGAIN; //非最后一條限流策略，返回NGX_AGAIN，繼續(xù)校驗(yàn)下一條限流策略
  
}

static void ngx_http_limit_req_expire(ngx_http_limit_req_ctx_t *ctx, ngx_uint_t n)
{
 //最多刪除3條記錄
 while (n < 3) {
  //尾部節(jié)點(diǎn)
  q = ngx_queue_last(&ctx->sh->queue);
  //獲取記錄
  lr = ngx_queue_data(q, ngx_http_limit_req_node_t, queue);
   
  //注意：當(dāng)為0時(shí)，無法進(jìn)入if代碼塊，因此一定會(huì)刪除尾部節(jié)點(diǎn)；當(dāng)n不為0時(shí)，進(jìn)入if代碼塊，校驗(yàn)是否可以刪除
  if (n++ != 0) {
 
   ms = (ngx_msec_int_t) (now - lr->last);
   ms = ngx_abs(ms);
   //短時(shí)間內(nèi)被訪問，不能刪除，直接返回
   if (ms < 60000) {
    return;
   }
    
   //有待處理請(qǐng)求，不能刪除，直接返回
   excess = lr->excess - ctx->rate * ms / 1000;
   if (excess > 0) {
    return;
   }
  }
 
  //刪除
  ngx_queue_remove(q);
 
  node = (ngx_rbtree_node_t *)
     ((u_char *) lr - offsetof(ngx_rbtree_node_t, color));
 
  ngx_rbtree_delete(&ctx->sh->rbtree, node);
 
  ngx_slab_free_locked(ctx->shpool, node);
 }
}

//計(jì)算當(dāng)前請(qǐng)求還需要排隊(duì)多久才能處理
delay = ngx_http_limit_req_account(limits, n, &excess, &limit);

//添加可讀事件
if (ngx_handle_read_event(r->connection->read, 0) != NGX_OK) {
 return NGX_HTTP_INTERNAL_SERVER_ERROR;
}

r->read_event_handler = ngx_http_test_reading;
r->write_event_handler = ngx_http_limit_req_delay; //可寫事件處理函數(shù)
ngx_add_timer(r->connection->write, delay); //可寫事件添加定時(shí)器（超時(shí)之前是不能往客戶端返回的）

if (limits[n].nodelay) { //配置了nodelay時(shí)，請(qǐng)求不會(huì)被延時(shí)處理，delay為0
 continue;
}
 
delay = excess * 1000 / ctx->rate;
 
if (delay > max_delay) {
 max_delay = delay;
 *ep = excess;
 *limit = &limits[n];
}

static void ngx_http_limit_req_delay(ngx_http_request_t *r)
{
 
 wev = r->connection->write;
 
 if (!wev->timedout) { //沒有超時(shí)不會(huì)處理
 
  if (ngx_handle_write_event(wev, 0) != NGX_OK) {
   ngx_http_finalize_request(r, NGX_HTTP_INTERNAL_SERVER_ERROR);
  }
 
  return;
 }
 
 wev->timedout = 0;
 
 r->read_event_handler = ngx_http_block_reading;
 r->write_event_handler = ngx_http_core_run_phases;
 
 ngx_http_core_run_phases(r); //超時(shí)了，繼續(xù)處理HTTP請(qǐng)求
}

http{
 limit_req_zone $binary_remote_addr zone=test:10m rate=1r/s;
 
 server {
  listen  80;
  server_name localhost;
  location / {
   limit_req zone=test;
   root html;
   index index.html index.htm;
  }
}

http{
 limit_req_zone $binary_remote_addr zone=test:10m rate=1r/s;
 
 server {
  listen  80;
  server_name localhost;
  location / {
   limit_req zone=test burst=5;
   root html;
   index index.html index.htm;
  }
}

    min mean[+/-sd] median max
Connect:  41 44 1.7  44  46
Processing: 46 1566 1916.6 1093 5084
Waiting:  46 1565 1916.7 1092 5084
Total:   87 1609 1916.2 1135 5128

http{
 limit_req_zone $binary_remote_addr zone=test:10m rate=1r/s;
 
 server {
  listen  80;
  server_name localhost;
  location / {
   limit_req zone=test burst=5 nodelay;
   root html;
   index index.html index.htm;
  }
}

    min mean[+/-sd] median max
Connect:  42 43 0.5  43  43
Processing: 43 46 2.4  47  49
Waiting:  42 45 2.5  46  49
Total:   85 88 2.8  90  92