MySQL之特定SQL下的并發(fā)性能測試講義

本文主要給大家介紹MySQL之特定SQL下的并發(fā)性能測試講義，希望可以給大家補(bǔ)充和更新些知識，如有其它問題需要了解的可以持續(xù)在億速云行業(yè)資訊里面關(guān)注我的更新文章的。

場景描述

• 從全文檢索或者緩存中獲取ID，根據(jù)ID查詢數(shù)據(jù)庫獲取基礎(chǔ)信息，進(jìn)行頁面展示

• SQL：select * from table where id in(id1,id2,id3...id40)

• 此種場景的常規(guī)方案是將id對應(yīng)的基礎(chǔ)信息在redis中緩存一份，mysql只是做為后端存儲。我們做如下測試就是嘗試mysql是否可應(yīng)對這種查詢場景。然而根本原因是DBA告訴我，現(xiàn)在MySQL性能已經(jīng)極其厲害。
• 

數(shù)據(jù)量說明

• 1.8億條數(shù)據(jù)
• 使用Oneproxy分為200個數(shù)據(jù)表(200個表在同一臺機(jī)器）
• 因?yàn)閕d是隨機(jī)的，查詢時oneproxy會將查詢分散到所有后端MySql

性能指標(biāo)

• 并發(fā)數(shù)
• 每次查詢的響應(yīng)時間

MySql云服務(wù)器

• 騰訊云提供的MySQL服務(wù)

mysql的具體配置不在這里列舉，即下面的性能報告只是特定場景下的性能分析，不代表mysql的“真實(shí)”性能。本文核心是提供一種測試方法，而不是單純的提供一份數(shù)據(jù)報告 。

測試程序簡介

• 基礎(chǔ)：php、swoole協(xié)程
• 使用協(xié)程控制程序的并發(fā)數(shù)，每個協(xié)程中執(zhí)行一次查詢。當(dāng)一次查詢完成，管道通知開始新的查詢。

程序代碼

mysql_test.php

<?php
ini_set('memory_limit', '1280M'); //協(xié)程會耗費(fèi)較多的內(nèi)存

define('MAX_MYSQLPOOL_NUM', $argv['1']); //mysql最大連接數(shù)，即并發(fā)數(shù)
define('TESTCOUNT', $argv['2']);  //一共的測試次數(shù)

$mysqlconf = [
    'host' => '127.0.0.1',
    'port' => 3307,
    'user' => 'root',
    'password' => '123456',
    'database' => '',
    'timeout' => 10
];

Swoole\Coroutine::create(function () use ($mysqlconf) {
    $stime = microtime(true); //程序開始時間

    $pool = new MysqlPool($mysqlconf); 
    $chan = new chan(MAX_MYSQLPOOL_NUM); //并發(fā)數(shù)，協(xié)程間使用channel通信

    for($i = 1; $i< TESTCOUNT + MAX_MYSQLPOOL_NUM; $i++) {
        $chan->push('x');
        Swoole\Coroutine::create(function() use($pool, $chan, $i) {
            //測試的業(yè)務(wù)邏輯開始
            $conn = $pool->get();
            if($conn) {
                $sql = "select /* parallel */ * from table where id in (".implode(',', getRandpid()).')';
                $time1 = microtime(true);
                $conn->query($sql);
                $time2 = microtime(true);

                if($i % intval(TESTCOUNT / 10) == 0) { //輸出執(zhí)行的進(jìn)度
                    echo "\n finish $i / ".TESTCOUNT; 
                }
                $pool->put($conn, (($time2 - $time1) * 1000)); //每次查詢耗時就不單獨(dú)做實(shí)例，直接修改連接池類做簡單統(tǒng)計
            } else {
                echo "\n connect mysql fail，跳過SQL";
            }
            //業(yè)務(wù)邏輯結(jié)束
            $chan->pop();
        });
    }
    $etime = microtime(true);
    echo "\n ============執(zhí)行結(jié)果=============";
    echo "\n 并發(fā)數(shù)量： ".MAX_MYSQLPOOL_NUM;
    echo "\n 查詢次數(shù)： ".TESTCOUNT;
    echo "\n 執(zhí)行總耗時： ".intval($etime - $stime)."秒\n";

    echo "\n QPS (查詢次數(shù)/總耗時) :". intval((TESTCOUNT / ($etime - $stime)));
    echo "\n 每次查詢耗時平均值：".intval($pool->alltime / TESTCOUNT) ."ms";
    echo "\n ============end=============\n";
    die;
});

//數(shù)據(jù)庫連接池，https://wiki.swoole.com/wiki/page/852.html
class MysqlPool
{
    protected $pool;
    private $mysqlconf;
    public $alltime;

    public function __construct($mysqlconf)
    {
        $this->pool = new SplQueue();
        $this->mysqlconf = $mysqlconf;
        $this->alltime = 0;
    }

    public function put($mysql, $time = 0)
    {
        $this->pool->push($mysql);
        $this->alltime += $time;
    }

    public function get()
    {
        //有空閑連接
        if (count($this->pool) > 0) {
            return $this->pool->pop();
        }

        $mysql = new Swoole\Coroutine\Mysql();
        $res = $mysql->connect($this->mysqlconf);
        if ($res == false) {
            echo "\n connect error info: ".$mysql->error."\n";
            return false;
        } else {
            return $mysql;
        }
    }
}

//隨機(jī)生成的數(shù)字
function getRandpid()
{
    for ($i = 0; $i < 40; ++$i) {
        $ret[] = rand(1, 185724600);
    }
    return $ret;
}

測試1：直接連接mysql，查詢單表的性能

• 測試代碼：修改以上代碼

  • 1：修改mysql配置為直接連接mysql，而不是oneproxy。即端口從3307改為3306

  • 2：“業(yè)務(wù)邏輯”部分中的SQL改為：

    $sql = "select * from table_10 where id in (".implode(',', getRandpid()).')';

• 測試指令：

  php mysql_test.php 1 1000 //并發(fā)為1，查詢1000次
  php mysql_test.php 10 1000 //并發(fā)為10，查詢1000次
  php mysql_test.php 50 10000 //并發(fā)為50，查詢10000次
  ...
  php mysql_test.php 500 100000 //并發(fā)為500，查詢100000次

• 測試結(jié)果：
  

• 結(jié)果分析：
  根據(jù)主鍵查詢單表，mysql的性能基本可以滿足正常業(yè)務(wù)的需求

測試2

• 說明    
  查詢oneproxy。因?yàn)椴樵僫d是隨機(jī)的，每查一次oneproxy，對應(yīng)查詢的是40個mysql的表。
  即，當(dāng)oneproxy的并發(fā)數(shù)為1，mysql的對應(yīng)并發(fā)數(shù)是40

• 測試代碼：
  以上提供的代碼即為此種情況的代碼，無須修改。

• 測試指令：

  php mysql_test.php 1 1000 //并發(fā)為1，查詢1000次
  php mysql_test.php 10 1000 //并發(fā)為10，查詢1000次
  php mysql_test.php 50 10000 //并發(fā)為50，查詢10000次
  ...
  php mysql_test.php 100 10000 //并發(fā)為100，查詢10000次

• 測試結(jié)果：
  

• 結(jié)果分析：
  • 1：OneProxy做為mysql的代理，對查詢性能基本0消耗。
    當(dāng)oneproxy的查詢并發(fā)為5時，對應(yīng)mysql的查詢并發(fā)為200。測試2的結(jié)果，并發(fā)為5，每次查詢耗時30ms。測試1，mysql并發(fā)200，每次查詢耗時29ms?？傻玫浇Y(jié)論，oneproxy對性能0消耗。
  • 2：每次查詢耗時太高，很小流量的業(yè)務(wù)才能使用此方案。

測試3：后端mysql表分散到多臺機(jī)器

• 分到兩臺，測試結(jié)果：
  

• 分析：
  mysql分到兩臺機(jī)器。同樣并發(fā)數(shù)時，每次查詢耗時能縮短一倍。
• 推測：
  mysql表分到更多的機(jī)器，每次查詢耗時能達(dá)到測試1的結(jié)果，可滿足正常的業(yè)務(wù)需求。

最后，關(guān)注性能的同時，也要關(guān)注系統(tǒng)的穩(wěn)定性、開發(fā)者的易用性、易維護(hù)性。

看了以上關(guān)于MySQL之特定SQL下的并發(fā)性能測試講義，希望能給大家在實(shí)際運(yùn)用中帶來一定的幫助。本文由于篇幅有限，難免會有不足和需要補(bǔ)充的地方，如有需要更加專業(yè)的解答，可在官網(wǎng)聯(lián)系我們的24小時售前售后，隨時幫您解答問題的。