ChatGPT用于OA聊天助手導(dǎo)致訪問量服務(wù)宕機(jī)怎么解決

本篇內(nèi)容介紹了“ChatGPT用于OA聊天助手導(dǎo)致訪問量服務(wù)宕機(jī)怎么解決”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

面臨的問題

• 搞一個(gè)聊天窗口，帶卡片模板最好，支持自定義

• 頻次和輪次的限制？

• 后端能夠通過語義理解匹配到對(duì)應(yīng)的模型？

聊天UI

我們找個(gè)聊天UI簡單搭建一下頁面

import React, { useEffect, useRef } from "react";
export default () => {
  const wrapper = useRef();
  useEffect(() => {
    const bot = new window.ChatSDK({
      root: wrapper.current,
      config: {
        navbar: {
          title: "OA聊天助手",
        },
        robot: {
          avatar: robtAvatar,
        },
        messages: [
          {
            type: "system",
            content: {
              text: "OA聊天助手，已進(jìn)入對(duì)話",
            },
          },
        ],
      },
      requests: {
        /* ... */
      },
      handlers: {
        /* ... */
      },
    });
    bot.run();
  }, []);
  return <div style={{ height: "100%" }} ref={wrapper} />;
};

服務(wù)端接口

<?php
declare(strict_types=1);
namespace App\Controller;
use App\Kernel\Response\DetachStream;
use App\Library\ChatGPT\Bean\GPTMessageBean;
use App\Library\ChatGPT\Client;
use App\Library\OpenAi\OpenAi;
use App\Service\KeyService;
use HPlus\Route\Annotation\ApiController;
use HPlus\Route\Annotation\GetApi;
use Hyperf\Di\Annotation\Inject;
use Swow\Psr7\Message\Psr17Factory;
#[ApiController]
class Chat extends AbstractController
{
    #[Inject]
    protected Client $ChatGPTApi;
    #[GetApi]
    public function message()
    {
        $context = $this->request->query('text');
        $response = $this->response->withHeader('Content-Type', 'text/event-stream;charset=UTF-8');
        return (new OpenAi(KeyService::getKey()))->completion([
            'model' => 'text-davinci-003',
            'prompt' => 'test',
            'temperature' => 0.9,
            'max_tokens' => 150,
            'stream' => true,
            'frequency_penalty' => 0,
            'presence_penalty' => 0.6,
        ], function ($curl_info, $data) {
            p($data);
        });
        return $response->withBody(new DetachStream());
    }
    #[GetApi]
    public function send()
    {
        $context = $this->request->query('content');
        $message = new GPTMessageBean('幫我寫代碼：' . $context . '<|endoftext|>');
        return json_encode($this->ChatGPTApi->sendMessage($message), 256);
    }
}

對(duì)比一下官網(wǎng)的回答

相比官網(wǎng)的回答差些意思，但這是免FQ，免注冊(cè)，為讓小白用戶直接對(duì)話的節(jié)省了很大的問題。

上線宕機(jī)

內(nèi)部上線當(dāng)天，直接把免費(fèi)18$的額度干廢了，服務(wù)一度崩潰。并且按照官方文檔60次/分鐘的頻次，根本無法滿足多數(shù)人發(fā)起的輪次需求。

我們采用小號(hào)隨機(jī)機(jī)制分發(fā)token，解決了一部分問題。但即使付費(fèi)版的120$額度，也不能承受大體量用戶的訪問，需要發(fā)送郵件單獨(dú)申請(qǐng)額度。

通過內(nèi)部的訪問頻次可知，大家對(duì)這項(xiàng)新技術(shù)的追捧熱度，尤其是小白用戶。

優(yōu)化問題處理

• 反應(yīng)速度，其實(shí)接口返回并不慢，只是一次獲取完返回，并沒有流式傳輸?shù)乃俣瓤?/p>

• 返回體，從接口返回的文本形式，可以優(yōu)化為md模式，官網(wǎng)也是md的格式，自帶代碼塊的高亮hl

• 返回內(nèi)容，由于走免費(fèi)api，接口是通過代幣計(jì)費(fèi)，按照返回字節(jié)計(jì)算，所以api形式盡可能簡潔為主

流式傳輸

let source = new EventSource('/stream'); 
source.onmessage = function(event) { 
    var streamDiv = document.getElementById('stream'); 
    streamDiv.innerHTML += event.data + '<br>'; 
};

MD格式

import ReactMarkdown from "react-markdown";
import { Prism as SyntaxHighlighter } from "react-syntax-highlighter";
import { darcula } from "react-syntax-highlighter/dist/esm/styles/prism";
export default function MyCard({ data, ctx, meta }) {
  return (
    <Card size="xl">
      <CardTitle>{data.title}</CardTitle>
      <CardText>
        <ReactMarkdown
          children={data.content}
          components={{
            code({ node, inline, className, children, ...props }) {
              const match = /language-(\w+)/.exec(className || "");
              return !inline && match ? (
                <SyntaxHighlighter
                  children={String(children).replace(/\n$/, "")}
                  style={darcula}
                  language={match[1]}
                  PreTag="div"
                  {...props}
                />
              ) : (
                <code className={className} {...props}>
                  {children}
                </code>
              );
            },
          }}
        />
      </CardText>
    </Card>
  );
}

“ChatGPT用于OA聊天助手導(dǎo)致訪問量服務(wù)宕機(jī)怎么解決”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！