前言

等..…. 今天我想聊聊怎么让AI跑得迅速一点， 不过我自己也不是哪些较大牛，只是看到网上有些文章说缓存啊异步啊之类的，就想试试看。 其实我一启动也不了解从哪下手，最终还是结果是在论坛里看到有人贴了段代码，我看着看着就犯困了。

第一步：先装点东西

说句实话… 先来看你得有Python，不然啥也做不成。我记住良好像是pip install fastapi uvicorn pydantic……对了还有个叫redis的我也装了虽然后来没用上。 装完之后别忘了检查版本，不然有时候会报错说找不到模块，这很正常。

随便写个需求文档

我直接好家伙。 我想做一个能判断句子情感的较小服务，输入一句话出来是不是开心或者生气。当前这个需求听起来简洁， 但实际做起来发觉有良好更多细节要考虑，比如用户会不会发超较长的文字，或者夹杂着表情符号。

第二步：写个最垃圾的模型

记住... 下面是我随手写的一个函数， 本来想模拟调用较大模型最终还是结果是…… import time def fake_model: time.sleep # 这里睡两秒虚假装在思考 if "良好" in txt: return {"label":"good"} else: return {"label":"bad"}

当前这个函数其实有问题：睡觉时间段坚硬编码了两秒，万一要改成1.5秒就得改代码；还有判断只看了“良好”一个字太片面。

把函数塞进API里

接着我用FastAPI把上面那个地方的函数包装成接口： from fastapi import FastAPI app = FastAPI @app.post def emo: res = fake_model return res

启动命令就是uvicorn main:app --reload ， 不过我有一次遗忘加--reload最终还是结果是修改代码后不生效，郁闷了一下午，何不...。

第三步：加点缓存

我觉得每次都睡两秒太浪费时间段，于是决定加个简洁字典当缓存。代码如下： cache = {} def fake_model_cached: if txt in cache: return cache else: time.sleep cache = {"label":"good" if "良好" in txt else "bad"} return cache，本质上...

这样看起来不错吧？可是如果输入只有空格或者较大较小写不同就会失效——这是因为我在判断时直接用原始字符串当key，PTSD了...。

尝试改进却弄更糟

我想先strip一下再lower一下再算MD5哈希当key……最终还是结果是把hashlib搞错了引起全部申请都走miss: import 到时候….. hashlib key = hashlib.md5.lower).hexdigest # 但我遗忘返回 key 直接用 txt 去查 cache

后来看有人说异步能够提升并发吞吐量，我也照着教程改了一下： import asyncio async def fake_model_async: await asyncio.sleep return {"labe 我跟你交个底... l":"good" if "良好" in txt else "bad"} @app.post async def emo_async: res = await fake_model_async return res

import time start = time.time res = fakemodel print-start,"sec") def batchmodel: time.sleep # 虚假设不管更多更少个条都只睡两秒 out= for t in list_txt: out.append return out

先把最简洁的跑通再缓慢缓慢往上堆料——不过记住每堆 我给跪了。 一层都要检查一下是不是真实的起作用而不是自欺欺人。