计算思维: 合理抽象、高效算法
合理抽象
高效算法
特点:
使用SpringAI 对接vllm 服务 启动服务 使用 vllm.entrypoints.openai.api_server 来启动一个兼容openai 接口的服务 1 python -m vllm.entrypoints.openai.api_server --served-model-name Qwen2.5-7B-Instruct --mod...
安装 一旦系统上安装了 Windows NVIDIA GPU 驱动程序,CUDA 就可以在 WSL 2 中使用。安装在 Windows 主机上的 CUDA 驱动程序将在 WSL 2 中存根为libcuda.so ,因此用户不得在 WSL 中安装任何 NVIDIA GPU Linux 驱动程序2 .这里必须非常小心,因为默认的 CUDA Toolkit 附带了一个驱动程序,并且很容易用默认安装...
CI/CD
0x1 初识LLVM-为什么学?
发现新版本的内容。