最近来了这么一个需求,我们的系统需要提供安装包,方便售前人员直接安装到客户系统中。 这没什么问题,毕竟,一键安装更方便,更不容易出错(比起让售前手动配置系统来说)。 那么这时候就有一个问题:我们的程序依赖了一个非常庞大的中间组件系统,并且此系统只提供容器镜像,没有任何安装程序。 当然,我们也不希望客户知道我们依赖了这个容器。 想到的解决方案如下: 我们的程序直接解压 ...
使用SpringAI 对接vllm 服务 启动服务 使用 vllm.entrypoints.openai.api_server 来启动一个兼容openai 接口的服务 1 python -m vllm.entrypoints.openai.api_server --served-model-name Qwen2.5-7B-Instruct --mod...
安装 一旦系统上安装了 Windows NVIDIA GPU 驱动程序,CUDA 就可以在 WSL 2 中使用。安装在 Windows 主机上的 CUDA 驱动程序将在 WSL 2 中存根为libcuda.so ,因此用户不得在 WSL 中安装任何 NVIDIA GPU Linux 驱动程序2 .这里必须非常小心,因为默认的 CUDA Toolkit 附带了一个驱动程序,并且很容易用默认安装...
Windows 中 Clion 通过子系统编译AutoTools 功能
Linux 下修改IP
发现新版本的内容。