LM Studio 开源语言模型桌面工具 0.3.36.1

资源介绍

LM Studio 是 Windows 上一款社区驱动的开源桌面工具，主打让用户在本地计算机便捷运行大型语言模型（LLM），无需复杂代码和环境配置，既能满足普通用户离线使用 AI 的需求，也能助力开发者开展本地 AI 应用开发。所有数据均在本地处理，不会上传至云端，能避免敏感信息泄露，适配法律、医疗等敏感行业的数据处理需求。且用户可免费使用各类开源模型，无需支付云端 API 的高额调用费用。

• 便捷的模型获取与管理，海量模型一键获取：内置模型市场并打通 Hugging Face 等主流开源模型仓库，用户可直接在软件内搜索 Llama、Qwen、Mistral 等不同类型的开源模型，涵盖聊天、代码生成、文本向量化等多种用途，还能按参数规模（如 7B、14B）筛选，一键完成下载。同时也支持手动导入本地的 GGUF 格式模型文件。
• 可视化参数管理：提供集中化的模型管理界面，可查看已下载模型的详细信息，还能通过可视化操作调整模型参数，比如上下文长度、GPU 调用层数等。并且能轻松切换不同模型，无需手动查找文件，适配不同场景下的模型使用需求。
• 高效的本地化运行与交互，多硬件适配与加速：能适配 NVIDIA/AMD 显卡、Apple M 系列芯片等不同硬件，自动根据硬件性能推荐合适的模型版本。同时支持 GPU 加速，像 7B 模型在 RTX 3060 显卡上生成速度可达 8 字 / 秒，还通过 CUDA 计算图优化、Flash Attention 内核集成等技术进一步提升推理效率。即便是无 GPU 的设备，也可运行低参数模型使用基础功能。
• 友好的聊天交互界面：拥有类似 ChatGPT 的直观聊天界面，用户可快速上手与本地模型对话，测试模型的响应质量和生成风格。此外还支持本地 RAG 功能，用户上传本地文档后，可基于文档进行隐私安全的问答交互。
• 适配开发者的开发与集成能力，模拟 OpenAI API 服务：可启动本地 HTTP 服务器，模拟 OpenAI API 接口。这一功能能让开发者无需大幅修改代码，就将原本依赖 OpenAI 接口的应用无缝迁移至本地模型，降低开发和迁移成本。
• 多方式集成拓展：内置 REST API 以及 Python/TypeScript SDK，方便开发者将本地模型集成到自有应用或工作流中。同时还支持与 VSCode、Gradio 等工具通过插件集成，例如开发者可借助 VSCode 的插件调用本地模型辅助编程。
• 兼顾隐私与易用性的附加优势，隐私与成本双保障：所有数据均在本地处理，不会上传至云端，能避免敏感信息泄露，适配法律、医疗等敏感行业的数据处理需求。且用户可免费使用各类开源模型，无需支付云端 API 的高额调用费用。

资源截图