
Run DeepSeek R1 Dynamic 1.58-bit - 知乎 - 知乎专栏
2025年2月13日 · 文章的核心工作是把DeepSeek-R1这个非常大的模型(它有6710亿个参数,也就是671B)通过“ 量化 ”(Quantization,量化)技术,压缩到只有131GB的大小。 量化是一种减少模型参数数量和模型体积的技术,简单来说,就是把模型中的数字(比如权重值)用更小的数值来表示,从而减少存储空间和计算资源的需求。 通过量化,他们成功地把原本需要720GB存储空间的模型压缩到了131GB,减少了大约80%的体积,同时还能保持模型的功能性。 接下来,他们 …
DeepSeek R1本地部署指南 - 知乎 - 知乎专栏
本文将详细介绍如何在本地环境中部署DeepSeek-R1模型。 一、准备工作. 使用 Ollama 进行本地部署. Ollama是一个轻量级的工具,可以帮助你在本地快速部署和运行大语言模型。 安装Ollama,前往Ollama官网 ollama.com/ 下载适用于你操作系统的安装程序,并按照提示完成安装。 当前最轻量级的是1.5b,只要1.1G就可以安装,不同量级所需要的空间不同,可以根据自己机器配置下拉选择, 当然能力分数也不同,可以查看跑分情况,自己选择. 5.2 运行DeepSeek-R1安装完成后,你 …
Windows本地部署DeepSeek-R1+测试与沉浸式翻译联动 - 知乎
2025年1月27日 · 打开PowerShell,输入 ollama run deepseek-r1:8b,即会自动下载 deepseek-r1:8b 模型,下载完后会进入对话模式。 也可将 8b 改成 1.5b 、 7b 、 14b 等,详见 Ollama Search。 8b 模型占用存储空间 4.9 GB,在 RTX 4060 上可以较快的速度运行 8b 模型, alt+R 显示的显卡占用为70~80%。 如果只需要本地运行DeepSeek-R1,至此就配置完了,之后在PowerShell输入 ollama run deepseek-r1:8b 对话即可。
Ollama部署 DeepSeek-R1:70B 模型的详细步骤 - CSDN博客
2025年2月8日 · 通过上述步骤,你可以在 Ollama 上成功部署 DeepSeek-R1:70B 模型,并支持外部网络访问。 如果遇到性能问题,优先通过。 若需进一步扩展,可结合 Kubernetes 或 Docker Swarm 实现集群化部署。
DeepSeek R1 使用指南:架构、训练、本地部署 - CSDN博客
2025年1月29日 · DeepSeek-R1-Zero 是团队最初的实验,完全基于强化学习,没有进行任何监督微调。 他们从基础模型出发,直接应用强化学习,让模型通过试错过程自行发展推理能力。 这种方法在 AIME 2024 竞赛中达到了 71% 的准确率,展现出了一定的推理能力,但存在可读性和语言一致性上的限制。 该模型采用 6710 亿参数,使用 Mixture-of-Experts (MoE) 架构,每个 token 仅激活 370 亿参数,展现出了诸如 自我验证、反思、长链推理(CoT) 等涌现能力。 …
Running DeepSeek-R1 Model on Your Local Machine
2025年1月29日 · Learn how to set up and run the DeepSeek-R1 model on your local machine using Ollama, covering hardware requirements, installation steps, and client usage.
4个运行DeepSeek R1的方法 - 汇智网
2025年1月29日 · 由于 DeepSeek 最新推理模型的发布,本周 AI 世界经历了过山车般的波动,我想向你展示如何运行自己的 R1 模型实例。 该模型的发布正在挑战世界对 AI 训练和推理成本的看法,导致一些人质疑传统参与者 OpenAI 等是否效率低下或落后? 我们现在不需要那么多花哨的 NVIDIA 芯片了吗? 如果你想在自己控制的基础设施上托管 DeepSeek 模型,我会告诉你怎么做! 大小很重要:请注意,DeepSeek 模型有多种基础大小、蒸馏和量化,会影响整体模型大小。 …
How to Run DeepSeek-R1 Locally for Free on Mac/Windows/Linux …
2025年3月11日 · How to Run DeepSeek R1 Locally Via LM Studio (Easiest Method) How to Install DeepSeek-R1 Locally Using Ollama; Install and Run DeepSeek via Python & Hugging Face; Install DeepSeek Locally via Docker; DeepSeek Manual Setup with llama.cpp
DeepSeek R1果然有点意思! Windows本地使用ollama轻松跑起来。
2025年1月24日 · Ollama 是一个开源的、易于使用的本地大语言模型(LLM)运行平台,简单,高效,可以扩展,可以运行各种主流模型。 安装也非常简单,直接打开网址: https://ollama.com. 点击Download进入下载页面,根据自己的电脑系统选择对应版本。 目前支持Windows,macOS,Linux。 苹果平台的Inter内核和M1系列都支持! 我这里用的是Windows平台,直接获取exe应用程序,双击安装。 点击Install,然后全部默认,一路到底。 安装完成之 …
小支同学用 Ollama 跑 DeepSeek R1:本地部署与多元应用指南_ollama run …
2025年1月31日 · DeepSeek R1是一个强大的开源语言模型,通过Ollama可以轻松实现本地部署。本文将详细介绍如何在本地部署和使用DeepSeek R1模型,并结合Page Assist插件实现更便捷的AI交互体验。通过Ollama部署DeepSeek R1模型,结合Page Assist插件,您可以搭建一个功能强大的本地AI助手 ...