DeepSeek-V4.1-Flash با آفلود SSD روی مک ۱۲۸ گیگابایتی اجرا می‌شود

Unsloth در راهنمای اجرای محلی DeepSeek-V4.1-Flash-1017 توضیح داده است که نسخه کوانتیزه یک‌بیتی این مدل را می‌توان با حداقل ۱۲۸ گیگابایت حافظه و انتقال بخشی از داده‌ها به SSD اجرا کرد. این روش، اجرای محلی یک مدل بزرگ و متن‌باز را روی دستگاه‌هایی مانند مک‌بوک امکان‌پذیر می‌کند، هرچند همچنان به فضای ذخیره‌سازی قابل‌توجهی نیاز دارد.

#اجرای DeepSeek-V4.1-Flash با حافظه ۱۲۸ گیگابایتی

DeepSeek-V4.1-Flash-1017 از یک ساختار ۵۵۲ میلیارد پارامتری در کنار ۱۹۶ میلیارد پارامتر Engram برخوردار است و پنجره زمینه آن به یک میلیون توکن می‌رسد. Unsloth این مدل را برای برنامه‌نویسی و وظایف عامل‌محور معرفی کرده و می‌گوید ترکیب GGUFهای پویا با llama.cpp، استنتاج آن را در مقایسه با دیگر مخزن‌های متمرکز بر CPU، حافظه گرافیکی و n-gram تا حدود سه برابر سریع‌تر می‌کند.

نسخه UD-IQ1_S برای سیستم‌های مجهز به ۱۲۸ گیگابایت حافظه، از جمله مک‌بوک، DGX Spark یا RTX Spark در نظر گرفته شده است. نسخه سه‌بیتی UD-IQ3_XXS نیز به سیستم‌هایی با ۲۵۶ گیگابایت حافظه، مانند Mac Studio، نیاز دارد.

#انتقال جدول Engram به SSD

در این مدل، حافظه شرطی Engram از n-gramهای حداکثر چهارتوکنی استفاده می‌کند. جدول Engram که بسته به پیکربندی بین ۱۱۰٫۶ تا ۲۰۲٫۸ گیگابایت حجم دارد، می‌تواند با mmap روی SSD باقی بماند و ردیف‌های موردنیاز آن هنگام اجرا وارد حافظه نهان سیستم‌عامل شوند. به این ترتیب، نیاز به RAM یا VRAM کاهش می‌یابد؛ بااین‌حال، فضای کامل مدل باید روی دیسک موجود باشد.

دانلود نسخه UD-IQ1_S در مجموع ۲۳۳ گیگابایت حجم دارد که ۱۱۰٫۶ گیگابایت آن به جدول Engram و ۱۲۲٫۴ گیگابایت به سایر وزن‌ها اختصاص یافته است. فایل‌های مدل از طریق مخزن GGUF دیپ‌سیک در Hugging Face در دسترس قرار گرفته‌اند.

#کوانتیزه یک‌بیتی و میزان تطابق خروجی

Unsloth اعلام کرده است که نسخه ۲۵۰٫۴ گیگابایتی UD-IQ1_M به تطابق ۸۸٫۲ درصدی در پیش‌بینی برتر با نسخه اصلی DeepSeek می‌رسد و روی سیستم‌های دارای ۱۲۸ گیگابایت یا بیشتر اجرا می‌شود. این عدد «دقت عمومی مدل» نیست، بلکه میزان یکسان‌بودن انتخاب توکن اول با مدل مرجع را نشان می‌دهد.

طبق تحلیل منتشرشده، گونه‌های IQ3 به تطابق ۹۴٫۶ تا ۹۶٫۸ درصد می‌رسند، اما حافظه بیشتری می‌خواهند. Unsloth همچنین توصیه کرده است برای اجرای طولانی مدل، حداقل ظرفیت تولید ۲۵۶ هزار توکن در نظر گرفته شود.

#ابزارهای اجرای محلی Unsloth

کاربران می‌توانند مدل را با Unsloth Desktop در macOS، ویندوز و لینوکس دریافت و اجرا کنند، میزان انتقال پردازش میان CPU و GPU را تنظیم کنند و آن را به ابزارهایی مانند Claude Code، Codex، جست‌وجوی وب و MCP متصل سازند. اجرای مستقیم از طریق llama.cpp و ارائه مدل به‌صورت API نیز پشتیبانی می‌شود.

در یادداشت منتشرشده درباره اجرای مدل روی مک، توانایی این مدل با Opus 5.5 مقایسه شده است؛ بااین‌حال، متن مستندات Unsloth معیار یا آزمون مستقیمی برای تأیید این مقایسه ارائه نمی‌کند.