اجرای Qwen3.8-35B-A3B روی RTX 3060 با کانتکست 262K

مدل Qwen3.8-35B-A3B از شرکت Empero روی یک کارت گرافیک NVIDIA RTX 3060 با ۱۲ گیگابایت VRAM و سیستمی مجهز به ۱۶ گیگابایت RAM اجرا شده است. نکته مهم این اجرا برای شما، دستیابی به حداکثر ظرفیت کانتکست ۲۶۲K در کنار سرعت تولید حدود ۵۰ توکن در ثانیه است.

#نکات کلیدی

• مدل Qwen3.8-35B-A3B با فرمت GGUF و کوانتیزه‌سازی Q4_K_M اجرا شده است.
• سخت‌افزار شامل RTX 3060 با ۱۲ گیگابایت VRAM و ۱۶ گیگابایت RAM بوده است.
• حداکثر ظرفیت کانتکست روی ۲۶۲٬۱۴۴ توکن تنظیم شده است.
• سرعت Decode حدود ۵۰ توکن و سرعت Prefill حدود ۵۵۰ توکن در ثانیه گزارش شده است.
• اجرای مدل با llama-server و قابلیت reasoning فعال انجام شده است.

#عملکرد مدل در پردازش ورودی و تولید پاسخ

در این اجرا، سرعت Decode یا تولید خروجی حدود ۵۰ توکن در ثانیه گزارش شده است. Decode به مرحله‌ای گفته می‌شود که مدل، پاسخ را توکن‌به‌توکن تولید می‌کند و سرعت آن مستقیماً روی زمانی که برای دیدن پاسخ منتظر می‌مانید اثر می‌گذارد.

سرعت Prefill نیز حدود ۵۵۰ توکن در ثانیه اعلام شده است. Prefill مرحله پردازش ورودی و آماده‌سازی مدل پیش از شروع تولید پاسخ است؛ بنابراین این عدد برای کار با ورودی‌ها و متن‌های طولانی اهمیت دارد.

#تنظیمات اجرای llama-server

مدل با فایل Qwen3.8-35B-A3B-Q4_K_M.gguf و فرمان llama-server اجرا شده است. تنظیمات اصلی گزارش‌شده عبارت‌اند از:

• انتقال لایه‌ها با -ngl 99 و تنظیم --n-cpu-moe 26
• ظرفیت کانتکست -c 262144
• فعال‌بودن Flash Attention با -fa on
• کش کلید و مقدار از نوع q8_0
• دمای ۰٫۶، مقدار Top-p برابر ۰٫۹۵ و Top-k برابر ۲۰
• فعال‌بودن قالب Jinja و حالت reasoning
• اجرای یک نمونه پردازشی با -np 1

#این اجرا چه اهمیتی دارد؟

این پیکربندی نمونه‌ای از اجرای یک مدل زبانی بزرگ محلی روی RTX 3060 است؛ کارتی که در این آزمایش ۱۲ گیگابایت حافظه گرافیکی در اختیار مدل قرار داده است. برای شما که به اجرای محلی مدل‌ها فکر می‌کنید، اعداد Decode، Prefill و ظرفیت کانتکست معیارهای مهمی برای ارزیابی سرعت پاسخ‌گویی و توان پردازش ورودی‌های طولانی هستند.

البته سرعت نهایی اجرای مدل می‌تواند به کل پیکربندی سیستم و شرایط آزمون وابسته باشد. در این گزارش، مشخصات پردازنده و جزئیات روش اندازه‌گیری ارائه نشده است.

#جمع‌بندی

اجرای Qwen3.8-35B-A3B با کانتکست ۲۶۲K روی RTX 3060، تصویری اولیه از عملکرد این مدل در یک پیکربندی محلی ارائه می‌دهد: حدود ۵۰ توکن در ثانیه برای تولید خروجی و ۵۵۰ توکن در ثانیه برای پردازش ورودی.