انویدیا نسخه ۴ بیتی Kimi-K3.1-Pro را در Hugging Face منتشر کرد
انویدیا نسخهای ۴ بیتی از Kimi-K3.1-Pro منتشر کرده که برای ذخیرهسازی و اجرا به منابع کمتری نیاز دارد. بااینحال، هنوز بنچمارک و جزئیات سختافزاری آن در دسترس نیست.
تهیهشده با کمک هوش مصنوعی از منابع ذکرشده

فهرست مطالب۴ بخش
انویدیا نسخهای از مدل Kimi-K3.1-Pro را با کوانتیزهسازی ۴ بیتی در Hugging Face منتشر کرده است. این مدل ۲.۸ تریلیون پارامتر دارد که ۱۰۴ میلیارد پارامتر آن هنگام پردازش فعال میشود. نسخه جدید با عبارت «تقریباً بدون افت کیفیت» توصیف شده، اما نتیجه بنچمارک یا مقایسه عددی برای ارزیابی این ادعا ارائه نشده است.
#نکات کلیدی
- نسخه منتشرشده از کوانتیزهسازی ۴ بیتی استفاده میکند.
- Kimi-K3.1-Pro در مجموع ۲.۸ تریلیون پارامتر دارد.
- تعداد پارامترهای فعال مدل ۱۰۴ میلیارد اعلام شده است.
- کوانتیزهسازی، حجم مدل و نیاز سختافزاری آن را کاهش میدهد.
- ادعای افت کیفیت تقریباً ناچیز، فعلاً با بنچمارک یا مقایسه عددی همراه نیست.
#کوانتیزهسازی ۴ بیتی چه تغییری ایجاد میکند؟
کوانتیزهسازی، دادههای عددی مدل را با دقت کمتری نمایش میدهد تا حجم فایلها و منابع سختافزاری موردنیاز کاهش یابد. استفاده از قالب ۴ بیتی برای مدلی با ۲.۸ تریلیون پارامتر میتواند ذخیرهسازی و اجرای آن را سبکتر کند، هرچند میزان دقیق این کاهش اعلام نشده است.
کاهش دقت عددی ممکن است بر خروجی مدل اثر بگذارد. نسخه منتشرشده «تقریباً بدون افت کیفیت» توصیف شده است، اما مشخص نیست این ارزیابی در مقایسه با کدام نسخه دقیق از مدل اصلی انجام شده و چه آزمونهایی مبنای آن بودهاند.
#تفاوت پارامترهای کل و فعال
برای Kimi-K3.1-Pro دو عدد اعلام شده است: ۲.۸ تریلیون پارامتر کل و ۱۰۴ میلیارد پارامتر فعال. پارامترهای فعال به بخشی از مدل اشاره دارند که هنگام پردازش به کار گرفته میشود؛ بنابراین تعداد کل پارامترها بهتنهایی معیار کاملی برای سنجش هزینه محاسباتی هر اجرا نیست.
هنوز اطلاعاتی درباره سختافزار موردنیاز، سرعت اجرا، حجم دقیق فایلها یا شیوه راهاندازی این نسخه ارائه نشده است.
#دسترسی از طریق Hugging Face
نسخه ۴ بیتی Kimi-K3.1-Pro در صفحه مدل انویدیا در Hugging Face قرار گرفته است. بااینحال، اطلاعات موجود برای تعیین مجوز استفاده و شرایط دقیق اجرای مدل کافی نیست.
مطالب مرتبط
برای ادامه مطالعه
این یادداشتها بر اساس موضوع مشترک، همپوشانی برچسبها و تازگی انتشار انتخاب میشوند.

Qwen4-Max با زمینه یکمیلیونتوکنی و هزینه کمتر عرضه شد
علیبابا Qwen4-Max رو با زمینه یکمیلیونتوکنی و پشتیبانی مستقیم از تصویر عرضه کرده. طبق آزمون داخلی شرکت، این مدل با توکن و هزینه کمتری از پس وظایف تخصصی برمیاد.


دیدگاهها
اولین نفری باش که دیدگاه میذاره
دیدگاهها پس از بررسی منتشر میشوند. ایمیل شما نمایش داده نمیشود.