QIQ؛ کامپایل مدل Qwen3.5-0.6B درون Qwen3.5-4B

پروژه QIQ مدل Qwen3.5-0.6B را درون مدل بزرگ‌تر Qwen3.5-4B کامپایل کرده است؛ روشی که محاسبات یک مدل را در دل مدل دیگر انجام می‌دهد. نکته جالب برای شما این است که این فرایند، با وجود حجم بسیار بالای ردیابی محاسبات، بدون هیچ مغایرتی به نتیجه رسیده است.

#نکات کلیدی

• QIQ مدل Qwen3.5-0.6B را داخل Qwen3.5-4B کامپایل کرده است.
• فرایند محاسبه حدود ۱۹۹ میلیون توکن Trace و فقط یک توکن خروجی داشته است.
• در این محاسبات حتی یک مورد مغایرت یا Mismatch گزارش نشده است.
• تولید همان یک توکن داخلی در حالت عادی حدود ۱٫۱ سال طول می‌کشد.
• خروجی بهینه‌شده عدد ۱۵۸۴۶ بوده و با اجرای مدل واقعی در Hugging Face تأیید شده است.

#یک مدل درون مدل دیگر

ایده اصلی QIQ این است که محاسبات Qwen3.5-0.6B درون Qwen3.5-4B کامپایل و اجرا شود. در این آزمایش، مدل داخلی تنها یک توکن خروجی تولید کرده، اما رسیدن به آن به حدود ۱۹۹ میلیون توکن ردیابی محاسبات نیاز داشته است.

Trace در اینجا به ردیابی مراحل محاسبات اشاره دارد؛ یعنی مسیر محاسبه برای رسیدن به خروجی نهایی دنبال می‌شود. طبق اطلاعات منتشرشده، این مسیر بدون حتی یک Mismatch طی شده و نتیجه محاسبه با خروجی مورد انتظار اختلافی نداشته است.

#یک توکن با زمان محاسبه بسیار طولانی

تولید تنها یک توکن توسط مدل داخلی، بدون بهینه‌سازی سرعت، حدود ۱٫۱ سال زمان می‌برد. این زمان نشان می‌دهد اجرای مستقیم چنین فرایندی تا چه اندازه سنگین است، حتی وقتی خروجی نهایی فقط یک توکن باشد.

پس از اعمال Speedup یا بهینه‌سازی سرعت، خروجی به عدد ۱۵۸۴۶ رسیده است. همین عدد با اجرای مدل واقعی در Hugging Face نیز بررسی و تأیید شده؛ بنابراین نتیجه بهینه‌شده با اجرای مستقل مدل هم‌خوانی داشته است.

#چرا QIQ جالب است؟

اهمیت این پروژه برای شما در خودِ ایده اجرای یک مدل زبانی داخل مدلی دیگر است. مخزن QIQ در GitHub نمونه‌ای را معرفی می‌کند که در آن حجم بزرگی از محاسبات به یک خروجی بسیار کوچک منتهی شده و صحت آن نیز بدون مغایرت گزارش شده است.

در عین حال، اعداد مطرح‌شده نشان می‌دهند که فاصله میان امکان‌پذیری محاسباتی و اجرای سریع آن می‌تواند بسیار زیاد باشد. در این نمونه، بهینه‌سازی سرعت نقش اصلی را در رسیدن عملی به خروجی داشته است.

#جمع‌بندی

QIQ تجربه‌ای متفاوت از اجرای تو‌در‌توی مدل‌های Qwen3.5 ارائه می‌کند: حدود ۱۹۹ میلیون توکن ردیابی برای یک توکن خروجی، بدون مغایرت، و نتیجه‌ای که پس از بهینه‌سازی با اجرای واقعی در Hugging Face تأیید شده است.