کوالکام از احتمال ورود گوشی‌های مجهز به مدل‌های ۱۰۰ میلیارد پارامتری تا ۲۰۲۸ خبر داد

کریستیانو آمون، مدیرعامل کوالکام، می‌گوید برخی شرکت‌های پیشرو در حوزه هوش مصنوعی در حال ساخت گوشی‌هایی هستند که بتوانند مدل‌های زبانی بزرگ با ۱۰۰ میلیارد پارامتر را به‌طور پیوسته اجرا کنند. به گفته او، این دستگاه‌ها ممکن است تا سال ۲۰۲۸ از راه برسند.

آمون در گفت‌وگو با پادکست Fireside Alpha اعلام کرده که نمی‌تواند نام شرکت‌های درگیر در این پروژه‌ها را فاش کند. او همچنین جزئیات فنی یا نقشه راه مشخصی برای رسیدن به چنین قابلیتی ارائه نکرده است.

با وجود این چشم‌انداز، اجرای مدل‌های زبانی بزرگ روی گوشی‌های هوشمند با موانع جدی روبه‌رو است. یکی از مهم‌ترین چالش‌ها ظرفیت حافظه موردنیاز است؛ اجرای یک مدل ۱۰۰ میلیارد پارامتری با کوانتیزاسیون ۴ بیتی دست‌کم به ۵۰ گیگابایت حافظه نیاز دارد، آن هم بدون احتساب حافظه لازم برای سیستم‌عامل، برنامه‌ها و متن ورودی مدل.

حتی در حالت کوانتیزاسیون ۲ بیتی نیز خود مدل حدود ۲۵ گیگابایت حافظه نیاز خواهد داشت. این مقدار از ظرفیت رم رایج گوشی‌های هوشمند بیشتر است. در سال گذشته، برخی گوشی‌های اندرویدی با حداکثر ۲۴ گیگابایت رم LPDDR5X عرضه شده بودند، اما بحران حافظه باعث شده برخی سازندگان از عرضه مدل‌هایی با رم بالاتر صرف‌نظر کنند.

چالش دیگر، گرمای تولیدشده در اجرای مداوم مدل‌های بزرگ است. پردازش سنگین می‌تواند دمای دستگاه را بالا ببرد و در نتیجه تراشه برای جلوگیری از داغ‌شدن بیش از حد، عملکرد خود را کاهش دهد؛ پدیده‌ای که افت عملکرد حرارتی نامیده می‌شود.

در متن منبع، چند راهکار احتمالی برای کاهش این محدودیت‌ها مطرح شده است؛ از جمله کوانتیزاسیون برای کاهش حافظه موردنیاز، معماری ترکیب متخصصان که فقط بخشی از شبکه را برای پردازش هر توکن فعال می‌کند، و استفاده از مدل‌های کوچک‌تر و تقطیرشده. با این حال، کاهش بیش از حد دقت می‌تواند کیفیت مدل‌های زبانی را به‌ویژه در وظایف استدلالی پایین بیاورد.

بر اساس این گزارش، مدل‌های ۲۰ تا ۳۰ میلیارد پارامتری تقطیرشده ممکن است روی گوشی‌های هوشمند به کیفیتی نزدیک به مدل‌های ۱۰۰ میلیارد پارامتری برسند و از نظر تجاری گزینه عملی‌تری باشند، چون به حافظه کمتری نیاز دارند.