راهکار جدید انویدیا برای افزایش سرعت جابه‌جایی حافظه مکالمه میان مدل‌های هوش مصنوعی

به گزارش ونچربیت، محققان انویدیا راهکاری ابداع کرده‌اند که می‌تواند انتقال حافظه مکالمه یا KV Cache را میان مدل‌های مختلف هوش مصنوعی ممکن کند؛ قابلیتی که برای سیستم‌هایی با جابه‌جایی میان مدل‌های کوچک و بزرگ اهمیت دارد.

بر اساس این گزارش، در سیستم‌های هوشمند هنگام تغییر از یک مدل به مدل دیگر، مدل جدید معمولاً ناچار است کل گفت‌وگو را از ابتدا بازسازی کند. این فرایند می‌تواند هزینه‌بر و کند باشد، به‌ویژه زمانی که گفت‌وگو طولانی‌تر شده یا جابه‌جایی میان مدل‌ها بیشتر رخ دهد.

روش جدید انویدیا به‌جای تکیه بر فرایندهای سنگین یادگیری، از محاسبات ریاضی ساده و ریاضیات خطی استفاده می‌کند. طبق یادداشت منتشرشده، این رویکرد توانسته عملیات انتقال را بین ۲.۷ تا ۲۵ برابر سریع‌تر کند و هزینه‌ها را به‌شدت کاهش دهد.

این دستاورد در صورت به‌کارگیری در سامانه‌های هوش مصنوعی، می‌تواند مسیر استفاده کارآمدتر از مدل‌های کوچک و بزرگ را هموارتر کند؛ بدون آنکه در هر جابه‌جایی، بازسازی کامل تاریخچه گفت‌وگو لازم باشد.