تراشه بعدی اسنپدراگون می‌تواند مدل‌های بزرگ هوش مصنوعی را به‌صورت محلی اجرا کند

کوالکام قصد دارد در رویداد Snapdragon Summit در ۲۲ سپتامبر، نسل جدید تراشه‌های پرچم‌دار خود را معرفی کند.

به گزارش دیتاسنتر من به نقل از Androidauthority، اگرچه نام دقیق این تراشه‌ها هنوز مشخص نشده، شواهد موجود نشان می‌دهد یکی از تمرکزهای اصلی نسل جدید، ارتقای هوش مصنوعی روی دستگاه و اجرای ایجنت‌های هوش مصنوعی بدون وابستگی دائمی به سرورهای ابری خواهد بود.

قلب قابلیت‌های هوش مصنوعی این تراشه‌ها، نسل جدید Hexagon NPU است که برای اجرای برنامه‌های هوش مصنوعی چندوجهی و به‌خصوص AI Agentها طراحی شده است. یکی از مهم‌ترین تغییرات، اضافه شدن Element Accelerator در کنار واحدهای Scalar، Vector و Tensor است. کوالکام می‌گوید این شتاب‌دهنده می‌تواند استنتاج مدل‌های مبتنی بر معماری Transformer را سریع‌تر کند و به ایجنت‌ها اجازه دهد پاسخ‌های سریع‌تر و پردازش کارآمدتری داشته باشند، بدون آنکه مصرف انرژی افزایش پیدا کند.

تغییر مهم دیگر، افزایش چشمگیر حافظه اشتراکی NPU است. این معماری وابستگی به حافظه اصلی گوشی را هنگام تبادل داده‌های مربوط به KV-cache کاهش می‌دهد و به NPU اجازه می‌دهد زمینه یا Context بیشتری را در اختیار داشته باشد. نتیجه این تغییر می‌تواند اجرای بارهای کاری سنگین‌تر، به‌خصوص وظایف چندمرحله‌ای ایجنت‌های هوش مصنوعی، باشد.
 

کوالکام همچنین پشتیبانی از معماری‌های جدید Mixture-of-Experts یا MoE را معرفی کرده است. در این روش، تمام پارامترهای یک مدل به‌طور هم‌زمان فعال نمی‌شوند و تنها بخش موردنیاز برای هر درخواست مورد استفاده قرار می‌گیرد. به گفته کوالکام، این معماری می‌تواند امکان اجرای مدل‌هایی با حداکثر ۳۰ میلیارد پارامتر را به‌صورت محلی روی گوشی فراهم کند.

نسل جدید NPU همچنین در مدل‌های دارای دقت INT4، تا ۵۰ درصد عملکرد پیش‌پردازش بالاتر، رمزگشایی سریع‌تر، بهبود speculative decoding و تعداد توکن بیشتر در هر ثانیه ارائه می‌دهد. البته این رقم به معنای افزایش مستقیم ۵۰ درصدی عملکرد تمام قابلیت‌های هوش مصنوعی نیست.

در مجموع، هدف کوالکام این است که گوشی‌های پرچم‌دار آینده بتوانند نه‌تنها پرسش‌های ساده هوش مصنوعی، بلکه فرایندهای چندمرحله‌ای و عامل‌محور را سریع‌تر و بیشتر به‌صورت محلی اجرا کنند.