کاهش ۱۰۰ برابری مصرف انرژی در سیستم‌های یادگیری ماشینی با حافظه‌های تونل کوانتومی

راهکاری بالقوه برای برطرف‌کردن مشکل مصرف زیاد انرژی در کارت‌های مرتبط با آموزش هوش مصنوعی وجود دارد که بسیار ساده به‌نظر می‌رسد. در این راهکار، فقط باید سیناپس‌هایی را تقویت کنید که الکترون‌ها را در آرایه‌ی حافظه حرکت می‌دهند. تونل زنی کوانتومی (Quantum Tunnelling) پدیده‌ای مکانیکی‌کوانتومی است که به‌موجب آن تابع موج می‌تواند ازطریق مانع انتشار یابد. انتقال ازطریق مانع ممکن است محدود و به ارتفاع و عرض مانع بستگی داشته باشد.

به‌گزارش TheRegister، پروفسور شانو چاکرابارتیتان به‌همراه دو تن از همکارانش در دانشگاه واشنگتن در سنت‌لوئیس، مقاله‌ای منتشر کرده‌ و در آن توضیح داده‌اند که چگونه می‌توان از خواص طبیعی الکترون‌ها برای کاهش انرژی استفاده‌‌شده برای آموزش مدل‌های یادگیری ماشینی استفاده کرد. در این پروژه از محققان درخواست شد تا آرایه‌ی سیناپسی یادگیری در حافظه‌ی بسازند که از سیناپس‌های دیجیتالی بهره ببرد و عملکرد آن پویا باشد؛ به‌طوری‌که سیناپس‌های آن فقط هنگام تغییر حال به انرژی نیاز دارند؛ ولی برای حفظ حالت خود به مصرف انرژی نیازی نخواهند داشت.

این تیم تحقیقاتی برای آزمایش مفهومی خود، مدارهای CMOS را با موانع انرژی ساخت که به‌گفته‌ی آن‌ها، از قدرت کافی برخوردار است تا غیرفرّار باشد و با پیشرفت آموزش آرایه، قدرت آن افزایش می‌یابد. این یعنی مدارها می‌توانند فرّارنبودن را بهتر حفظ کنند. مدارهای منطقی CMOS از آرایش‌های مکمل ترانزیستورهای NMOS و PMOS تشکیل شده‌اند. فناوری نیمه‌هادی اکسید فلزی (CMOS) شامل روش طراحی و مجموعه‌ای از فرایندها برای ساخت مدارهای منطقی دیجیتال مطمئن و کارآمد از ترانزیستورهای NMOS و PMOS است.

چاکرابارتی گفت که نتیجه‌ی این اقدام، ایجاد آرایه‌ای کارآمدتر است که می‌تواند انرژی موردنیاز برای آموزش مدل‌های یادگیری ماشینی را تا ۱۰۰ برابر کاهش دهد. وی در گفت‌وگو با TheRegister گفت: «با این روش، مصرف انرژی در بدبینانه‌ترین حالت ممکن ۱۰۰ برابر کمتر خواهد بود.» به‌گفته‌ی چاکرابارتی، این بهبود ۱۰۰ برابری در مصرف انرژی برای سیستمی در مقیاس کوچک است و در مدل‌هایی با مقیاس بزرگ‌تر، مصرف انرژی بیش از این میزان بهبود خواهد یافت؛ به‌خصوص اگر حافظه با پردازنده در یک ویفر ادغام شده‌ باشند. وی خاطرنشان کرد به‌همراه تیم خود در حال تلاش برای دستیابی به بهره‌وری بیشتر در مصرف انرژی در مقیاس بزرگ‌تر است.

مصرف انرژی در آموزش مدل‌های یادگیری ماشینی به‌طور باورنکردنی بسیار زیاد است. دانشگاه واشنگتن در سنت‌لوئیس اعلام کرد که آموزش یک هوش‌ مصنوعی پیشرفته در سال ۲۰۱۹، باعث ایجاد ۲۸۳٫۵۰۰ کیلوگرم گاز CO₂ شده است که تقریباً پنج برابر بیشتر از میزان CO₂ است که یک خودرو در طول عمر خود تولید می‌کند. آمارهای دیگر نشان می‌دهد که آموزش یک مدل GPT-3 می‌تواند مقدار انرژی موردنیاز برای راندن یک خودرو به ماه و بازگشت آن به زمین را تأمین کند.

همان‌طور‌که مقاله‌ی چاکرابارتی و تیمش اشاره می‌کند، مشکل به پل‌های بین گره‌های محاسباتی در آرایه‌های حافظه مربوط است که این مقاله آن‌ها را به سیناپس‌هایی تشبیه کرده است که نورون‌ها را به پل تبدیل می‌کنند. فرایند یادگیری در مغز حیوانات سیناپس‌ها را تقویت می‌کند تا کارایی آن‌ها افزایش یابد؛ اما در محاسبات، هر سیناپس به‌صورت استاتیک عمل می‌کند. این یعنی هربار که یک الکترون ازطریق سیناپس حرکت می‌کند، یک سوئیچ باید چرخانده شود که انرژی را صرف قطبی‌کردن سیناپس و سپس باید انرژی مصرفی را برای نگه‌داری قطبیت حفظ کند.

مدل چاکرابارتی و تیمش با استفاده از حافظه‌ی آنالوگ پویای فاولر‌نوردهایم (FN-DAM) سیناپس‌های کارآمدتری ایجاد می‌کند. بخش FN در FN-DAM به فرمولی اشاره می‌کند که به الکترون اجازه می‌دهد ازطریق سد الکتریکی مثلثی، تونل ایجاد کند و به‌طور الکتریکی موانع دی‌اکسید سیلیکون آن را ایزوله کرده‌اند. این موانع به‌اندازه‌ی کافی قدرت دارند که حتی با حذف نیرو، الکترون‌ها همچنان نمی‌توانند از آن فرار کنند. انرژی باید به‌نحوی تأمین شود که مانع مدنظر، حالت‌ها را تغییر دهد و الکترون‌های به‌دام‌افتاده در تونل سیناپس متوقف شوند.

چاکرابارتی اعلام کرده است که مقاله‌ی تحقیقاتی وی و تیمش ثابت می‌کند که طراحی آن‌ها قابلیت‌های زیادی دارد. بااین‌حال، وی هشدار داده است که موانعی مثل وضوح و دقت اندازه‌گیری در FN-DAM وجود دارد.