محققان در دانشگاه MIT، آزمایشگاه هوش مصنوعی «MIT-IBM Watson»، کالج بین‌المللی «Underwood» و دانشگاه «Brasilia» به این موضوع پی برده‌اند که در حال نزدیک شدن به محدودیت‌های محاسباتی برای یادگیری عمیق هستیم.
محققان ۱۰۵۸ تحقیق و سایر منابع را برای مقاله خود مورد بررسی قرار دادند. هدف از این کار، اطلاع از میزان وابستگی عملکرد یادگیری ماشینی به قدرت محاسباتی در زمینه‌های مختلف شامل طبقه‌بندی تصاویر، شناسایی اشیاء، پاسخ به سوالات، تشخیص نام و ترجمه ماشینی بوده. محققان برای پی بردن به این موضوع که چرا یادگیری عمیق از نظر محاسباتی گران است، مقیاس‌پذیری آماری و محاسباتی آن‌ها را به صورت تئوری تحلیل کردند.
آن‌ها چنین کاری را با دو تحلیل جداگانه از الزامات محاسباتی انجام دادند:
- تعداد عملیات‌های نقطه شناور موردنیاز برای یک گذر در شبکه
- توانایی محاسباتی سخت افزار مورد استفاده در آموزش مدل
محققان پس از تحلیل خود به این موضوع پی بردند که تنها سه سال بهبود الگوریتمی معادل افزایش ۱۰ برابری قدرت محاسباتی است. اگر پیشرفت در این زمینه با چنین سرعتی دنبال شود، الزامات محاسباتی یادگیری عمیق از نظر فنی، اقتصادی و محیط زیستی به سرعت تبدیل به مانع می‌شوند.
به گفته محققان، پیشرفت‌های یادگیری عمیق در سطح الگوریتمی همیشه در حال رخ دادن است که برخی از آن‌ها شامل شتاب‌دهنده سخت افزاری می‌شود. با گذر زمان متوجه می‌شویم که هزینه‌های یادگیری عمیق کاهش پیدا می‌کند یا فناوری جدیدی جایگزین آن می‌شود.