مدل‌های مبتنی بر انرژی (energy based models)

مدل‌های مبتنی بر انرژی (EBM) وابستگی داده‌ها را با استفاده از اندازه‌گیری سازگاری (scalar energy) در هر تنظیمات از متغیرها کشف می‌کند. برای اینکه یک مدل بتواند پیش‌بینی کند یا تصمیم‌گیری، بایستی متغیرهای مشاهده‌شده را برابر 1 تنظیم کند و مقادیر باقیمانده را به نحوی تعیین کند که سطح “انرژی” را به حداقل برسانند. به تعبیر دیگر عملکرد مدل‌های مبتنی بر انرژی در یادگیری ماشین به این معنی است که به مقادیر درست انرژی بالاتر و به مقادیر نادرست انرژی کمتری را اختصاص دهند. و برای اندازه‌گیری کیفیت عملکرد مدل مبتنی بر انرژی از “loss function”-در طول فرآیند یادگیری به دنبال حداقل کردن تابع ضرر هستیم- استفاده می‌شود. درواقع حداقل رساندن آن باعث شود سیستم به رفتار دلخواه نزدیک شود.

چگونه یک تابع ضرر (loss function) را طراحی کنیم:

با یک مثال چگونگی برآورد تابع ضرر را بررسی می‌کنیم: مدل‌های مبتنی بر انرژی (EBM) را می‌توان به‌عنوان یک تابع انرژی شامل 3 متغیر به‌ صورت (E(Y,Z,X مشاهده کرد که دارای مجموعه‌ای از پارامترهای قابل‌آموزش \(W\) است. \(X\) ورودی است که همیشه مشاهده می‌شود (به‌عنوان مثال پیکسل‌های یک عکس). \(Y\) مجموعه‌ای از متغیرهایی است که می‌توان پیش‌بینی کرد (به‌عنوان‌مثال، برچسب شی در تصویر ورودی)، و \(Z\) مجموعه‌ای از متغیرهای پنهان است که هرگز به‌طور مستقیم مشاهده نمی‌شوند. (به‌عنوان‌مثال نمایش شی)

انجام استنتاج شامل مشاهده یک \(X\) و جستجوی مقادیر \(Z\) و \(Y\) می‌باشد که انرژی \(E(X,Y,Z)\) را به حداقل می‌رسانند. با توجه به

مجموعه آموزش: \({(S={ (X1,Y1), (X2,Y2),…. (Xp,Yp\)

آموزش EBM شامل “گودال ” در سطح انرژی در نمونه‌های آموزش است \((x_{i},y_{i})\)، و “ساخت برآمدگی” در هر جای دیگر. این فرآیند باعث می‌شود \(y_{i}\) موردنظر به حداقل انرژی برای \(x_{i}\) داده‌شده تبدیل شود. در ادامه، ما نشان می‌دهیم که چگونه انواع مختلفی از توابع ضرر سطح انرژی را شکل می‌دهند. در انیمیشن‌ها، نقطه‌چین آبی‌رنگ مکان نمونه‌های آموزشی (زیرمجموعه از نمونه‌های آموزشی) را نشان می‌دهند. یک تابع ضرر خوب سطح انرژی را به‌گونه‌ای شکل می‌دهد که نقاط آبی حداقل انرژی را برای \(x_{i}\) داده‌ شده را داشته باشند.

 

حفر گودال در سمت راست \(Y\) باعث می‌شود که به‌طور خودکار مقادیر دیگر \(Y\) انرژی بیشتری داشته باشند.

 

 

 

 

 

 

 

 

این تابع ضرر باعث می‌شود انرژی‌های \(Y\) ناخواسته بدون مرز رشد کنند، و انرژی حاصل نقاط آبی را به سمت صفر سوق می‌دهد. (یعنی ایجاد گودال)

 

 

 

 

 

کاربردها:

  • ما دریافتیم که مدل‌های مبتنی بر انرژی قادر به تولید تصاویر باکیفیت بالا هستند، به‌خصوص هنگام اجرای فرآیند پالایش برای یک دوره طولانی‌تر در زمان تست. با اجرای بهینه‌سازی تکراری بر روی تصاویر، می‌توانیم تصاویر را از یک کلاس (مانند کامیون) به طبقه دیگر (مانند قورباغه) به‌صورت خودکار تکمیل کنیم.
  • علاوه بر تولید تصاویر، ما دریافتیم که مدل‌های مبتنی بر انرژی قادر به ایجاد مسیرهای پویایی ربات در تعداد زیادی از زمان حرکت هستند.

EBM می‌توانند مجموعه متنوعی از آینده احتمالی را تولید کنند، درحالی‌که مدل‌های feed forward به یک پیش‌بینی متوسط سقوط می‌کنند.

 

 

 

 

  • یک جنبه حیاتی از هوش انسانی توانایی تدوین مفاهیم پیچیده از ایده‌های ساده‌تر است، که امکان یادگیری سریع و تطبیق دانش را دارد. مدل‌های مبتنی بر انرژی نیز می‌توانند با ترکیب مستقیم توزیع احتمال، این توانایی را نشان دهند. برای مثال، با توجه به توزیع صورت‌های خندان و دیگری برای چهره‌های مردانه، می‌توانیم آنها را برای تولید چهره‌های خندان مردانه ترکیب کنیم. این به ما امکان می‌دهد تصاویر طبیعی تولید کنیم.

یادگیری مبتنی بر انرژی یک چارچوب یکپارچه برای همه رویکردهای احتمالی و غیر احتمالی است. به‌خصوص برای آموزش غیر احتمالی الگوهای گرافیکی یا سایر مدل‌های ساختاری. این رویکرد یادگیری جایگزینی برای برآورد احتمالی برای طبقه‌بندی، پیش‌بینی و تصمیم‌گیری است. از آنجا که نرمال‌سازی لازم نیست، رویکردهای مبتنی بر انرژی موضوعاتی را در برآورد ثابت نرمال‌سازی در مدل‌های احتمالی به وجود نمی‌آورند. همچنین عدم وجود هر شرایط نرمال، امکان انعطاف‌پذیری بسیار بیشتری را در طراحی ماشین‌های یادگیری ایجاد می‌کند.

ارسال یک پاسخ

آدرس ایمیل شما منتشر نخواهد شد.