یادگیری انتقال

Transfer Learning

یادگیری انتقال یکی از تکنیکهای یادگیری ماشین است که در آن یک مدل آموزش داده‌شده در یک کار، مجدداً در یک کار مرتبط دیگر مورداستفاده قرار می‌گیرد. یک نوع بهینه‌سازی است که امکان پیشرفت سریع یا بهبود عملکرد را در هنگام مدل‌سازی کار دوم فراهم می‌کند و با توجه به منابع عظیم موردنیاز برای آموزش مدل‌های یادگیری عمیق یا مجموعه داده‌های بزرگ و چالش‌برانگیز که در آن مدل‌های یادگیری عمیق آموزش داده می‌شود، رایج است.

این صورت از یادگیری انتقال که در یادگیری عمیق مورداستفاده قرار می‌گیرد انتقال استنتاجی نامیده می‌شود.

 

چگونه از یادگیری انتقال استفاده کنیم؟

می‌توانیم از یادگیری انتقال بر اساس مشکلاتِ مدلِ پیش‌بینی خود استفاده کنیم. دو رویکرد زیر پیشنهاد می‌شود:

  • توسعه‌ی مدل
  • مدل از پیش آموزش‌دیده

 

توسعه‌ی مدل

 

  1. انتخاب منبع: 

    شما باید یک مسئله‌ی پیش‌بینی را با داده‌ی فراوان انتخاب کنید به‌طوری‌که داده‌های ورودی و خروجی با یکدیگر در ارتباط باشند.

  2. توسعه‌ی مدل:

     در این مرحله باید برای اولین کار، مدل خود را توسعه دهید. مدل باید بهتر از یک مدل ساده باشد تا اطمینان حاصل شود که برخی از یادگیری ویژگی‌ها انجام‌شده است.

  3. استفاده‌ی مجدد از مدل:

     این مدل که برای اولین کار (کار منبع) استفاده‌شده است اکنون می‌تواند برای کار دوم نیز استفاده شود. ممکن است در این مرحله بر اساس تکنیک پیاده‌سازی شده در مدل از همه‌ی آن استفاده شود.

  4. وفق دادن مدل:

     ممکن است مدل نیاز به تطبیق دادن بین داده‌های ورودی و خروجی داشته باشد.

 

مدل از پیش آموزش‌دیده

 

  1. انتخاب منبع: 

    یک مدل از پیش آموزش‌دیده انتخاب کنید. بسیاری از مؤسسات تحقیقاتی مدل‌هایی را در مورد مجموعه داده‌های بزرگ و چالش‌برانگیز منتشر می‌کنند که می‌توانید آن‌ها را انتخاب کنید.

  2. استفاده‌ی مجدد از مدل:

      این مدل که برای اولین کار (کار منبع) استفاده‌شده است اکنون می‌تواند برای کار دوم نیز استفاده شود. ممکن است در این مرحله بر اساس تکنیک پیاده‌سازی شده در مدل از همه‌ی آن استفاده شود.

  3. وفق دادن مدل:

     ممکن است مدل نیاز به تطبیق دادن بین داده‌های ورودی و خروجی داشته باشد.

رویکرد دوم در انجام پروژه‌های یادگیری عمیق رایج‌تر است

 

مثال‌هایی از یادگیری انتقال در یادگیری عمیق

 

  • یادگیری انتقال با داده‌های تصویر

استفاده از یادگیری انتقال همراه مدل‌های پیش‌بینی کننده که از داده‌های عکس به‌عنوان ورودی استفاده می‌کنند؛ رایج است. برای این‌گونه مسائل از مدل‌های از پیش آموزش‌دیده برای طبقه‌بندی عکس‌های چالش‌برانگیز و بزرگ استفاده می‌کنیم مانند رقابتی که برای طبقه‌بندی تصاویر 1000 کلاسه در ImageNet انجام شد. این مدل‌ها ممکن است روزها یا هفته‌ها برای آموزش طول بکشد. در ادامه به سه نمونه از این مدل‌ها اشاره می‌کنیم:

برای مثال‌های بیش‌تر به Caffe Model Zoo مراجعه کنید که مدل‌های از پیش آموزش‌دیده در آنجا به اشتراک گذاشته‌شده‌اند.

 

  • یادگیری انتقال با داده‌های زبان

انجام یادگیری انتقال با مسائل پردازش زبان طبیعی که از متن به‌عنوان ورودی یا خروجی استفاده می‌کنند معمول است. الگوریتم‌های کارآمدی برای یادگیری این کلمات توزیع‌شده وجود دارد و معمول است که سازمان‌های تحقیقاتی مدل‌های از پیش آموزش‌دیده را بر روی اسناد متنی بسیار بزرگ تحت مجوز خاصی منتشر کنند.

دو نمونه از این مدل‌ها عبارت‌اند از:

مدل‌های توزیع‌شده کلمات می‌توانند دانلود شوند و در مدل‌های زبانی یادگیری عمیق، جهت تفسیر کلمات به‌عنوان ورودی و تولید کلمات به‌عنوان خروجی استفاده شوند.

در یادگیری انتقال ، ما ابتدا یک شبکه‌ی پایه را براساس یک دیتاست آموزش می‌دهیم، و سپس ویژگی‌های آموخته‌شده را به یک شبکه‌ی دوم برای آموزش روی دیتاست‌های جدید انتقال می‌دهیم. در صورت عمومی بودن ویژگی‌ها (مناسب بودن ویژگی‌ها برای هردو شبکه) این فرآیند کار می‌کند و مفید واقع می‌شود.

 

 

2 نظرات
  1. بهروز می گوید

    با درود

    ترجمه ی صحیح تر عبارت Transfer Learning به فارسی، با توجه به مفهوم تخصصی این عبارت، “انتقال یادگیری” است.

  2. ملیکا بهمن آبادی می گوید

    ممنون از دقت نظرتون

ارسال یک پاسخ

آدرس ایمیل شما منتشر نخواهد شد.