Gradient Clipping

Gradient Clipping یکی از روش‌هایی است، که برای جلوگیری از انفجار گرادیان استفاده می‌شود. در ادامه ابتدا انفجار گرادیان را تعریف کرده و Gradient Clipping را به‌عنوان یک راه‌حل ارائه می‌دهیم.

Inception module در شبکه‌های عصبی پیچشی (CNN)

Inception module در شبکه‌های عصبی پیچشی (CNN) مورد استفاده قرار می‌گیرد تا محاسبات کارآمدتری را انجام دهد و شبکه‌های عمیق‌تر را از طریق کاهش ابعاد با پیچش‌های ۱ *۱ ایجاد کند. در واقع راهی برای حل مسائل تشخیص و تصحیح تصویر و معماری یادگیری…

آزمون دقیق فیشر (Fisher’s Exact Test)

آزمون دقیق فیشر که استقلال فیشر نیز نامیده می‌شود، یک آزمون آماری کاربردی در حوزه‌های مختلف ازجمله یادگیری عمیق و یادگیری ماشین است. زمانی که به دنبال یافتن تفاوت بین دو متغیر اسمی هستیم، این آزمون کاربرد دارد. تست دقیق فیشر برای داده‌های…

تجزیه‌وتحلیل مؤلفه‌های مستقل (ICA)

تجزیه‌وتحلیل مؤلفه‌های مستقل (ICA) یک تکنیک آماری در یادگیری ماشین برای آشکار کردن عامل‌های پنهان مسئله است. (عوامل پنهان زیر مجموعه‌ای از متغیرها، اندازه گیری‌ها یا سیگنال‌های تصادفی هستند.) برخلاف تجزیه‌وتحلیل مؤلفه‌های اصلی که به حداکثر…

شبکه عصبی و مبانی یادگیری عمیق (deep learning)

در حوزه یادگیری داده‌ها یکی از چالش‌های مطرح استخراج ویژگی‌های موردنیاز برای مسئله است. در یادگیری ماشین بایستی تمام ویژگی‌ها را به‌عنوان ورودی به مسئله بدهیم، اما برخلاف آن یادگیری عمیق (Deep Learning) و شبکه عصبی (Neural Network)، این…

کاهش ویژگی (Feature reduction)

کاهش ویژگی ازجمله اقدامات پیش‌پردازش داده‌های مسائل یادگیری ماشین است، که با در نظر گرفتن این موضوع که برخی از ویژگی‌های مسئله باهم همبستگی و ارتباط دارند، برخی از ویژگی‌ها را حذف و تنها مؤلفه‌های اصلی مسئله را حفظ می‌کند. در این مقاله…

کشیدگی آماری (Kurtosis)

Kurtosis یک معیار اندازه‌گیری آماری است که برای توصیف توزیع‌ها به‌کار می‌رود و امتیاز خوشه‌ها در دم (انتهای توزیع) یا قله (بلندترین قسمت توزیع) را مشخص می‌کند. این معیار در واقع یک معیار توصیفی است که میزان قله‌ای بودن و مسطح بودن یک توزیع…

عبارات باقاعده و منظم (Regular Expressions)

عبارات باقاعده و منظم (Regular Expressions) یکی از ابزارهای برنامه‌نویسی جذاب هستند که بخشی از تکنیک‌های اساسی را در پردازش زبان طبیعی تشکیل می‌دهند و یادگیری آنها برای ساختن یک برنامه کارآمدتر لازم است. یک عبارت باقاعده و منظم مجموعه‌ای از…

مدل‌های مبتنی بر انرژی (energy based models)

مدل‌های مبتنی بر انرژی توزیع احتمال را بر روی داده‌ها با اختصاص یک مقیاس (یا "انرژی") به هر نقطه داده ورودی نشان می‌دهند. این قابلیت انعطاف‌پذیری مدل‌سازی مفیدی را فراهم می‌کند. هر مدل دلخواه که یک عدد واقعی را با توجه به ورودی تولید کند،…

مدل Transformer

مدل Transformer یک شبکه عصبی خاص برای کارهای پردازش زبان طبیعی است، که از آن برای افزایش سرعت آموزش مدل‌های شبکه عصبی استفاده می‌شود. بزرگ‌ترین فایده این مدل موازی‌سازی عملکرد ترجمه زبان‌ها است. در این مقاله با نگاهی ساده مدل Transformer…