داده‌افزایی (Data Augmentation) چیست؟

داده‌افزایی

فرآیند تولید مصنوعی داده‌های جدید از داده‌های موجود است که عمدتاً برای آموزش مدل‌های جدید یادگیری ماشین (ML) استفاده می‌شود. مدل‌های ML برای آموزش اولیه به مجموعه‌داده‌های بزرگ و متنوع نیاز دارند، اما تهیه مجموعه‌داده‌های دنیای واقعی به اندازه کافی متنوع می‌تواند به دلیل سیلوهای داده، مقررات و سایر محدودیت‌ها چالش‌برانگیز باشد. داده‌افزایی به طور مصنوعی با ایجاد تغییرات کوچک در داده‌های اصلی، مجموعه داده را افزایش می‌دهد. اکنون از راه‌حل‌های هوش مصنوعی مولد (AI) برای داده‌افزایی با کیفیت بالا و سریع در صنایع مختلف استفاده می‌شود.

چرا داده‌افزایی مهم است؟

مدل‌های یادگیری عمیق به حجم زیادی از داده‌های متنوع برای توسعه پیش‌بینی‌های دقیق در زمینه‌های مختلف متکی هستند. داده‌افزایی به ایجاد تغییرات داده کمک می‌کند که می‌تواند به یک مدل در بهبود دقت پیش‌بینی‌هایش کمک کند. داده‌های افزوده شده در آموزش حیاتی هستند.

مزایای داده‌افزایی:

• بهبود عملکرد مدل: تکنیک‌های داده‌افزایی با ایجاد تغییرات زیاد در داده‌های موجود، به غنی‌سازی مجموعه‌داده‌ها کمک می‌کنند. این امر یک مجموعه داده بزرگتر برای آموزش فراهم می‌کند و مدل را قادر می‌سازد تا با ویژگی‌های متنوع‌تری روبرو شود. داده‌های افزوده شده به مدل کمک می‌کنند تا بهتر به داده‌های دیده نشده تعمیم یابد و عملکرد کلی آن را در محیط‌های دنیای واقعی بهبود بخشد.
• کاهش وابستگی به داده: جمع‌آوری و آماده‌سازی حجم زیادی از داده برای آموزش می‌تواند پرهزینه و زمان‌بر باشد. تکنیک‌های داده‌افزایی، اثربخشی مجموعه‌داده‌های کوچکتر را افزایش می‌دهند و وابستگی به مجموعه‌داده‌های بزرگ در محیط‌های آموزشی را به شدت کاهش می‌دهند. می‌توانید از مجموعه‌داده‌های کوچکتر برای تکمیل مجموعه با نقاط داده مصنوعی استفاده کنید.
• کاهش بیش‌برازش در داده‌های آموزشی: داده‌افزایی به جلوگیری از بیش‌برازش در هنگام آموزش مدل‌های ML کمک می‌کند. بیش‌برازش رفتار نامطلوب ML است که در آن یک مدل می‌تواند به طور دقیق برای داده‌های آموزشی پیش‌بینی ارائه دهد، اما با داده‌های جدید مشکل دارد. اگر یک مدل فقط با یک مجموعه داده محدود آموزش ببیند، می‌تواند بیش‌برازش پیدا کند و فقط پیش‌بینی‌های مربوط به آن نوع داده خاص را ارائه دهد. در مقابل، داده‌افزایی یک مجموعه داده بسیار بزرگتر و جامع‌تر برای آموزش مدل فراهم می‌کند. این امر باعث می‌شود مجموعه‌های آموزشی برای شبکه‌های عصبی عمیق منحصر به فرد به نظر برسند و از یادگیری آنها برای کار فقط با ویژگی‌های خاص جلوگیری می‌کند.
• بهبود حریم خصوصی داده: اگر نیاز به آموزش یک مدل یادگیری عمیق بر روی داده‌های حساس دارید، می‌توانید از تکنیک‌های افزایشی بر روی داده‌های موجود برای ایجاد داده‌های مصنوعی استفاده کنید. این داده‌های افزوده شده، ویژگی‌ها و وزن‌های آماری داده‌های ورودی را حفظ می‌کنند در حالی که دسترسی به داده‌های اصلی را محدود و محافظت می‌کنند.

موارد استفاده از داده‌افزایی چیست؟

داده‌افزایی کاربردهای متعددی در صنایع مختلف ارائه می‌دهد و عملکرد مدل‌های ML را در بسیاری از بخش‌ها بهبود می‌بخشد.

• مراقبت‌های بهداشتی: داده‌افزایی یک فناوری مفید در تصویربرداری پزشکی است زیرا به بهبود مدل‌های تشخیصی که بیماری‌ها را بر اساس تصاویر تشخیص، شناسایی و تشخیص می‌دهند، کمک می‌کند. ایجاد یک تصویر افزوده شده، داده‌های آموزشی بیشتری را برای مدل‌ها فراهم می‌کند، به ویژه برای بیماری‌های نادری که فاقد تغییرات داده منبع هستند. تولید و استفاده از داده‌های بیمار مصنوعی، تحقیقات پزشکی را با رعایت تمام ملاحظات مربوط به حریم خصوصی داده پیش می‌برد.
• مالی: داده‌افزایی به تولید نمونه‌های مصنوعی از تقلب کمک می‌کند و مدل‌ها را قادر می‌سازد تا برای تشخیص دقیق‌تر تقلب در سناریوهای دنیای واقعی آموزش ببینند. مجموعه‌های بزرگتر داده آموزشی در سناریوهای ارزیابی ریسک کمک می‌کنند و پتانسیل مدل‌های یادگیری عمیق را برای ارزیابی دقیق ریسک و پیش‌بینی روندهای آینده افزایش می‌دهند.
• تولید: صنعت تولید از مدل‌های ML برای شناسایی نقص‌های بصری در محصولات استفاده می‌کند. با تکمیل داده‌های دنیای واقعی با تصاویر افزوده شده، مدل‌ها می‌توانند قابلیت‌های تشخیص تصویر خود را بهبود بخشند و نقص‌های احتمالی را پیدا کنند. این استراتژی همچنین احتمال ارسال یک پروژه آسیب‌دیده یا معیوب به کارخانه‌ها و خطوط تولید را کاهش می‌دهد.
• خرده‌فروشی: محیط‌های خرده‌فروشی از مدل‌ها برای شناسایی محصولات و اختصاص آنها به دسته‌ها بر اساس عوامل بصری استفاده می‌کنند. داده‌افزایی می‌تواند تغییرات داده مصنوعی از تصاویر محصول را تولید کند و یک مجموعه آموزشی ایجاد کند که تغییرات بیشتری از نظر شرایط نور، پس‌زمینه‌های تصویر و زوایای محصول داشته باشد.

داده‌افزایی چگونه کار می‌کند؟

داده‌افزایی داده‌های موجود را برای ایجاد تغییرات، تغییر شکل، ویرایش یا اصلاح می‌کند. در زیر مروری مختصر از این فرآیند آمده است:

• اکتشاف مجموعه داده: اولین مرحله داده‌افزایی، تجزیه و تحلیل یک مجموعه داده موجود و درک ویژگی‌های آن است. ویژگی‌هایی مانند اندازه تصاویر ورودی، توزیع داده‌ها یا ساختار متن، زمینه بیشتری را برای داده‌افزایی فراهم می‌کنند.
• انتخاب تکنیک‌های داده‌افزایی: می‌توانید تکنیک‌های مختلف داده‌افزایی را بر اساس نوع داده زیربنایی و نتایج مورد نظر انتخاب کنید. به عنوان مثال، افزایش یک مجموعه داده با تصاویر زیاد شامل افزودن نویز به آنها، تغییر مقیاس یا برش آنها می‌شود. از طرف دیگر، افزایش یک مجموعه داده متنی برای پردازش زبان طبیعی (NLP) جایگزینی مترادف‌ها یا بازنویسی گزیده‌ها است.
• افزایش داده‌های موجود: پس از انتخاب تکنیک داده‌افزایی که بهترین کارایی را برای هدف مورد نظر شما دارد، شروع به اعمال تغییرات مختلف می‌کنید. نقاط داده یا نمونه‌های تصویر در مجموعه داده با استفاده از روش افزایشی انتخابی شما تغییر می‌کنند و طیف وسیعی از نمونه‌های افزوده شده جدید را ارائه می‌دهند.
• حفظ قوانین برچسب‌گذاری: در طول فرآیند داده‌افزایی، قوانین برچسب‌گذاری یکسان را برای سازگاری داده حفظ می‌کنید و اطمینان حاصل می‌کنید که داده‌های مصنوعی شامل همان برچسب‌های مربوط به داده‌های منبع هستند.
• بررسی کیفیت: معمولاً تصاویر مصنوعی را بررسی می‌کنید تا مشخص کنید که آیا تبدیل موفقیت‌آمیز بوده است یا خیر. این مرحله اضافی تحت رهبری انسان به حفظ کیفیت بالاتر داده کمک می‌کند.
• ادغام فرم‌های داده: در مرحله بعد، داده‌های جدید و افزوده شده را با داده‌های اصلی ترکیب می‌کنید تا یک مجموعه داده آموزشی بزرگتر برای مدل ML تولید کنید. هنگام آموزش مدل، از این مجموعه داده ترکیبی از هر دو نوع داده استفاده می‌کنید.

توجه به این نکته مهم است که نقاط داده جدیدی که توسط داده‌افزایی مصنوعی ایجاد می‌شوند، همان بایاس داده‌های ورودی اصلی را دارند. برای جلوگیری از انتقال بایاس به داده‌های جدید خود، قبل از شروع فرآیند داده‌افزایی، هرگونه بایاس در داده‌های منبع را برطرف کنید.

برخی از تکنیک‌های داده‌افزایی کدامند؟

تکنیک‌های داده‌افزایی در انواع مختلف داده و زمینه‌های تجاری متمایز متفاوت است.

• بینایی کامپیوتر: داده‌افزایی یک تکنیک اصلی در وظایف بینایی کامپیوتر است. این به ایجاد نمایش‌های متنوع داده و مقابله با عدم تعادل کلاس در یک مجموعه داده آموزشی کمک می‌کند.
  • اولین استفاده از داده‌افزایی در بینایی کامپیوتر از طریق افزایش موقعیت است. این استراتژی یک تصویر ورودی را برش می‌دهد، برمی‌گرداند یا می‌چرخاند تا تصاویر افزوده شده ایجاد کند. برش یا اندازه تصویر را تغییر می‌دهد یا قسمت کوچکی از تصویر اصلی را برای ایجاد یک تصویر جدید برش می‌دهد. تبدیل چرخش، برگرداندن و تغییر اندازه، همه به طور تصادفی با احتمال معینی از ارائه تصاویر جدید، تصویر اصلی را تغییر می‌دهند.
  • • خودرمزگذارهای تغییرپذیر (VAE): خودرمزگذارهای تغییرپذیر (VAE) نوعی شبکه عصبی هستند که به افزایش اندازه نمونه داده‌های اصلی و کاهش نیاز به جمع‌آوری زمان‌بر داده کمک می‌کنند. VAEها دارای دو شبکه متصل هستند: یک رمزگشا و یک رمزگذار. رمزگذار تصاویر نمونه را می‌گیرد و آنها را به یک نمایش میانی تبدیل می‌کند. رمزگشا نمایش را می‌گیرد و تصاویر مشابه را بر اساس درک خود از نمونه‌های اولیه بازسازی می‌کند. VAEها مفید هستند زیرا می‌توانند داده‌هایی بسیار شبیه به داده‌های نمونه ایجاد کنند و به افزایش تنوع در عین حفظ توزیع داده‌های اصلی کمک می‌کنند.استفاده دیگر از داده‌افزایی در بینایی کامپیوتر در افزایش رنگ است. این استراتژی عوامل اصلی یک تصویر آموزشی مانند روشنایی، درجه

      کنتراست یا میزان اشباع آن تغییر می‌دهد. این تغییرات رایج تصویر، رنگ، تعادل تاریک و روشن و جداسازی بین تاریک‌ترین و روشن‌ترین نواحی یک تصویر را برای ایجاد تصاویر افزوده شده تغییر می‌دهند.

      [مطالعه بیشتر در مورد بینایی کامپیوتر](لینک فرضی)

      • افزایش داده‌های صوتی: فایل‌های صوتی مانند ضبط صدا نیز یک زمینه رایج هستند که می‌توانید از داده‌افزایی در آنها استفاده کنید. تبدیل‌های صوتی معمولاً شامل تزریق نویز تصادفی یا گاوسی به برخی از صداها، جلو بردن سریع بخش‌ها، تغییر سرعت بخش‌ها با نرخ ثابت یا تغییر زیر و بمی صدا است.
      • افزایش داده‌های متنی: افزایش متن یک تکنیک حیاتی داده‌افزایی برای NLP و سایر بخش‌های مرتبط با متن ML است. تبدیل‌های داده‌های متنی شامل جابجایی جملات، تغییر موقعیت کلمات، جایگزینی کلمات با مترادف‌های نزدیک، درج کلمات تصادفی و حذف کلمات تصادفی است.
      • انتقال سبک عصبی: انتقال سبک عصبی شکل پیشرفته‌ای از داده‌افزایی است که تصاویر را به بخش‌های کوچکتر تجزیه می‌کند. از یک سری لایه‌های کانولوشنال استفاده می‌کند که سبک و زمینه یک تصویر را جدا می‌کند و تصاویر زیادی را از یک تصویر واحد تولید می‌کند.
      • آموزش خصمانه: تغییرات در سطح پیکسل برای یک مدل ML چالش ایجاد می‌کند. برخی از نمونه‌ها شامل یک لایه نویز نامحسوس روی یک تصویر برای آزمایش توانایی مدل در درک تصویر زیر آن هستند. این استراتژی یک شکل پیشگیرانه از داده‌افزایی است که بر دسترسی غیرمجاز احتمالی در دنیای واقعی تمرکز دارد.

      نقش هوش مصنوعی مولد در داده‌افزایی چیست؟

      هوش مصنوعی مولد در داده‌افزایی ضروری است زیرا تولید داده‌های مصنوعی را تسهیل می‌کند. به افزایش تنوع داده، ساده‌سازی ایجاد داده‌های واقعی و حفظ حریم خصوصی داده کمک می‌کند.

      • شبکه‌های مولد خصمانه (GAN): شبکه‌های مولد خصمانه (GAN) چارچوبی از دو شبکه عصبی اصلی هستند که در مقابل هم کار می‌کنند. مولد نمونه‌هایی از داده‌های مصنوعی تولید می‌کند، سپس تشخیص‌دهنده بین داده‌های واقعی و نمونه‌های مصنوعی تمایز قائل می‌شود.

      با گذشت زمان، GANها به طور مداوم با تمرکز بر فریب تشخیص‌دهنده، خروجی مولد را بهبود می‌بخشند. داده‌هایی که می‌توانند تشخیص‌دهنده را فریب دهند به عنوان داده‌های مصنوعی با کیفیت بالا محسوب می‌شوند و داده‌افزایی را با نمونه‌های بسیار قابل اعتماد که از نزدیک توزیع داده‌های اصلی را تقلید می‌کنند، فراهم می‌کنند.