طبقه‌بندی متن (Text Classification) یعنی چه؟

طبقه‌بندی متن فرایند اختصاص دسته‌های ازپیش‌تعیین‌شده به اسناد متنی قابل‌تنظیم است که با استفاده از سیستم‌های هوش مصنوعی (AI) و یادگیری ماشین (ML) انجام می‌شود. بسیاری از سازمان‌ها دارای آرشیوهای بزرگ مستندات و جریان‌های تجاری هستند و مدام اسنادی در حجم انبوه تولید می‌کنند، مانند اسناد حقوقی، قراردادها، مستندات تحقیقاتی، داده‌های تولیدشده توسط کاربران و ایمیل‌ها. طبقه‌بندی متن اولین گام برای سازماندهی، ساختاردهی و دسته‌بندی این داده‌ها به منظور تحلیل‌های بعدی است. این فرآیند امکان برچسب‌گذاری و نشانه‌گذاری خودکار اسناد را فراهم آورده که در زمان طولانی موردنیاز برای خواندن، درک و طبقه‌بندی دستی اسناد صرفه‌جویی کند.

مزایای طبقه‌بندی متن
سازمان‌ها از مدل‌های طبقه‌بندی متن به دلایل زیر استفاده می‌کنند.

• دقت بیشتر
  مدل‌های طبقه‌بندی متن با دقت بالا و با حداقل یا بدون نیاز به آموزش اضافی، متن را دسته‌بندی می‌کنند. این مدل‌ها به سازمان‌ها کمک می‌کنند تا خطاهایی را که ممکن است انسان‌ها هنگام طبقه‌بندی دستی داده‌های متنی مرتکب شوند، برطرف کنند. علاوه بر این، سیستم طبقه‌بندی متن نسبت به انسان‌ها در تخصیص برچسب‌ها به داده‌های متنی در موضوعات مختلف، ثبات بیشتری دارد.
• تحلیل‌های آنی
  سازمان‌ها در پردازش آنی داده‌های متنی با فشار زمانی مواجه هستند. با الگوریتم‌های طبقه‌بندی متن، می‌توان پاسخ‌های عملی و فوری ارائه داد. مثلا، سازمان‌ها می‌توانند از سیستم‌های طبقه‌بندی متن در تحلیل بازخورد مشتریان و پاسخ به درخواست‌های فوری استفاده کنند.
• گسترش وظایف طبقه‌بندی متن
  سازمان‌ها پیش‌تر از سیستم‌های دستی یا قانون-محور برای طبقه‌بندی اسناد استفاده می‌کردند. این روش‌ها کند بود و منابع زیادی را درگیر می‌کرد. با طبقه‌بندی متن مبتنی بر یادگیری ماشین، می‌توان تلاش‌های دسته‌بندی اسناد را برای رشد سازمان به ‌طور مؤثرتری در سراسر بخش‌ها گسترش داد.
• ترجمه زبان‌ها
  سازمان‌ها می‌توانند از طبقه‌بندی‌کننده‌های متن برای شناسایی زبان استفاده کنند. یک مدل طبقه‌بندی متن می‌تواند زبان مبدا را در مکالمات یا درخواست‌های خدمات شناسایی کرده و آن‌ را به تیم مربوط هدایت کند.

موارد استفاده
از طبقه‌بندی متن برای رضایت بیشتر مشتری، بهره وری کارکنان و نتایج تجاری بهتر استفاده می‌شود.

• تحلیل احساسات
  طبقه‌بندی متن به سازمان‌ها اجازه می‌دهد تا برند خود را در چند کانال مدیریت کرده و کلمات خاصی را که نشان‌دهنده احساسات مشتریان هستند، استخراج کنند. همچنین به تیم‌های بازاریابی این امکان را می‌دهد که روند خرید را با داده‌های کیفی دقیق‌تر پیش‌بینی کنند. مثلا می‌توان از ابزارهای طبقه‌بندی متن برای تحلیل رفتار مشتریان در پست‌های شبکه‌های اجتماعی، نظرسنجی‌ها، مکالمات چت یا سایر منابع متنی استفاده کرد تا  کمپین‌های بازاریابی مطابق با آن برنامه‌ریزی شوند.
• مدیریت محتوا
  کسب‌وکارها به دنبال افزایش مخاطبان خود در گروه‌های اجتماعی، رسانه‌های اجتماعی و انجمن‌ها هستند. تنظیم بحث‌های کاربران با تکیه بر ناظران چالش‌برانگیز است. مدل طبقه‌بندی متن برای شناسایی خودکار کلمات، عبارات یا محتوایی که ممکن است قوانین جامعه را نقض کند به کار می‌رود. نتیجه،  امکان عکس‌العمل فوری و اطمینان از یک محیط امن است.
• مدیریت اسناد
  بسیاری از سازمان‌ها با چالش‌هایی در پردازش و مرتب‌سازی اسناد در حمایت از معاملات تجاری مواجه هستند. یک طبقه‌بندی‌کننده متن می‌تواند اطلاعات گمشده را شناسایی کرده، کلیدواژه‌های خاصی را استخراج کند و روابط معنایی را شناسایی کند. می‌توان از سیستم‌های طبقه‌بندی متن برای برچسب‌گذاری و مرتب‌سازی اسنادی مانند پیام‌ها، نظرات و قراردادها در دسته‌های مربوط استفاده کرد.
• پشتیبانی مشتری
  مشتریان انتظار دارند که پاسخ‌های به‌موقع و دقیقی از تیم‌های پشتیبانی دریافت کنند. یک طبقه‌بندی‌کننده متن مبتنی بر یادگیری ماشین به تیم پشتیبانی این امکان را می‌دهد که درخواست‌های ورودی را به پرسنل مناسب ارجاع دهند. به‌عنوان مثال، طبقه‌بندی‌کننده متن کلمه “تعویض” را در بلیت پشتیبانی شناسایی کرده و درخواست را به بخش گارانتی ارسال می‌کند.

رویکردهای طبقه‌بندی متن 
طبقه‌بندی متن به‌عنوان یک زیرمجموعه از پردازش زبان طبیعی به‌طور چشمگیری تکامل‌یافته است. در ادامه چند رویکرد که مهندسان یادگیری ماشین از آن‌ها برای طبقه‌بندی داده‌های متنی استفاده می‌کنند، معرفی می‌شوند.

• استنباط زبان طبیعی
  استنباط زبان طبیعی رابطه بین یک فرضیه و یک مقدمه را با برچسب‌گذاری آن‌ها به‌عنوان مربوط، متناقض و یا خنثی تعیین می‌کند. برچسب مربوط، وجود یک منطق بین مقدمه و فرضیه را توصیف می‌کند، درحالی‌که برچسب تناقض نشان‌دهنده عدم ارتباط بین موجودیت‌های متنی است. برچسب خنثی نیز زمانی به کار می‌رود که هیچ یک از این دو حالت نباشد.
• مدل‌سازی زبان احتمالی
  مدل‌سازی زبان احتمالی یک رویکرد آماری است که مدل‌های زبانی برای پیش‌بینی کلمه بعدی در یک دنباله از کلمات استفاده می‌کنند. با استفاده از این رویکرد، مدل یک ارزش احتمالی به هر کلمه اختصاص می‌دهد و احتمال کلمات بعدی را محاسبه می‌کند. مدل‌سازی زبان احتمالی در طبقه‌بندی متن، اسناد را بر اساس عبارات خاص موجود در متن دسته‌بندی می‌کند.
• جاسازی (تعبیه) کلمه
  جاسازی کلمه تکنیکی است که در آن یک عدد به عنوان نماینده به کلمات اختصاص داده می‌شود که روابط معنایی آن‌ها را در بر می‌گیرد. در واقع، جاسازی معادل عددی یک کلمه است. الگوریتم‌های یادگیری ماشین نمی‌توانند متن در اشکال اصلی خود به درستی تحلیل کنند. با این روش، الگوریتم‌های مدل‌سازی زبان می‌توانند متون مختلف را بر اساس نمایش‌های آن‌ها مقایسه کنند.
• مدل‌های زبان بزرگ
  مدل‌های زبان بزرگ (LLMs) الگوریتم‌های یادگیری ژرف (Deep Learning) هستند که از حجم عظیمی از داده‌های متنی آموزش دیده‌اند. این مدل‌ها بر اساس ساختار ترنسفورمر طراحی شده‌اند؛ یک شبکه عصبی با لایه‌های پنهان متعدد که قادر به پردازش موازی داده‌های متنی است. مدل‌های زبان بزرگ از مدل‌های ساده‌ قدرتمندتر هستند و در انجام وظایف مختلف پردازش زبان طبیعی، از جمله طبقه‌بندی متن، برتری دارند.

ارزیابی عملکرد طبقه‌بندی متن
قبل از پیاده‌سازی طبقه‌بندی‌کننده‌های متن برای برنامه‌های تجاری، آن‌ها ارزیابی می‌شوند تا مشخص شود کم برازش نیستند. کم برازشی پدیده‌ای است که در آن الگوریتم یادگیری ماشین در آموزش به‌خوبی عمل می‌کند؛ اما در طبقه‌بندی داده‌های واقعی موفق نیست. برای ارزیابی یک مدل طبقه‌بندی متن، از روش اعتبارسنجی متقاطع استفاده می‌شود.

اعتبارسنجی متقابل
اعتبارسنجی متقابل یک تکنیک ارزیابی مدل است که داده‌های آموزشی را به گروه‌های کوچک‌تر تقسیم می‌کند. هر گروه سپس به نمونه‌هایی برای آموزش و اعتبارسنجی مدل تقسیم می‌شود. مدل ابتدا با نمونه مخصوص آموزش می‌بیند و با نمونه باقی‌مانده آزمایش می‌شود. سپس، نتایج مدل با نتایج برچسب‌گذاری شده توسط انسان‌ مقایسه می‌شود.

معیارهای ارزیابی
می‌توان مدل طبقه‌بندی متن را از جنبه‌های مختلف ارزیابی کرد:

• دقت، تعداد پیش‌بینی‌های صحیحی را که طبقه‌بندی‌کننده متن نسبت به کل پیش‌بینی‌ها انجام داده، توصیف می‌کند.
• دقت بیانگر توانایی مدل در پیش‌بینی صحیح و مداوم یک گروه خاص است. یک طبقه‌بندی‌کننده متن زمانی که تعداد مثبت‌های کاذب کمتری تولید کند، دقت بیشتری دارد.
• یادآوری، میزان ثبات مدل در پیش‌بینی صحیح گروه درست نسبت به تمام پیش‌بینی‌های مثبت را اندازه‌گیری می‌کند.
• امتیاز F1 میانگین دقت و یادآوری را محاسبه می‌کند تا نمای کلی و متوازنی از دقت مدل ارائه دهد.

پیاده‌سازی طبقه‌بندی متن
می‌توان با دنبال‌کردن مراحل زیر، یک مدل طبقه‌بندی متن ساخته، آموزش داده و پیاده‌سازی کرد.

• تهیه مجموعه داده آموزشی
  آماده‌سازی یک مجموعه داده باکیفیت بالا در آموزش یا تنظیم دقیق یک مدل زبانی برای طبقه‌بندی متن اهمیت دارد. یک مجموعه داده متنوع و برچسب‌گذاری‌شده به مدل این امکان را می‌دهد که به‌طور مؤثر کلمات، عبارات یا الگوهای خاص و دسته‌های مربوط را شناسایی کند.
• آماده‌سازی مجموعه داده
  مدل‌های یادگیری ماشین نمی‌توانند از مجموعه داده‌های خام یاد بگیرند؛ بنابراین، باید مجموعه داده را با استفاده از روش‌های پیش‌پردازش مانند توکن‌سازی آماده کرد. توکن‌سازی هر کلمه یا جمله را به بخش‌های کوچک‌تر به نام توکن تقسیم می‌کند.
  پس از این مرحله، باید داده‌های تکراری و غیرعادی را از مجموعه داده آموزشی حذف کرد تا بر عملکرد مدل تأثیر نگذارد. سپس این مجموعه به داده‌های آموزشی و اعتبارسنجی تقسیم می شود.
• آموزش مدل طبقه‌بندی متن
  ابتدا، یک مدل زبانی با مجموعه داده آماده‌شده انتخاب و آموزش داده می شود. در طول آموزش، مدل از مجموعه داده برچسب‌گذاری‌شده یاد می‌گیرد و سعی می‌کند متن را به دسته‌های مربوط طبقه‌بندی کند. آموزش زمانی کامل می‌شود که مدل همیشه به یک نتیجه برسد.
• ارزیابی و بهینه‌سازی
  مدل با مجموعه داده آزمایشی ارزیابی می شود. دقت، یادآوری، و امتیاز F1 مدل با معیارهای مشخص‌شده مقایسه می شوند. ممکن است مدل آموزش‌دیده نیاز به تنظیم بیشتری داشته باشد تا مشکلاتی مانند بیش‌ برازشی و سایر مشکلات عملکردی را برطرف کند. سپس مدل بهینه‌سازی می شود تا نتایج رضایت‌بخشی به دست آید.

چالش‌ها
سازمان‌ها می‌توانند از منابع طبقه‌بندی متن تجاری یا عمومی برای پیاده‌سازی شبکه‌های عصبی طبقه‌بندی‌کننده متن استفاده کنند. با این حال، کمبود داده‌ها می‌تواند در برخی صنایع، تهیه مجموعه‌ داده آموزشی را چالش‌برانگیز کند. مثلا، شرکت‌های بهداشتی ممکن است در تأمین مجموعه‌های داده پزشکی برای آموزش یک مدل طبقه‌بندی دچار مشکل شوند.
آموزش و تنظیم دقیق یک مدل یادگیری ماشین پرهزینه‌ و زمان‌بر است. علاوه بر این، ممکن است مدل دچار بیش‌برازشی یا کم‌برازشی شود که منجر به عملکرد نامنظم در موارد استفاده واقعی می‌شود. می توان یک طبقه‌بندی‌کننده متن با کتابخانه‌های یادگیری ماشین متن‌باز ساخت. با این حال، آموزش، برنامه‌نویسی و یکپارچه‌سازی طبقه‌بندی‌کننده با برنامه‌های سازمانی نیازمند دانش تخصصی یادگیری ماشین و سال‌ها تجربه در توسعه نرم‌افزار است.