مراحل خلاصه سازی مبتنی بر یادگیری ماشین – پیش پردازش متن

مراحل خلاصه سازی مبتنی بر یادگیری ماشین – پیش پردازش متن

آکادمی داده

۱۳۹۷/۰۳/۰۶


  • 125 بازدید

امروزه با رشد سریع اطلاعات و ها، داده یافتن اطلاعات مناسب و كارا از اهمیت خاصی برخوردار است. هدف از خلاصه سازی  متن، فراهم كردن ای خلاصه از محتویات مطابق با اطلاعات مورد نیاز كاربر است.  بنابراین كاربران میتوانند با سرعت بیشتری به اطلاعات موجود در متن دسترسی پیدا كنند. خلاصه سازی  در اصل فرآیند فشرده سازی  یك منبع است، به كه طوری نتیجه كار شامل اطلاعات مهم آن منبع باشد. به عبارت دیگر استخراج قسمت های مهم از یك یا چند متن را خلاصه سازی  گویند.

مهمترین قسمت در هر سیستم كاربردی پردازش زبان طبیعی تحلیل متن ورودی است. در این قسمت متن به یك فرم استاندارد تبدیل میشود تا فرایند خلاصه سازی  بطور صحیح و با دقت لازم انجام شود. یكنواخت سازی متون شامل مراحل زیر می باشد:

یك دست سازی متن: مانند تبدیل نویسه های "ی" و "ك" عربی به نوع فارسی آن

حذف واژههای عمومی: واژه های عمومی، واژههای پرتكرار و كماهمیت هستند مانند و، البته، آیا

جداسازی واژههای به هم چسبیده مانند كتابها، آنها

شناسایی عناصر متنی چندبخشی: كه معنای آن از تك تك واژه هایش بدست نمی آید، مانند "محمود فرشچیان" و "رییس جمهور"

خلاصه سازی متون با تكنیك های مبتنی بر یادگیری ماشین، شهرآئینی

اگر به پژوهش در حوزه متن کاوی علاقه مند هستید توصیه می شود حتما مجموعه بی نظیر هفتاد و چهار مقاله فارسی در زمینه متن کاوی  و مجموعه های مشابه آن را تهیه بفرمایید.

اگر در زمینه متن کاوی در حال تحقیق یا پیاده سازی پروژه یا پایان نامه هستید برای گرفتن مشاوره یا دادن سفارش انجام با ما تماس بگیرید.  آکادمی داده در تلگرام (https://t.me/dataacademyحضور دارد برای ارتباط از طریق ایمیل آدرس جیمیل: dataacademyir@gmail.com می باشد.

افتخار آکادمی داده، همسفر بودن با شما در راه یادگیری علم داده است.