زبان و زبان‌شناسی
تبدیل متن محاوره‌ای به رسمی فارسی با استفاده از شبکه‌های عصبی مبتنی بر مبدل
نوع مقاله : علمی-پژوهشی
نویسندگان
1 دانشجو، دانشکده مهندسی کامپیوتر، دانشگاه صنعتی امیرکبیر
2 دانشیار، دانشکده مهندسی کامپیوتر، دانشگاه صنعتی امیرکبیر
چکیده
در دنیای امروز شاهد رشد تولید داده‌های مختلف از جمله داده‌های متنی هستیم و همواره حجم زیادی از داده‌های متنی به روش‌های مختلف به خصوص در شبکه‌های اجتماعی تولید میشود. ولی این متنها غالباً غیررسمی و دارای خطاهای بسیاری هستند که باعث میشود امکان استفاده از آنها در بسیاری از پردازشهای زبان طبیعی وجود نداشته باشد. در این مقاله به تبدیل متن محاوره‌ای به متن رسمی در زبان فارسی پرداخته‌شده است. برای این منظور دو مدل مختلف براساس مدل کدگذار-کدگشا و مدل مبدل که از به‌روزترین مدل‌های دنباله-به-دنباله هستند پیاده‌سازی شده‌اند. در کنار استفاده از مدل‌های شبکه عصبی، مجموعه‌ای از قواعد در تبدیل متن محاوره‌ای به رسمی فراهم شده‌اند و تأثیر استفاده از این قواعد در کنار هر یک از دو مدل بررسی شده است. در انتها نتایج مدل‌های گفته شده مقایسه شده‌اند که در بهترین حالت این نتایج به دست آمده به دقت ۷۰.۷ درصد در معیار بلوی ارتقاء یافته رسیده‌اند.
کلیدواژه‌ها
عنوان مقاله [English]
Using Transformer-based Neural Models for Converting Informal to Formal Text in Persian
نویسندگان [English]
- Majid Adibian 1
- Saeedeh Momtazi 2
1 Computer Engineering Department, Amirkabir University of Technology
2 Computer Engineering Department, Amirkabir University ofTechnology
چکیده [English]
در دنیای امروز شاهد رشد تولید داده‌های مختلف از جمله داده‌های متنی هستیم و همواره حجم زیادی از داده‌های متنی به روش‌های مختلف به خصوص در شبکه‌های اجتماعی تولید میشود. ولی این متنها غالباً غیررسمی و دارای خطاهای بسیاری هستند که باعث میشود امکان استفاده از آنها در بسیاری از پردازشهای زبان طبیعی وجود نداشته باشد. در این مقاله به تبدیل متن محاوره‌ای به متن رسمی در زبان فارسی پرداخته‌شده است. برای این منظور دو مدل مختلف براساس مدل کدگذار-کدگشا و مدل مبدل که از به‌روزترین مدل‌های دنباله-به-دنباله هستند پیاده‌سازی شده‌اند. در کنار استفاده از مدل‌های شبکه عصبی، مجموعه‌ای از قواعد در تبدیل متن محاوره‌ای به رسمی فراهم شده‌اند و تأثیر استفاده از این قواعد در کنار هر یک از دو مدل بررسی شده است. در انتها نتایج مدل‌های گفته شده مقایسه شده‌اند که در بهترین حالت این نتایج به دست آمده به دقت ۷۰.۷ درصد در معیار بلوی ارتقاء یافته رسیده‌اند.
کلیدواژه‌ها [English]
- پردازش زبان طبیعی
- تبدیل محاوره‌ای به رسمی
- مدل کدگذار-کدگشا
- مدل مبدل
)