در دنیای امروز شاهد رشد تولید دادههای مختلف از جمله دادههای متنی هستیم و همواره حجم زیادی از دادههای متنی به روشهای مختلف به خصوص در شبکههای اجتماعی تولید میشود. ولی این متنها غالباً غیررسمی و دارای خطاهای بسیاری هستند که باعث میشود امکان استفاده از آنها در بسیاری از پردازشهای زبان طبیعی وجود نداشته باشد. در این مقاله به تبدیل متن محاورهای به متن رسمی در زبان فارسی پرداختهشده است. برای این منظور دو مدل مختلف براساس مدل کدگذار-کدگشا و مدل مبدل که از بهروزترین مدلهای دنباله-به-دنباله هستند پیادهسازی شدهاند. در کنار استفاده از مدلهای شبکه عصبی، مجموعهای از قواعد در تبدیل متن محاورهای به رسمی فراهم شدهاند و تأثیر استفاده از این قواعد در کنار هر یک از دو مدل بررسی شده است. در انتها نتایج مدلهای گفته شده مقایسه شدهاند که در بهترین حالت این نتایج به دست آمده به دقت ۷۰.۷ درصد در معیار بلوی ارتقاء یافته رسیدهاند.
Adibian, M., & Momtazi, S. (2022). Using Transformer-based Neural Models for Converting Informal to Formal Text in Persian. Language and Linguistics, 18(35), 47-69. doi: 10.30465/lsi.2023.43310.1637
MLA
Majid Adibian; Saeedeh Momtazi. "Using Transformer-based Neural Models for Converting Informal to Formal Text in Persian", Language and Linguistics, 18, 35, 2022, 47-69. doi: 10.30465/lsi.2023.43310.1637
HARVARD
Adibian, M., Momtazi, S. (2022). 'Using Transformer-based Neural Models for Converting Informal to Formal Text in Persian', Language and Linguistics, 18(35), pp. 47-69. doi: 10.30465/lsi.2023.43310.1637
VANCOUVER
Adibian, M., Momtazi, S. Using Transformer-based Neural Models for Converting Informal to Formal Text in Persian. Language and Linguistics, 2022; 18(35): 47-69. doi: 10.30465/lsi.2023.43310.1637