نوع مقاله : علمی-پژوهشی

نویسندگان

• محمدعلی صدرایی ¹
• احسان الدین عسگری ²
• حمیدرضا ربیعی ³

¹ دانشجوی کارشناسی ارشد، دانشگاه صنعتی شریف، گروه هوش مصنوعی، دانشکده مهندسی کامپیوتر آزمایشگاه علوم داده و یادگیری ماشین

² علوم و تکنولوژی‌های کاربردی، دانشگاه کالیفرنیا برکلی آزمایشگاه پردازش هوشمند متن و زبان و علوم انسانی محاسباتی. گروه هوش مصنوعی

³ استاد دانشگاه صنعتی شریف، گروه هوش مصنوعی، دانشکده مهندسی کامپیوتر آزمایشگاه علوم داده و یادگیری ماشین

چکیده

زبان تاجیکی، یا به شکل درست‌تر گویش تاجیکی زبان فارسی، از گونه‌های زنده زبان فارسی است که در کشور تاجیکستان رواج دارد. مهم‌ترین تفاوت فارسی رایج در ایران با فارسی تاجیکی در سیستم نوشتار است که این تفاوت سبب ایجاد گسست فرهنگی میان دو ملتی که گفتار هم را متوجه می شوند، شده است. ساخت سامانه‌ای برای تبدیل این دو نوشتار می تواند به نزدیکتر کردن این دو ملت کمک شایان ذکری کند. در گذشته تلاش‌هایی برای ساخت نویسه‌گردان رایانشی بین این دو گونه نوشتار صورت گرفته است. این سامانه‌ها با استفاده از روش‌های سنتی و قانون‌محور این کار را انجام می‌دادند و برای همین خطاهای قابل توجهی در خروجی خود دارند. در این پژوهش تلاش شده است که با کمک روش‌های یادگیری ژرف این نویسه‌گردانی انجام شود. در دهه گذشته این روش‌ها تحول عظیمی در زبانشناسی رایانشی ایجاد کرده‌اند. در این پژوهش ابتدا پیکره موازی میان فارسی و تاجیکی جمع‌آوری شده است. سپس با کمک مدل‌های رشته به رشته یک سامانه نویسه‌گردانی با عملکرد بهتر نسبت به سامانه‌های گذشته ایجاد شده است.

کلیدواژه‌ها

• یادگیری ژرف
• مدل کدگذار-کدگشا
• نویسه‌گردانی
• فارسی تاجیکی

عنوان مقاله [English]

Fajik: A Neural Encoder-Decoder Model along with Required Language Resources for an Accurate Tajiki-Persian Transliteration

نویسندگان [English]

• Mohammad Ali Sadraei Javaheri ¹
• Ehsan Asgari ²
• Hamid Reza Rabiee ³

¹ Master Student at Sharif University, Artificial Intelligence Group, Department of Computer Engineering Data Science & Machine Learning Lab

² Applied Science and Technology, University of California Berkeley Language Processing and Digital Humanities Lab, AI Group, SUT

³ Professor at Sharif University, Artificial Intelligence Group, Department of Computer Engineering Data Science & Machine Learning Lab

چکیده [English]

The Tajik language, also known as Tajiki Persian, is a variation of Persian (Farsi) spoken in Tajikistan. One of the main distinctions between Iranian Persian and Tajiki Persian is the writing script. Since the early 1900s, Tajiki has been written in the Cyrillic script. Although the difference between spoken Tajiki and spoken Persian is not significant, the script difference caused a culturalbreak between these two nations making many cultural resources (e.g., poems, stories, etc.) unavailable for the newer generations. An automatic and accurate transliterator model can again fill the gap between Persians and Tajiks and facilitate transfer learning between these two language variations. The efforts on Persian-Tajiki transliteration have primarily been rule-based and context-independent, causing many errors. Deep learning methods, particularly neural language models, revolutionized computational linguistics in the last decade by providing language understanding through contextualized representations. In this work, we create a Persian-Tajiki transliteration dataset for training and evaluation purposes. We also train an accurate neural sequence-to-sequence model transliterating between Tajiki-Persian and Persian-Tajiki.

کلیدواژه‌ها [English]

• Deep learning
• Encoder-decoder model
• Transliteration
• Tajiki Persian