پاورپوینت ریشه یابی کلمات فارسی (⭐⭐⭐)
پاورپوینت ریشه یابی کلمات فارسی (⭐⭐⭐)
لینک دانلود و خرید پایین توضیحات
دسته بندی : پاورپوینت
نوع فایل : powerpoint (..ppt) ( قابل ویرایش و آماده پرینت )
تعداد اسلاید : ۲۱ اسلاید
قسمتی از متن powerpoint (..ppt) :
ریشه یابی کلمات فارسی
مقدمه
امروزه با گسترش کاربرد زبان در سیستم های رایانه ای، نیاز به پردازش متون در این سیستم ها، بیش از پیش احساس می شود.
ریشه یابی لغات نه به معنای زبان شناسی آن بلکه به معنای دسته بندی کلمات در گروه های معنایی یکسان، امری است که در بسیاری از زمینه های پردازش زبان طبیعی مدنظر می باشد.
فعالیت بر روی زبان فارسی به دلیل حجم کم تلاشها بر روی ریشه یابی کلمات فارسی، کامل بودن گرامر زبان فارسی و همچنین قابلیت بسط الگوریتم های به دست آمده به خانواده ی زبانهای هند و اروپایی به دلیل قرابت ساختاری آنها بسیار قابل توجه می باشد.
به جز مشکلاتی که در زمینه ی رسم الخط فارسی برای سامانه های رایانه ای وجود دارد (کوشا،۱۳۸۱)، مشکلات دیگری نیز در دل دستور زبان فارسی هست که ماهیتاً پردازش آن را برای یک نرم افزار پیچیده می کند.
انواع الگوریتم های ریشه یابی
الگوریتم های مبتنی بر دیکشنری : کاملترین الگوریتمهای ریشه یابی هستند. مشکلاتی نظیر :
قابلیت گسترش پایین ( no scalability )
ناتوانی در دسته بندی کلمات در گروه های معنایی همسان
درجه زمانی و مکانی بسیار بالا
الگوریتم های مبتنی بر قانون : این الگوریتمها، بر روی به دست آوردن ریشه ی کلمات از طریق تعدادی قوانین از پیش تعیین شده کار می کنند.
قوانین موجود ساختارهای زبانشناسی نیستند.
مشکلات روش قبل را ندارند.
از لحاظ مؤفقیت از درصد پایینی برخوردار هستند .
از این دسته الگوریتمها می توان به الگوریتمهای معروف Porter و Lovins و Krovetz … بر روی زبان انگلیسی و الگوریتم ریشه یابی کاظم تقوی و … بر روی زبان فارسی اشاره کرد.
بررسی الگوریتم PORTER :
در هر برنامه جداسازی پسوند در سیستم های IR دو مورد بایستی مد نظر باشد.
اول آنکه در سیستم های IR پسوندها به هدف افزایش کارائی سیستم حذف می شوند و نه به لحاظ عملیات زبانشناسی. این بدان معنی است که لزومی ندارد تا بفهمیم تحت چه شرایطی یک پسوند بایستی حذف گردد.
نکته دوم آن است که با استفاده از روشی که توضیح داده خواهد شد؛ یعنی با استفاده از لیست پسوندها با قوانین اِعمال متعدد، ضریب موفقیت در حذف پسوندها جدا از آنکه این پردازش چگونه ارزیابی شود، مطمئناً کمتر از ۱۰۰ درصد خواهد بود.
ریشه یاب پورتر ریشه یاب کاهش دهنده ادغامی برای زبان انگلیسی است که توسط مارتین پورتر در دانشگاه کمبریج در سال ۱۹۸۰ ارائه شد.
این ریشه یاب بصورت مرحله ای(۵ مرحله که در هر مرحله قوانین خاصی اِعمال می شود) و خطی می باشد که در ادامه به این مراحل اشاره می کنیم. در هر مرحله عملیات کاهش یا افزایش روی کلمات صورت می گیرد.
بررسی الگوریتم PORTER :
در زبان انگلیسی یک حرف بی صد ا (Consonant) در یک کلمه حرفی غیر از A,E,I,O,U و Y بعد از یک حرف صدادار است.(واقعیت آن است که تعریف حرف بی صدا بصورت بازگشتی در اینجا باعث مبهم شدن تعریف حرف بی صدا نمی شود). بنابراین در TOY حروف بی صدا T و Y هستند و در SYZYGY حروف بی صدا S و Z و G میباشند.
CVCV … C
CVCV … V
VCVC … C
VCVC … V
[C]VCVC … [V]
قوانین برای حذف پسوند در فرم زیر نمایش داده می شود:
(condition) S1-> S2 که به معنای آن است که اگر کلمه ای با پسوندِ S1 پایان بگیرد و ریشه ماقبل S1 شرطِ (condition) داده شده را ارضا کند، S1 با S2 جایگزین می شود.
*S : ریشه با حرفِ S پایان می گیرد(همچنین برای سایر حروف).
*v* : ریشه شامل حرف صدادار است.
*d : ریشه با دو حرف صدادار یکسان پایان می گیرد(مثل TT و SS و…).
*o : ریشه با cvc پایان می گیرد بطوریکه دومین c ،حروفِ W ، X یا Y نیست.(مثل -HOP,-WIL ).
