| متن کاوی و ارزیابی مهمترین متد های متن کاوی
در این مقاله ما به بررسی یکی از جدیدترین زمینههای مورد تحقیق در داده کاوی، متن کاوی می پردازیم در این مقاله روش های موجود برای پیش پردازش کردن، رده بندی ، استخراج اطلاعات ، روش های یافتن روابط شرح داده می شوند در پایان هر بخش ارزیابی و مقایسه ای روی روش های بیان شده در آن بخش صورات میگیرد و در پایان تعدادی از کاربردهای متن کاوی بیان می گردند
|
 |
| دسته بندی | مهندسی نرم افزار |
| فرمت فایل | doc |
| حجم فایل | 404 کیلو بایت |
| تعداد صفحات فایل | 33 |
متن کاوی و ارزیابی مهمترین متد های متن کاوی
چکیده
رشد فزاینده پایگاه داده ها در تقریبا هر ناحیه از فعالیت انسان باعث شده است که نیاز برای ابزارهای قدرتمند جدید برای تغییر دادن داده به دانش مفید افزایش یابد. برای برآوردن این نیاز محققان در ناحیه های مختلف مانند یادگیری ماشین ، شناسایی الگو، آنالیز داده آماری، بصری سازی داده ، شبکه های عصبی، اقتصاد سنجی، بازیابی اطلاعات، استخراج اطلاعات و..... روش ها و ایده هایی را کاوش کرده اند. ذات غیرساخت یافته ی این متون، اعمال همان روشهایی را که ما در مورد پایگاه داده های غیرمتنی بکار می بریم، غیر ممکن می سازد. بنابراین روش ها و الگوریتم-های پردازش (پیش پردازش)خاصی برای استخراج الگوهای مفید موردنیاز است. متن کاوی اطلاعات متنی غیرساختیافته را استفاده می کند و آنرا برای کشف ساختار و معناهای ضمنی پنهان در متن بررسی می کند.
در این مقاله ما به بررسی یکی از جدیدترین زمینه-های مورد تحقیق در داده کاوی، متن کاوی می پردازیم. در این مقاله روش های موجود برای پیش پردازش کردن، رده بندی ، استخراج اطلاعات ، روش های یافتن روابط شرح داده می شوند در پایان هر بخش ارزیابی و مقایسه ای روی روش های بیان شده در آن بخش صورات می-گیرد و در پایان تعدادی از کاربردهای متن کاوی بیان می گردند.
کلمات کلیدی:
متن کاوی
داده کاوی
استخراج اطلاعات
یکپارچه کردن داده کاوی
دسته بندی و مرتب سازی داده ها
مقدمه
بخش قابل توجهی از اطلاعات قابل دسترس در پایگاه داده های متنی (یا پایگاه داده های سند ) كه شامل مجموعه بزرگی از اسناد منابع مختلف (مثلا مقالات خبری، paperها، كتاب ها، ایمیل ها و صفحات وب) ذخیره شده اند. پایگاه داده های متنی به علت افزایش مقدار اطلاعات موجود به فرم الكترونیكی سریع رشد می كنند. امروزه بیشتر اطلاعات در صنعت، کسب و کار و سازمان های دیگر به صورت الكترونیكی و به فرم پایگاه داده متنی ذخیره شده اند. داده های ذخیره شده در بیشتر پایگاه داده های متنی، داده های نیمه ساختاریافته هستند چون نه به طور كامل غیرساختیافته هستند و نه به طور كامل ساختیافته هستند.
برا ی مثال یك سند شامل تعدادی فیلد ساختیافته مانند عنوان، نویسندگان، تاریخ انتشار، رده و ..... و از طرف دیگر شامل برخی كامپوننت های متنی غیرساختاریافته مانند چكیده و محتویات است. تكنیك های بازیابی اطلاعات مانند (متدهای ایندکس کردن متن ) برای هندل كردن سندهای غیر ساختاریافته ایجاد شده اند. تكنیك های بازیابی اطلاعات قدیمی برای مقدار زیادی داده متنی كه به طور فزاینده افزایش می یابند، ناكارآمد هستند. بدون دانستن محتویات سندها، فرمول بندی كردن Queryهای مناسب برای آنالیز كردن و استخراج كردن اطلاعات مفید از داده، مشكل است.
كاربرها نیاز به ابزارهایی برای مقایسه سندهای مختلف، مرتب كردن سندها بر اساس موبوط بودن آن ها و یافتن الگوها دارند. بنابراین یکی از جدیدترین زمینه های مورد تحقیق در داده کاوی، متن کاوی برای این منظور گسترش یافت. متن کاوی یعنی جستجوی الگوها در متن غیرساختیافته. متن کاوی برای کشف اتوماتیک دانش مورد علاقه یا مفید از متن نیمه ساختیافته استفاده می شود. چندین تکنیک برای متن کاوی پیشنهاد شده است عبارتند از ساختار مفهومی ،کاوش association ruleها درخت تصمیم گیری، روش های استنتاج قوانین ، همچنین تکنیک های بازیابی اطلاعات برای کارهایی مانند تطبیق دادن سندها، مرتب کردن کردن، کلاسترینگ و.....
فهرست مطالب
چکیده 3
1 مقدمه3
1.1 کشف دانش و ارتباط آن متن کاوی5
2.1 تعاریف متن کاوی5
3.1 ناحیه های سرچ مرتبط6
2 روش ها پیش پردازش کردن متون7
1.2 مدل فضای برداری9
2.2 پیش پردازش زبان شناختی10
3 روش های متن کاوی ...10
1.3 فازهای اصلی فرآیند کتن کاوی...11
2.3 رده بندی ...12
1.2.3 انتخاب ترم ایندکس12
2.2.3 رده کننده Naïve Bayes12
3.2.3 رده بندی کننده نزدیکترین همسایه13
4.2.3 درخت تصمیم گیری14
5.2.3 متدهای هسته و SVM14
6.2.3 ارزیابی رده بندی کننده ها15
3.3 استخراج اطلاعات16
1.3.3 رده بندی برای استخراج اطلاعات16
2.3.3 مدل مارکوف پنهان17
3.3.3 فیلدهای رندم شرطی17
4.3.3 مقایسه روش های استخراج اطلاعات18
2.2 پیش پردازش زبان شناختی18
4.3 روش ها ترکیبی18
1.4.3 روش های dicsotex18
1.1.4.3 مقدمه19
2.1.4.3 یکپارچه کردن داده کاوی و استخراج اطلاعات19
3.1.4.3 سیستم dicsotex19
2.4.3روش textminer21
1.2.4.3 مقدمه21
2.2.4.3 استخراج اطلاعات22
3.2.4.3 الگوریتم خوشه بندی23
3.4.3 یافتن روابط25
4.4.3 مقایسه روش های ترکیبی26
4 کاربردهای متن کاوی26
5 نتیجه گیری و کارهای آینده27
6 مراجع28
دانلود فایل