چكيده :

دادهكاويعبارتاستازفرآيندخودكارکشفدانشواطلاعاتازپايگاههايداده اي.

اينفرآيندتكنيكهاييازهوشمصنوعيرابررويمقاديرزياديدادهاعمالمي كندتاروندها , الگوهاو روابطمخفيراكشفكند. ابزار هايدادهكاويبرايكشفدانشيااطلاعاتازدادههابهكاربراتكا نمي كنند،بلكهفرآيندپيشگوييواقعيتهاراخودكارمي سازند. اينتكنولوژينوظهور،اخيرًابهطورفزايندهايدرتحليلهامورداستفادهقرارميگيرد.

كلمات كليدي :

Data mining, Predictive data mining, Exploration data analysis,

Data warehousing, Olap, neural network, Deployment , machine

Learning, Meta-learning, Bagging , Boosting , clustering , Eda

Drill-down analysis, Stacket generalization , classification

مقدمه :

امروزه با حجم عظيمي از داده ها روبرو هستيم. براي استفاده از آنها به ابزارهاي كشف دانش نياز داريم. داده كاوي به عنوان يك توانايي پيشرفته در تحليل داده و كشف دانش مورد استفاده قرار مي گيرد. داده كاوي در علوم (ستاره شناسي،...)‌در تجارت (تبليغات، مديريت ارتباط با مشتري،...) در وب (موتورهاي جستجو،...) در مسايل دولتي (فعاليتهاي ضد تروريستي،...) كاربرد دارد. عبارت داده كاوي شباهت به استخراج زغال سنگ و طلا دارد. داده كاوي نيز اطلاعات را كه در انبارهاي داده مدفون شده است، استخراج مي كند.

در واقع هـــــدف از داده كاوي ايجاد مدل هايي براي تصميم گيري است. اين مدلها رفتارهاي آينده را براساس تحليلهاي گذشته پيش بيني مي كنند. به كاربردن داده كاوي به عنوان اهرمي براي آماده سازي داده ها و تكميل قابليتهاي انباره داده ، بهترين موقعيت را براي به دست آوردن برتريهاي رقابتي ايجاد مي كند.

داده كاوي (Data mining) :

داده كاوي (Data mining) يك فرايند تحليلي است كه جهت كاوش داده ها (معمولاً حجم بالاي داده ها و يا داده هاي تجاري و مربوط به بازار) و جستجوي الگوهاي پايدار يا روابط سيستماتيك مابين متغيرها بكار ميرود وسپس با اعمال الكو هاي شناسايي شده به زير مجمو عه هاي جديد صحت داده هاي بدست آمده بررسي ميگردد. هدف نهايي داده كاوي پيشگويي است.

سازمانهامعموًلاروزانهمقدارزياديدادهرادرانجامعملياتتجاريخودتوليدوجمعآوريميكنند.

امروزهبراياينپايگاههايدادهشركتيعجيبنيستكهمقداردادههايآندرحدترابايتباشد.بااينحالعليرغمثروتاطلاعاتيعظيمذخيرهشدهحدسزدهميشودكهفقط٪٧كلداده هاييكهجمعآوريمي شودمورداستفادهقرارميگيرد. بدينترتيبمقدارقابلتوجهيدادهكهبدونشكحاوياطلاعات ارزشمندسازمانياستتاحدزياديدستنخوردهباقيميماند. درمحيطتجاريعصراطلاعات،كههرروز رقابتي ترمي شود مي توانبااستخراجاطلاعاتازداده هاياستفادهنشدهبهتصميمگيري هاياستراتژيكدست يافت. درطولتاريختحليلدادههاازطريقرگرسيونوديگرتكنيكهايآماريانجامشدهاست. براي استفادهازاينتكنيكها،لازماستكهتحليلگرمدليخلقكندوفرآيندگردآوريدانشراسازماندهد.

اماامروزهاينروشهابهتنهاييكافينيستندوبايدازروشهايخودكاراستفادهكرد.

دادهكاويعبارتاستازفرآيندخودكارکشفدانشواطلاعاتازپايگاههايداده اي.

اينفرآيندتكنيكهاييازهوشمصنوعيرابررويمقاديرزياديدادهاعمالمي كندتاروندها،الگوهاو روابطمخفيراكشفكند. ابزار هايدادهكاويبرايكشفدانشيااطلاعاتازدادههابهكاربراتكا نمي كنند،بلكهفرآيندپيشگوييواقعيتهاراخودكارمي سازند. اينتكنولوژينوظهور،اخيرًابهطور

فرايندهايدرتحليلهامورداستفادهقرارميگيرد

داده كاوي پيشگويانه رايج ترين نوع داده كاوي است و با برنامه هاي كاربردي تجاري در ارتباط مستقيم است . فرايند داده كاوي از سه مرحله تشكيل شده است.

ا- كاوش اوليه (initial exploration )

2-ساختن مدل يا شناسايي الگو بوسيلة سنجيدن اعتبار وصحت داده ها

3-گسترش

1- مرحله كاوش(Exploration) :

اين مرحله معمولاً با آماده سازي داده ها آغاز مي شود كه تشكيل شده است از پاكسازي داده ها (cleaning data) ،تغير شكل داده ها، انتخاب زير مجموعه اي از ركورد ها (در زماني كه مجموعه اي از داده ها با حجم بالايي از فيلد ها موجود است) و انجام دادن برخي عمليات اوليه جهت قرار دادن متغير ها در يك بازة قابل مديريت،كه بستگي به روش آماري اي كه مورد نظراست دارد و پس ازآن به طبيعت مسئله تحت بررسي مربوط مي شود.

مرحلهُ اول فرآيند داده كاوي مي تواند در هر جايي از گسترة ، انتحاب يك روش مستقيم پيشگويي تا يك روش تجزيه و تحليل با جزئيات وزحمت بالا قرار داشته باشد .(جهت كسب اطلاعات وسيع تر به قسمت EDA مراجعه كنيد).

اين مدل جهت شناسايي متغيير هايي كه بيشتر از همه با موضوع مرتبط هستند و جهت مشخص كردن پيچيدگي و طبيعت كلي مسئله در مراحل بعدي مورد استفاده قرار ميگيرد .

مرحله 2- ساختن مدل و معتبر سازي (model building and validation):

اين مرحله در گير در نظر گرفتن مدل هاي مختلف،و انتخاب بهترين آنها بر اساس كارايي در پيشگويي ، مي باشد.(براي مثال تعييرات سوُالات را تشريح كندونتايج ثابتي در مقابل نمونه ها توليد كند.) شايد اين به نظر عمليات ساده اي بيايد. ولي در واقع بعضي از مواقع در گير يكسري فرآيند هاي پيچيده مي شود.روشهاي مختلفي جهت رسيدن به اين هدف وجود دارد كه آنها را روشهاي ارزيابي رقابتي مدل ها (competitive evaluation of models ) مي نامند كه مدلهاي مختلفي را بر روي يك دادهُ ثابت اعمال مي كند و سپس كارايي آنها بررسي مي شود تا بهترين آنها انتخاب گردد. اين روش ها كه در خيلي از مواقع به عنوان هستهُ داده كاوي پيشگويانه تلقي مي گردند و شامل طبقه بندي كردن(bagging،)، ترقي دادن (boosting ) ،انباشتن (stacking )و يادگيري غير نمادين(meta learning )ميباشند.

مرحلة3- مرحلهُ گسترش Deployment):( :

در آخرين مرحله مدلي كه به عنواي بهترين مدل در مرحلة قبلي انتخاب شده بود بر روي داده هاي جديد به منظور توليد پيشگويي يا بر آورد خروجي مورد انتظار اعمال ميگردد.

شهرت داده كاوي به طور روز افزوني به عنوان يك ا بزار مديريت تجاري داده ها شهرت يافته است و انتظار مي رود بتواند ساختار هاي دانشي را نمايان سازد كه در شرايط عدم قطعيت تصميمات گرفته شده را هدايت كند.

روشهاي تحليلي جديد خصوصاً جهت نشان دادن مسائل مرتبط با داده كاوي تجاري ،اخيراًبسيار مورد توجه بوده اند (به عنوان مثال درخت هاي رده بندي) ، با اين حال داده كاوي هنوز مبتني بر قواعد مفهومي روشهاي دستيابي قديمي نظير آناليز اكتشافي داده ها (EDA) و مدلساري ميباشد. وقسمت هايي از دست آورد هاي عمومي و بعضي از تكنيك هاي خاص خود را با آنها به اشتراك مي گذارد.

بهرحال تفاوت زيادي در نفطه نظرات و اهداف داده كاوي و روش آناليز اكتشافي داده ها (EDA) وجود دارد . داده كاوي بيشتر متمايل به كاربردها است تا طبيعت اصلي پديدة مورد بررسي.به عبارت ديگر داده كاوي كمتر به شناسايي روابط خاص موجود بين متغيرها مي پردازد.براي مثال آشكار كردن توابع و انواع داده اي خاصي كه بر روابط تعاملي و چند متغيري كه بين متغيرها وجود دارد هدف اصلي داده كاوي نمي باشد. در عوض توجه خود را به ايجاد روشي كه بتواند پيشگويي قابل استفاده اي توليد كند معطوف مي سازد. و به همين دليل است كه داده كاوي از بين دست آوردهاي جعبه سياه(black box ) در كاوش داده ها يا اكتشاف دانش مقبوليت بيشتري دارد. و نه تنها از روش هاي سنتي آناليز اكتشافي داده ها (exploratory data analysis (استفاده مي كند بلكه از روشهايي مانند شبكه هاي عصبي ( Neural network ) كه مي تواند پيشگويي هاي معتبري توليد كند ولي قادر به شناسايي طبيعت خاص روابط داخلي بين متغيرهايي كه پيشگويي ها بر اساس آنها صورت گرفته است نميباشد سود مي جويد.

مفاهيم تعيين كننده در داده كاوي:

1-هم پيوندي (Bagging) :

همپيونديقابليتيبراييافتنروابطناشناختهموجوددراطلاعاتاست. اينروابطموارديازقبيلاينكه

حضورمجموعهايازمقولاتاشارهبهايندارندكهمجموعهمقولاتديگرينيزاحتمالاوجوددارندرا

شاملميشود. اينقابليتاساسًاروشياستبراياينكهكشفكنيمچهمقولاتيبههممي خورند. از آنباعنوانتحليلسبدبازارياگروهبنديخويشاوندي نيزيادميشود.

برايمثال،گزارشهايهمپيونديچنينشكليدارند:"٪٨٠مشتريانيكه كالاي A راخريدارينمودهاند، كالاي Bرانيزخريدهاند." درصدخاصوقوعوقايع) مثلا٪٨٠ايننمونه ( رافاكتوراطمينانهمپيونديB وA مي نامند. همچنينممكناستهمپيونديهايچندگانهوجودداشتهباشد: "٪٧٥مشتريانيكهكالاي D راخريدارينمودهاند،كالاي Cرانيزخريدهاند."

كاربردهايهمپيونديعبارتندازبرنامهريزيموجودي،برنامهريزيتبليغاتيبرايفروشومراسلات بازاريابيمستقيم.

مفهوم Bagging (راُي دادن به رده بندي و بدست آوردن متوسط مسائلي كه داراي متغير هايي با مقادير متوسط وابسته ميباشند)و در گسترة داده كاوي اعمال مي گردد تا طبقه بندي هاي پيشگويانه را از مدل هاي چندگانه يا از يك نوع مدل ، براي درك اطلاعات تركيب كند . و همچنين جهت نشان دادن بي ثبا تي ماندگار نتايج در زماني كه مدل هاي پيچيده به مجموعه هاي كوچك داده ها اعمال مي شوند به كار مي رود. فرض كنيد كه عمل داده كاوي شما مي خواهد يك مدل جهت طبقه بندي پيشگويا نه بسازد و مجموعة داده هاي آن نسبتاً كوچك است . شما مي توانيد به صورت متوالي مجموعه داده ها را به نمونه هاي كوجكتر تقسيم كنيد و اعمال كنيد همانند رده بندي درختي تا به نمونه مورد نظر برسيد.در عمل درخت هاي متفاوتي براي نمونه هاي منقاوت بسط داده ميشوند.يكي از روش هاي استنتاج يك پيشگويي استفاده از قالب درختي در نمونه هاي مختلف است و پس از آن برخي نظريات بر روي آن اعمال مي گردد.

طبقه بندي نهايي طبقه بندي است كه عموماً توسط درخت هاي متفاوت پيشگويي مي شود. توجه داشته باشيد كه برخي از تركيب هاي وزن دار از پيشگويي ها نيز محتمل است و عموماً مورد استفاده قرار مي گيرد. يك الگوريتم پيشرفته جهت ايجاد وزن براي پيشگويي هاي وزن دار يا voting رويه هاي Boosting هستند.