درطول دهه گذشته باپيشرفت روزافزون کاربرد پايگاه داده ها،حجم داده هاي ثبت شده به طور متوسط هر5سال 2برابرمي شود. دراين ميان سازمان هايي موفقند که بتوانند حداقل 7٪داده هايشان راتحليل کنند. تحقيقات انجام يافته نشان داده است که سازمانها کمترازيک درصد داده هايشان رابراي تحليل استفاده مي کنند.

به عبارت ديگردرحالي که غرق درداده ها هستند تشنه دانش مي باشند.

بنابراعلام دانشگاه MIT دانش نوين داده کاوي (Data mining) يکي ازده دانش درحال توسعه اي است که دهه آينده راباانقلاب تکنولوژي مواجه مي سازد.اين تکنولوژي امروزه داراي کاربرد بسياروسيعي درحوزه هاي مختلف است به گونه اي که امروزه حدومرزي براي کاربرد اين دانش درنظرنگرفته وزمينه هاي کاري اين دانش راازذرات کف اقيانوس ها تااعماق فضامي دانند.

امروزه بيشترين کاربرد داده کاوي دربانکها، مراکزصنعتي وکارخانجات بزرگ، مراکزدرماني وبيمارستانها ،مراکز تحقيقاتي ،بازاريابي هوشمند وبسياري ازمواردديگرمي باشد.

داده کاوي پل ارتباطي ميان علم وآمار،علم کامپيوتر، هوش مصنوعي ،الگو شناسي،فراگيري ماشين وبازنمايي بصري داده مي باشد.داده کاوي فرآيندي پيچيده جهت شناسايي الگوها ومدل هاي صحيح، جديد وبه صورت بالقوه مفيد، درحجم وسيعي ازداده مي باشد، به طريقي که اين الگوها ومدلها براي انسانها قابل درک باشد.داده کاوي به صورت يک محصول قابل خريداري نمي باشد،بلکه يک رشته علمي وفرآيندي است که بايستي به صورت يک پروژه پياده سازي شود.

کاوش داده ها به معني کنکاش داده هاي موجود درپايگاه داده وانجام تحليل هاي مختلف برروي آن به منظوراستخراج اطلاعات مي باشد.

فرايند داده کاوي

فرآيند داده کاوي شامل سه مرحله مي باشد:

1- کاوش اوليه

2- ساخت مدل ياشناسايي الگو باکمک احرازاعتبار/ تاييد

3- بهره برداري

مرحله 1: کاوش

معمولاً اين مرحله باآماده سازي داده ها صورت مي گيرد که ممکن است شامل پاک سازي داده ها، تبديل داده ها وانتخاب زيرمجموعه هايي ازرکوردها با حجم عظيمي ازمتغييرها( فيلدها) باشد.

سپس باتوجه به ماهيت مساله تحليلي، اين مرحله به مدل هاي پيش بيني ساده يا مدل هاي آماري وگرافيکي براي شناسايي متغييرهاي مورد نظروتعيين پيچيدگي مدل ها براي استفاده درمرحله بعدي نيازدارد.

مرحله 2: ساخت واحرازاعتبارمدل

اين مرحله به بررسي مدل هاي مختلف وگزينش بهترين مدل باتوجه به کارايي پيش بيني آن مي پردازد.شايد اين مرحله ساده به نظربرسد.اما اين طورنيست.تکنيک هاي متعددي براي رسيدن به اين هدف توسعه يافتند.و" ارزيابي رقابتي مدل ها" نام گرفتند. بدين منظورمدل هاي مختلف براي مجموعه داده هاي يکسان به کارمي روند تاکارايي شان باهم مقاسيه شود. سپس مدلي که بهترين کارايي راداشته باشد انتخاب مي شود. اين تکنيک ها عبارتندازStacking، Boosting،Bagging و Meta- Learning

مرحله 3: بهره برداري

آخرين مرحله مدلي راکه درمرحله قبل انتخاب شده است، درداده هاي جديد به کارمي گيرد تا پيش بيني هاي خروجي هاي موردانتظار راتوليدنمايد.داده کاوي به عنوان ابزارمديريت اطلاعات براي تصميم گيري، عموميت يافته است. اخيراً توسعه تکنيک هاي تحليلي جديد دراين زمينه مورد توجه قرارگرفته است.(مثلاً ClassificationTree) اما هنوزداده کاوي مبتني براصول آماري نظير(EDA: ExploratoryData Analysis)مي باشد.

بااين وجود تفاوت عمده اي بين داده کاوي وEDA وجود دارد. داده کاوي بيشتربه برنامه هاي کاربردي گرايش داردتا ماهيت اصلي پديده، به عبارتي داده کاوي کمترباشناسايي روابط بين متغييرها سروکاردارد.