שלושה דברים שאתם צריכים לדעת על כריית מידע ועל נתונים.

כיצד חברות נעזרות בכריית נתונים כדי לייעל תהליכים עסקיים?

כריית מידע עוסקת בכל היבט עסקי בין אם מדובר על היבטים שיווקיים המאפשרים להתאים את המסרים ללקוחות השונים ולהציע מגוון מוצרים או שירותים על סמך פרופיל אישי, ובין אם מדובר על איתור דפוסים נחבאים ואף איתור הונאות או אירועים חריגים כדי לתת מענה מהיר לבעיות או לפערים שצצים ולמזער נזקים. באמצעות כריית מידע (Data Mining) המשתמשים יכולים לחקור את הדאטה באופן אינטואיטיבי, מכל כיוון אפשרי, לאתר בעיות בקלות ולפתור אותן במהירות.

כיצד מבוצעת כריית נתונים בעולמות הביג דאטה?

תהליך כריית מידע נחלק לשלושה שלבים: איתור דפוסים עסקיים, סינון תוצאות חיפוש ויצירת וקטורים שישמשו כמאפיינים. תהליך איתור הדפוסים העסקיים יסייע ליצור תבניות בבסיסי הנתונים, סינון התוצאות כולל "ניקיון" בדאטה, בעיקר סינון של נתונים בהקשר לא מתאים או בתבנית לא תואמת, שיוצרים עומס על המערכת, ואילו פעולת יצירת הוקטורים תסייע לקבץ יחדיו קבוצות של נתונים, כדי שניתן יהיה לגשת אליהם באמצעות תהליך עיבוד מהיר.

מודלים סטטיסטיים כחלק מתהליך כריית נתונים.

יש להדגיש כי בתהליכי כריית מידע נהוג להיעזר במודלים סטטיסטיים שונים כמו "עצי החלטה", "סיווג בייס נאיבי", שיטת השכן הקרוב" ו"רשת עצבית מלאכותית" במטרה לנבא את תרחישי העתיד. כמו כן נהוג לבצע שימוש בניתוחי אשכולות כדי לסווג עצמים לקבוצות לדוגמה: קבוצת לקוחות, קבוצת מוצרים וכן הלאה. לא פעם יבוצעו ניתוחי רגרסיה באמצעות פונקציה לינארית כדי לצמצם שגיאות ניבוי וכן יבוצע שימוש בלמידת חוקי אסוציאציה לצורך מציאת הקשרים או מציאת חזרתיות או חוקיות מסוימת כחלק מתהליכי המכונה הלומדת. לדוגמה: פריטים שמנופקים יחד להזמנה של לקוח מסוים, פריטים שנרכשים יחד באותו סל קנייה וכן הלאה. גם במקרה זה חשוב להיזהר מהתאמת יתר ולהגביל את כמות המאפיינים במודל.

כיצד לבחור אלגוריתם לכריית נתונים?

בחירת המודל תלויה בסוג הבעיה שמתמודדים עמה, לדוגמה נהוג לבחור בעץ החלטה או במודל SGD כאשר ישנה בעיית סיווג שכוללת נתונים סטוכטיים או כאשר מעוניינים ליצור רצף של נתונים. כאשר מעוניינים לבצע חישובי ממוצעים נעזרים במודל "השכן הקרוב", וכאשר מנתחים נתוני טקסט נהוג להיעזר בסיווג ביסיאני נאיבי על פי חוק בייס. עצי החלטה יתאימו גם כאשר מעוניינים לקשר בין נתונים באמצעות צומת ליניארי ובאמצעות רשתות נוירונים. כאשר מעוניינים לאתר דפוסים עוקבים, חוקיות או תבנית בין שני עצמים שונים מומלץ לבחון אלגוריתמים שמאפשרים לבצע מחרוזות חיפוש כמו סטרינג ורבין קארפ.

חדשות אילת והערבה - יום יום באילת