البيانات الضخمة ليس عصا سحرية لتحسين تجارتك، تطوير شركتك أو تحويل فشلك الى نجاح. هي موارد يمكن توظيفها والتعامل معها بإحترافية للحصول على نتائج إيجابية مذهلة قد تساعدك على فهم المستقبل وإدارة أعمالك بشكل أبداعي.
لكن، عندما نتعامل مع البيانات الضخمة فأننا نواجه عدد من التحديات والمعوقات ولعل جودة البيانات (quality of data) واحدة من أهمها. فالبيانات الرديئه حتى وأن أستخدمت معها أفضل أساليب التحليل قد تؤدي إلى نتائج عكسية. فكم هو مخيف أن تُجمع بيانات خاطئة عن موضوع معين، ويزداد هذا الخوف عندما تبنى القرارات المصيرية على نتائج تحليل مثل هذه البيانات.
″ البيانات الرديئة تكلف الولايات المتحدة 3 تريليون دولار في السنة.“
harvard business review, 2016
في عصر التقنية المتسارع، أصبح لدينا كميات هائلة من البيانات الضخمة والتي تأتي من عدة مصادر مثل مواقع الخدمات الإلكترونية، مواقع التواصل الإجتماعي، التلفزيونات الذكية، إجهزة الإستشعار وغيرها.
وهذا يعني أن التحدي الحقيقي هو كيفية استخلاص البيانان المفيدة من كل هذه الضوضاء. حيث يمكن معالجتها للحصول على معلومات ذات قيمة. هناك عدة خصائص تؤثر في جودة البيانات، من أهمها:
- التجانس (Consistency): يجب أن يكون هناك علاقات منطقية بين البيانات المترابطة وأن لايكون هناك إزدواجية او تناقضات.
- الدقة (Accuracy): البيانات يجب أن تكون دقيقة وتعكس الواقع الحقيقي للأمور والأشياء.
- الإكتمال (Completeness): يجب ان تحوي البيانات جميع العناصر المؤثرة في المشكلة المراد دراستها.
- القدرة على تدقيقها (Auditability): يجب تنظيم البيانات بشكل مناسب بحيث يمكن فحص جودتها بشكل دوري أو عند الحاجة.
- الترتيب (Orderliness): يجب ترتيب البيانات بشكل معين يراعي صيغة (format) وهيكل (structure) البيانات.
”أن البيانات ذات الجودة الضعيفة هي السبب في فشل ما يصل إلى 50٪ من أنظمة إدارة علاقات العملاء.“
Gartner, 2004
على كل حال هناك بعض الاساليب والخطوات التي قد تساعد على تحسين جودة البيانات الضخمة وتقليل المخاطر المتعلقة بالبيانات الرديئة وهي:
- تنميط البيانات (Data Profiling): نحتاج للتحقق من صحة البيانات.
- تطبيع البيانات (Data Normalization): البيانات قد تأتي من مصادر مختلفة وقد تحوي نماذج لغويه مختلفة لذلك فإن تطبيع البيانات مهم.
- إدارة البيانات الوصفية (Metadata Management): هذا يساعد في توحيد المعايير المتعلقة بالبيانات داخل المؤسسة او الشركة.
- جدار حماية جودة البيانات (Data Quality Firewall): البيانات لها دور مهم ومحوري في رسم أستراتيجية الشركة او المؤسسة وهي تساوي قيمة مالية ضخمة. لذا، يهدف جدار حماية جودة البيانات الى أبقاء البيانات خالية من الأخطاء وكذلك تجنب التكرار.
* المصادر:
- موقع Science soft
- موقع Allerin
- موقع harvard business review