الوصف

فرصة وظيفية: مهندس بيانات (PySpark)
الشركة: استشارات اللؤلؤة السوداء
الموقع: أبوظبي، الإمارات العربية المتحدة
نوع الوظيفة: دوام كامل
تاريخ النشر: 30/01/2026

وصف الوظيفة:

نبحث عن مهندس بيانات ذو خبرة في PySpark لتصميم وبناء وتحسين وصيانة خطوط بيانات قابلة للتوسع لبيئات الإنتاج. يتطلب هذا الدور خبرة عملية واسعة في معالجة البيانات الضخمة، وضبط الأداء، ونشر خطوط البيانات باستخدام أدوات وأطر هندسة البيانات الحديثة.

المسؤوليات الرئيسية:

• تصميم وتطوير وصيانة خطوط بيانات قوية وقابلة للتوسع باستخدام Python وPySpark.

• استيعاب البيانات، تحويلها، تنظيفها والتحقق من صحتها عبر مجموعات البيانات المهيكلة وغير المهيكلة.

• إجراء تحليل استكشافي للبيانات (EDA) للكشف عن الأنماط والشذوذات ومشكلات الجودة.

• تطبيق تقنيات استكمال البيانات وربط البيانات وتنظيفها لضمان جودة عالية.

• تنفيذ مسارات هندسة الميزات لدعم التحليلات وحالات الاستخدام المستقبلية.

• تحسين أداء وظائف Spark من حيث الأداء، قابلية التوسع، وكفاءة التكلفة.

• نشر وضبط خطوط نقل البيانات لضمان الاستقرار والأداء في الإنتاج.

• أتمتة سير العمل باستخدام Apache Airflow و/أو Jenkins.

• التعاون مع فرق متعددة الوظائف لدمج حلول البيانات في أنظمة الإنتاج.

• كتابة وصيانة اختبارات الوحدة لضمان جودة وموثوقية الكود.

• إدارة الشفرة المصدرية (Git/GitHub) وعمليات التكامل المستمر/التسليم المستمر.

المتطلبات الأساسية:

• إتقان Python.

• خبرة عملية واسعة في Apache Spark (PySpark).

• خبرة في استخدام Jupyter Notebooks.

• معرفة قوية بـ SQL وNoSQL.

• خبرة مثبتة في Git وGitHub وCI/CD.

• خبرة عملية في Apache Airflow و/أو Jenkins لأتمتة المهام.

• فهم أفضل ممارسات هندسة البيانات في بيئات الإنتاج.

• خبرة في ضبط وتحسين أداء Spark.

• القدرة على كتابة كود نظيف، قابل للاختبار والصيانة.

• الخبرة السابقة في بيئات الإنتاج شرط أساسي، بما في ذلك نشر وضبط وصيانة خطوط نقل البيانات.

المؤهلات المفضلة:

• خبرة في العمل مع بيانات ضخمة أو Big Data.

• مهارات قوية في حل المشكلات والتحليل.

• القدرة على العمل بشكل مستقل في بيئة سريعة الإيقاع.

لماذا تنضم للشركة؟

• حزمة رواتب تنافسية.

• فرصة للعمل على منصات بيانات على نطاق الإنتاج.

• التعرف على أحدث أدوات وممارسات هندسة البيانات.

• بيئة عمل ديناميكية وتعاونية في أبوظبي.