Data Engineer / Databricks Mütəxəssisi

İş haqqında

Databricks platforması üzərində data pipeline-ların (ETL/ELT) layihələndirilməsi, qurulması və dəstəklənməsiMüxtəlif mənbələrdən (verilənlər bazaları, API-lər, fayllar) məlumatların toplanması, təmizlənməsi və transformasiyasıApache Spark (PySpark / Spark SQL) ilə böyük həcmli məlumatların emalı və performansın optimallaşdırılmasıDelta Lake əsasında data lake / lakehouse arxitekturasının qurulması və idarə olunmasıMəlumatın keyfiyyətinin, tamlığının və təhlükəsizliyinin təmin edilməsiData analitiklər, data scientist-lər və biznes komandaları ilə əməkdaşlıq, onlarınməlumat tələblərinin qarşılanmasıPipeline-ların monitorinqi, problemlərin aşkarlanması və aradan qaldırılmasıTexniki sənədləşmənin aparılması Əsas vəzifələr Databricks platforması üzərində data pipeline-ların (ETL/ELT) layihələndirilməsi, qurulması və dəstəklənməsi Müxtəlif mənbələrdən (verilənlər bazaları, API-lər, fayllar) məlumatların toplanması, təmizlənməsi və transformasiyası Apache Spark (PySpark / Spark SQL) ilə böyük həcmli məlumatların emalı və performansın optimallaşdırılması Delta Lake əsasında data lake / lakehouse arxitekturasının qurulması və idarə olunması Məlumatın keyfiyyətinin, tamlığının və təhlükəsizliyinin təmin edilməsi Data analitiklər, data scientist-lər və biznes komandaları ilə əməkdaşlıq, onların məlumat tələblərinin qarşılanması Pipeline-ların monitorinqi, problemlərin aşkarlanması və aradan qaldırılması Texniki sənədləşmənin aparılması Tələblər Data engineering sahəsində minimum 3 il iş təcrübəsi Databricks və Apache Spark (PySpark, Spark SQL) üzrə praktiki təcrübə Python və SQL biliklərinin yüksək səviyyədə olması ETL/ELT proseslərinin, data warehouse və data lake konsepsiyalarının dərindən bilinməsi Delta Lake və data modelləşdirmə (star/snowflake schema) biliyi Ən azı bir bulud platforması ilə təcrübə (Azure, AWS və ya GCP) Git və CI/CD alətləri ilə iş bacarığı İngilis dili biliyi yüksək səviyyədə (yazılı və şifahi, texniki sənədləşmə və kommunikasiya üçün) Analitik düşüncə, məsuliyyətlilik və komanda ilə işləmək bacarığı Orkestrasiya alətləri (Airflow, Azure Data Factory, Databricks Workflows) Streaming texnologiyaları (Kafka, Spark Structured Streaming) Databricks sertifikatları (Data Engineer Associate / Professional) Docker, Terraform və ya digər DevOps təcrübəsi BI alətləri (Power BI, Tableau) ilə tanışlıq Unity Catalog və data governance təcrübəsi 2000AZN (Net) Rəsmi əmək müqaviləsi Şirkət tərəfindən nahar və digər xərclər Peşəkar inkişaf, təlim və sertifikasiya dəstəyi Müasir texnologiyalarla işləmək və böyük layihələrdə iştirak imkanı Peşəkar komanda mühiti