מה התפקיד שלך יכלול?

פיתוח data pipeline בסביבת DATA LAKE מקצה לקצה

פיתוח סקריפטים ב python (בדגש על PySpark )

פיתוח ותחקור נתונים ב SQL

ביצוע בדיקות (unit/integration)

CI/CD

פיתוח תהליכים ב JENKINS

למי התפקיד יתאים?

לפחות שנת ניסיון בפיתוח ב – PySpark
לפחות 4 שנות ניסיון בפיתוח SQL (יתרון לעולמות ה DATA/BI )
ניסון בכתיבת SQL מורכבים
ידע בעבודה בשפת python בדגש ע ל ידע בספריות pyspark ו pandas
ידע בניתוח נתונים ותהליכי ETL/ELT
ניסיון עבודה בסביבת DATA LAKE ו DWH
ידע בתהליכי CI/CD
יכולת למידה עצמית גבוהה