מה התפקיד שלך יכלול?
דרוש/ה Data Engineer להשתלבות בצוות פיתוח נתונים ובפרויקטים בתחום ה־AI.
התפקיד כולל קליטה ועיבוד של כמויות נתונים גדולות, חקירת הנתונים בשיתוף פעולה עם Data Scientists, ותכנון ופיתוח של תהליכי דאטה מורכבים בסביבות ענן ו־On-Premises. העבודה כוללת פיתוח תהליכי ETL ותשתיות תומכות, ועבודה מול צוותי פיתוח, צוותי ייצור ומשתמשים.
למי התפקיד יתאים?
– לפחות 3 שנות ניסיון כ־Data Engineer – חובה.
– לפחות 3 שנות ניסיון ב־Python ובתכנות מונחה עצמים (OOP) – חובה.
– ניסיון משמעותי בכתיבת קוד Python לפיתוח תהליכי ETL מורכבים, לרבות תשתיות ותבניות גנריות, בקרות וניהול תהליכים.
– ניסיון מעשי ב־Spark לעיבוד נתונים בהיקפים גדולים – חובה.
– ניסיון בעבודה בסביבת AWS – חובה. ניסיון בשירותים כגון Glue, Step Functions, Lambda, SQS ו־SNS; ניסיון של שנתיים לפחות במגוון שירותי AWS – יתרון משמעותי.
– הבנה מעמיקה בתכנון, פיתוח ואופטימיזציה של פתרונות לעיבוד ולהעברה של כמויות נתונים גדולות.
– היכרות עם טכניקות אופטימיזציה, חלוקת נתונים ל־Partitions ופורמטים כגון Parquet, Avro, HDF5 ו־Delta Lake.
– ניסיון בעבודה עם Docker, Linux, כלי CI/CD ו־Kubernetes, ועם כלי Data Pipelines כגון Airflow או Kubeflow.
– הבנה במושגים ובתהליכים בתחום ה־Machine Learning.
– תואר במדעי המחשב, הנדסה, מתמטיקה או סטטיסטיקה – חובה.
– יוזמה, עצמאות, יכולת למידה עצמית, חשיבה אנליטית ויכולת עבודה בצוות.