פרטי משרה
• מיקום – לוד • היקף משרה – מלאה, (היברידי – יום עבודה 1 מהבית). תיאור המשרה דרוש Data engineer להשתלבות בעבודת הצוות ופרויקטים בתחום ה AI . אחריות לקליטה של כמויות גדולות של נתונים חדשים ולאחר מכן להבנה מעמיקה ובחינה של נתונים בשיתוף פעולה הדוק עם Data scientist. עיצוב ופיתוח של תהליכי דאטה קריטיים, מגוונים וגדולים – גם בסביבות ענן וגם ב on prem דרישות המשרה • ניסיון של לפחות 3 שנים כ Data engineer – חובה • ניסיון של 3 שנים עם Python – בדגש על עבודה עם קבצי json ועבודה מול בסיסי נתונים – חובה • ניסיון מעשי של שנתיים לפחות ב AWS עם services של Athena/Glue/StepFunction/EMR/Redshift/RDS – חובה • עבודה מול קבצי טקסט למטרות AI ו LLM– יתרון משמעותי • ניסיון מעשי עם Spark עבור Large scale data -יתרון משמעותי • עבודה מול שירותי REST API -יתרון משמעותי • הבנות של טכניקות של אופטימיזציה ועבודה עם partitions של סוגים שונים של דאטה כמו parquet, Avro, hdfs, delta lake • ניסיון בתפיסה ועבודה עם docker, Linux, CI/CD tools, Kubernetes • הכרות עם פתרונות GenAI / prompt engineering – ית
