Data Engineer

ما در تیم پلتفرم داده به دنبال جذب سرمایه انسانی با استعداد برای بهبود و گسترش زیرساخت داده‌ای کارگزاری مفید هستیم. شما به عنوان یک مهندس داده از طریق تعامل با تیم‌های تحلیل، ایجاد راه حل‌های داده محور و تصمیم گیری‌های مبتنی بر داده در بخش‌های مختلف، سازمان را پشتیبانی خواهید کرد.
شرح وظایف و مسئولیت‌ها:
شناخت منابع داده متنوع در داخل و خارج از سازمان
بررسی منابع داده جدید و همکاری با تیم های مختلف سازمان، به منظور طراحی پایپ لاین های داده جدید برای توسعه Data Warehouse
نگهداری، بهبود عملکرد و بهینه سازی ETLهای توسعه داده شده
پاسخ به نیازهای داده‌ای و عملیاتی تیم‌های تحلیل
توسعه محصولات داده محور
مستندسازی پایپ ‌لاین‌های داده
نگهداری، ایجاد و توسعه زیرساخت های نرم افزاری پلتفرم داده
تسلط بر SQL و آشنایی با دیتابیس‌های رابطه ای به خصوص MSSQL
فهم مفاهیم مهندسی داده و روش‌های مدل‌سازی Data Warehouse، به ویژه Star Schema
تجربه کار با Git و زبان برنامه‌نویسی Python با رعایت اصول کدنویسی تمیز
تجربه توسعه پایپ لاین‌های داده و به کار گیری Airflow
آشنایی با دیتابیس های ستونی به خصوص ClickHouse
تجربه کار با REST API
دارا بودن ویژگی‌های زیر مزیت محسوب خواهد شد:
آشنایی با دیتابیس های NoSQL به خصوص MongoDB
تجربه نگهداری و کار با Kafka و Debezium
فهم مفاهیم Containers & Orchestrations (Docker, Kubernetes) 
آشنایی با مفاهیم آزمون نرم‌‌ افزار
آشنایی با مفاهیم فرآیندهای یکپارچه‌سازی و انتشار مداوم (CI/CD)
تجربه کار با Spark