مهندس داده | Data Engineer

توضیحات شغلی:
ما به دنبال یک مهندس داده بسیار ماهر با تجربه در ساخت و مدیریت سیستم های داده ، مسئول طراحی و نگهداری خطوط لوله داده مقیاس پذیر ، امکان مصرف داده های کارآمد ، ذخیره سازی و پردازش در سیستم عامل های مختلف هستیم ، ضمن اینکه داده ها نیز بهینه می شود برای بارهای تحلیلی.
مسئولیت های کلیدی:
• طراحی و توسعه خطوط لوله داده: خطوط لوله ETL/ELT مقیاس پذیر را ایجاد و مدیریت کنید ، اطمینان حاصل کنید که جریان داده های کارآمد به سرور SQL ، Clickhouse و Minio.
• دریاچه و انبار داده ها مدیریت: معمار و حفظ راه حل های ذخیره سازی داده ها با استفاده از Minio برای ذخیره شیء و کلیک خانه برای نمایش داده های تحلیلی ، اطمینان از عملکرد بهینه برای مجموعه داده های در مقیاس بزرگ. Apache Flink و SQL Server.
• سیستم های OLAP: سیستم های OLAP را با استفاده از Clickhouse و SQL Server برای پشتیبانی از نمایش داده های تحلیلی با کارایی بالا توسعه و مدیریت می کنند. یکپارچگی ، و حاکمیت.
• همکاری: شریک با دانشمندان داده ، تحلیلگران و ذینفعان برای اطمینان از اینکه زیرساخت داده ها نیازهای تحلیلی بحرانی را برآورده می کند. گردش کار ، اطمینان از قابلیت اطمینان و مقیاس پذیری خطوط لوله داده. O 2+ سال تجربه در مهندسی داده ها. مهارت های برنامه نویسی برای پردازش و اتوماسیون داده ها. تنظیم.
o تجربه با توسعه ETL/ELT با استفاده از ابزارهای پایتون و ارکستراسیون مانند Apache Airflow.
o آشنایی با خطوط لوله CI/CD و کنترل نسخه برای مدیریت پروژه های مهندسی داده. چارچوب هایی برای مصرف داده ها و تحول. به طور مؤثر در یک محیط مشترک کار کنید. در مدیریت بانک اطلاعاتی (DBA).
• آشنایی یا تجربه با AI و ML.
مزایا:
• حقوق رقابتی با پاداش های مبتنی بر عملکرد. فرصت های توسعه حرفه ای و رشد شغلی.
• محیط کار انعطاف پذیر.

---

Job Description:
We are looking for a highly skilled Data Engineer with experience in building and managing data systems, responsible for designing and maintaining scalable data pipelines, enabling efficient data ingestion, storage, and processing across various platforms, while also optimizing data for analytical workloads.
Key Responsibilities:
• Design and develop data pipelines: Create and manage scalable ETL/ELT pipelines, ensuring efficient data flow into SQL Server, ClickHouse, and MinIO.
• Data lake and warehouse management: Architect and maintain data storage solutions using MinIO for object storage and ClickHouse for analytical queries, ensuring optimal performance for large-scale datasets.
• Big data processing: Implement and optimize real-time and batch data processing workflows using Kafka, Apache Flink, and SQL Server.
• OLAP systems: Develop and manage OLAP systems using ClickHouse and SQL Server to support high-performance analytical queries.
• Data governance and security: Implement and enforce best practices for data security, integrity, and governance.
• Collaboration: Partner with data scientists, analysts, and stakeholders to ensure that data infrastructure meets the needs of business-critical analytics.
• Automation and orchestration: Use Apache Airflow to orchestrate and automate data workflows, ensuring the reliability and scalability of data pipelines.
Qualifications:
• Education:
o Bachelor’s or Master’s degree in Computer Science, Engineering, or a related field.
• Experience:
o 2+ years of experience in data engineering.
o Experience in building and managing OLAP systems for large-scale analytical workloads.
o Experience in working with both SQL and NoSQL databases.
o Advanced Python and SQL programming skills for data processing and automation.
• Skills:
o Expertise in designing and maintaining data lakes and warehouses, particularly with SQL Server, ClickHouse, and MinIO.
o Strong understanding of OLAP system optimization and performance tuning.
o Experience with ETL/ELT development using Python and orchestration tools like Apache Airflow.
o Familiarity with CI/CD pipelines and version control for managing data engineering projects.
o Solid understanding of stream data processing frameworks for data ingestion and transformation.
o Familiarity with data governance, security, and compliance best practices.
o Experience with Docker for containerization and Kubernetes for orchestration.
o Strong problem-solving skills and the ability to work effectively in a collaborative environment.
Preferred Qualifications:
• Experience with distributed storage systems and large-scale data infrastructure.
• Certifications in SQL Server, Kafka, or other relevant technologies.
• Experience in database administration (DBA).
• Familiarity or experience with AI and ML.
Benefits:
• Competitive salary with performance-based bonuses.
• Comprehensive health and wellness benefits.
• Opportunities for professional development and career growth.
• Flexible working environment.