مهندس داده | Data Engineer

ما به دنبال یک مهندس داده با تجربه و درک عمیق از سیستم‌های دریاچه‌های داده، انبارهای داده و پایگاه داده هستیم. در این نقش شما مسئول طراحی، توسعه و بهینه‌سازی زیرساخت‌های داده در مقیاس بزرگ خواهید بود تا یکپارچگی بی‌نقص، دسترسی بالا و مقیاس‌پذیری را تضمین کنید. کاندید ایده‌ال باید در روش‌های مدیریت داده تخصص قوی داشته باشد و بتواند راه‌حل‌های پیشرفته‌ای را برای پشتیبانی از جریان‌های کاری تحلیلی پیچیده و نیازهای بلادرنگ (real-time) پیاده‌سازی کند. همچنین شما با تیم‌های هوش مصنوعی همکاری نزدیک خواهید داشت تا مدل‌ها و راه‌حل‌های هوشمندی ایجاد کنید که از داده‌های ما به طور موثر بهره‌برداری کنند.

مسئولیت‌های کلیدی:

• توسعه خطوط لوله داده: طراحی، توسعه و نگهداری خطوط لوله ETL/ELT مقیاس‌پذیر برای استخراج، تبدیل و بارگذاری کارآمد داده‌ها در سیستم‌های متنوع. اطمینان از سازگاری، قابلیت اطمینان و قابلیت حسابرسی داده‌ها.
• مدیریت دریاچه و انبار داده: رهبری در طراحی، بهینه‌سازی و نگهداری دریاچه‌ها و انبارهای داده برای سازمان‌دهی و بازیابی کارآمد داده‌ها، تسهیل تصمیم‌گیری مبتنی بر داده.
• مدیریت پایگاه داده: مدیریت و بهینه‌سازی پایگاه‌های داده رابطه‌ای و NoSQL برای تضمین عملکرد بالا، یکپارچگی داده و امنیت. استفاده از تکنیک‌هایی مانند ایندکس‌گذاری، شاردینگ و تکرار.
• یکپارچه‌سازی و تجمیع داده: توسعه جریان‌های کاری برای یکپارچه‌سازی و تجمیع داده‌ها از منابع متعدد، ایجاد مجموعه داده‌های غنی شده مناسب برای تحلیل و گزارش‌دهی.
• بهینه‌سازی عملکرد: نظارت و بهبود مستمر عملکرد دریاچه‌های داده، انبارهای داده و خطوط لوله مرتبط برای مدیریت ورودی و تبدیل داده‌های بزرگ مقیاس.
• تضمین کیفیت داده: با پیاده‌سازی و اعمال استانداردهای کیفیت داده، شامل اعتبارسنجی خودکار، تشخیص ناهنجاری و فرآیندهای تطبیق، دقت و قابلیت اطمینان داده‌ها را تضمین نمایید.
• روحیه کار تیمی: با همکاری نزدیک با دانشمندان داده، تحلیل گران کسب‌وکار و مهندسان هوش مصنوعی، اطمینان حاصل کنید که زیرساخت داده از تحلیل‌ها، یادگیری ماشین و اهداف کسب‌وکار پشتیبانی می‌کند؛ این همکاری امکان توسعه بی‌نقص مدل‌های هوش مصنوعی را فراهم می‌آورد.
• پشتیبانی زیرساخت: با تیم DevOps همگام شوید تا استقرار زیرساخت‌های داده ابری را سازمان‌دهی کنید، از ابزارهای زیرساخت به عنوان کد بهره ببرید و مقیاس‌پذیری، تحمل خطا و بازیابی از فاجعه را تضمین نمایید.

شرایط احراز:

• مهارت‌های ارتباطی: تسلط قوی در ارتباط نوشتاری و گفتاری انگلیسی برای بیان موثر مفاهیم فنی به ذینفعان فنی و غیر فنی.
• تجربه: حداقل سه سال تجربه حرفه‌ای در مهندسی داده، با تخصص عملی در مدیریت دریاچه‌های داده پیچیده، انبارهای داده و پایگاه‌های داده توزیع شده.
• دریاچه‌های داده: تجربه اثبات شده در طراحی و پیاده‌سازی معماری‌های دریاچه داده با استفاده از ابزارهایی مانند Amazon S3 ،Azure Data Lake یا Google Cloud Storage.
• انبار داده: تخصص در پلتفرم‌هایی مانند Amazon Redshift ،Snowflake یا Google BigQuery، با تمرکز بر طراحی پیشرفته اسکیما و بهینه‌سازی کوئری.
• مدیریت پایگاه داده: تسلط قوی به SQL، با تجربه در مدیریت پایگاه‌های داده رابطه‌ای (مانند PostgreSQL و MySQL) و سیستم‌های NoSQL (مانند MongoDB و Cassandra).
• توسعه ETL: مهارت در ابزارهای ETL مانند Apache Airflow ،Talend یا Informatica برای خودکارسازی جریان‌های کاری داده.
• برنامه‌نویسی: مهارت‌های قوی در Python، با تاکید بر نوشتن کد تمیز، ماژولار و مستند.
• پردازش داده‌های بزرگ: دانش عمیق از فریم‌ورک‌های داده بزرگ مانند Apache Spark ،Hadoop یا Kafka برای پردازش داده‌های توزیع‌شده و جریانی.
• پلتفرم‌های ابری: تجربه عملی با پلتفرم‌های ابری مانند AWS ،Google Cloud یا Azure شامل استفاده از ابزارها و خدمات ابری.
• جریان بلادرنگ: تجربه با پلتفرم‌های جریان داده بلادرنگ مانند Apache Kafka یا Amazon Kinesis برای نگهداری خطوط لوله بلادرنگ.

مهارت‌های ترجیحی:

• کانتینرسازی و ارکستراسیون: تجربه با Docker و Kubernetes برای کانتینرسازی و مدیریت بارهای کاری توزیع شده.
• تصویری‌سازی داده: آشنایی با ابزارهایی مانند Power BI یا Tableau برای پشتیبانی از بینش‌های کسب‌وکار و گزارش‌دهی.

Job Description and Responsibilities
We are looking for a Data Engineer with experience and a deep understanding of data lake, data warehouse and database systems. In this role, you will be responsible for designing, developing and optimizing large-scale data infrastructures to ensure seamless integration, high availability and scalability. The ideal candidate should have strong expertise in data management methodologies and be able to implement advanced solutions to support complex analytical workflows and real-time needs. You will also work closely with AI teams to create intelligent models and solutions that effectively leverage our data.

Key Responsibilities
Data Pipeline Development: Design, develop and maintain scalable ETL/ELT pipelines to efficiently extract, transform and load data into diverse systems. Ensure data consistency, reliability and auditability.
Data Lake and Warehouse Management: Lead the design, optimization and maintenance of data lakes and warehouses to efficiently organize and retrieve data, facilitating data-driven decision-making.
Database Management: Manage and optimize relational and NoSQL databases to ensure high performance, data integrity, and security. Use techniques such as indexing, sharding, and replication.
Data Integration and Aggregation: Develop workflows to integrate and aggregate data from multiple sources, creating rich datasets suitable for analysis and reporting.
Performance Optimization: Monitor and continuously improve the performance of data lakes, data warehouses, and related pipelines to manage large-scale data ingest and transformation.
Data Quality Assurance: Ensure data accuracy and reliability by implementing and enforcing data quality standards, including automated validation, anomaly detection, and reconciliation processes.
Teamwork: Work closely with data scientists, business analysts, and AI engineers to ensure that the data infrastructure supports analytics, machine learning, and business goals; this collaboration enables the seamless development of AI models.
Infrastructure Support: Work with the DevOps team to orchestrate the deployment of cloud data infrastructure, leveraging “infrastructure as code” tools, and ensuring scalability, fault tolerance, and disaster recovery.

Skills and Qualifications
Communication Skills: Strong written and spoken English communication skills to effectively communicate technical concepts to technical and non-technical stakeholders.
Experience: At least 3 years of professional experience in data engineering, with hands-on expertise in managing complex data lakes, data warehouses, and distributed databases.
Data Lakes: Proven experience designing and implementing data lake architectures using tools such as Amazon S3, Azure Data Lake, or Google Cloud Storage.
Data Warehouse: Expertise in platforms such as Amazon Redshift, Snowflake, or Google BigQuery, with a focus on advanced schema design and query optimization.
Database Administration: Strong SQL proficiency, with experience managing relational databases (such as PostgreSQL and MySQL) and NoSQL systems (such as MongoDB and Cassandra).
ETL Development: Proficiency in ETL tools such as Apache Airflow, Talend, or Informatica to automate data workflows.
Programming: Strong skills in Python, with an emphasis on writing clean, modular, and documented code.
Big Data Processing: Deep knowledge of big data frameworks such as Apache Spark, Hadoop, or Kafka to process distributed and streaming data.
Cloud Platforms: Hands-on experience with cloud platforms such as AWS, Google Cloud, or Azure, including use of cloud tools and services.
Real-Time Streaming: Experience with real-time data streaming platforms such as Apache Kafka or Amazon Kinesis to maintain real-time pipelines.
Preferred Skills
Containerization and Orchestration: Experience with Docker and Kubernetes to containerize and manage distributed workloads.
Data Visualization: Familiarity with tools such as Power BI or Tableau to support business insights and reporting.