مهندس داده | Data Engineer

شرح موقعیت:

ما به دنبال یک مهندس داده متخصص برای طراحی و پیاده‌سازی فرآیندهای ETL و مدیریت داده‌ها با تمرکز بر Elasticsearch هستیم. این فرد مسئول جمع‌آوری داده‌ها از منابع مختلف، آماده‌سازی و انتقال آن‌ها به Elasticsearch برای تحلیل‌های بلادرنگ و گزارش‌دهی خواهد بود.

مسئولیت‌ها:

• طراحی و اجرای فرآیندهای ETL برای جمع‌آوری، تبدیل و بارگذاری داده‌ها به Elasticsearch.
• پیاده‌سازی و بهینه‌سازی Pipelineهای داده برای انتقال داده‌های حجیم به Elasticsearch.
• طراحی Indexهای مناسب در Elasticsearch برای جستجو و تحلیل سریع داده‌ها.
• نظارت بر عملکرد Elasticsearch و بهینه‌سازی Queryها و ساختار داده.
• اطمینان از کیفیت داده‌ها و یکپارچگی آن‌ها در تمامی مراحل.
• مدیریت ارتباط Elasticsearch با سایر پایگاه‌های داده و منابع داده‌ای.

شرایط احراز:

• تسلط کامل به Elasticsearch (نحوه طراحی Index ،Queryها و Aggregation).
• تجربه در Python (کتابخانه‌هایی مانند Pandas و PySpark).
• تجربه در ابزارهایی مانند Apache Airflow ،Logstash یا Beats.
• مسلط به MySQL :Oracle.
  مسلط به NoSQL :MongoDB.
• مسلط به SQL :PostgreSQL.
• تجربه در مدیریت و پردازش داده‌های حجیم (Big Data).
• دانش در زمینه Data Modeling و طراحی ساختارهای بهینه برای جستجو و تحلیل.
• تجربه کار با ابزارهای Streaming داده مانند Kafka (مزیت محسوب می‌شود).

Position Description:
We are looking for an expert Data Engineer to design and implement ETL processes and data management with a focus on ElasticSearch. This person will be responsible for collecting data from various sources, preparing and transferring it to ElasticSearch for real-time analysis and reporting.

Responsibilities:
• Designing and implementing ETL processes to collect , converting and uploading data to ElasticSearch.
• Implementation and optimization of data pipelines to transfer large data to ElasticSearch.
• Designing suitable indexes in ElasticSearch for fast data search and analysis.
• Monitoring on the performance of ElasticSearch and optimizing queries and data structure.
• Ensuring the quality of data and their integrity in all stages.
• Management of ElasticSearch's connection with other databases and data sources.

Skills And the required knowledge:
• Complete mastery of ElasticSearch (how to design Index, Queries and Aggregation).
• Experience in ETL tools and processes:
• Python (libraries such as Pandas, PySpark).
• Tools such as Apache Airflow, Logstash or Beats.
• Mastery of databases:
• SQL: PostgreSQL, MySQL.oracel • NoSQL: MongoDB.
• Experience in managing and processing large data (Big Data ).
• Knowledge in the field of Data Modeling and designing optimal structures for search and analysis.
• Experience working with data streaming tools such as Kafka (considered an advantage).