مهندس داده | Data Engineer

شرح موقعیت:
ما به دنبال یک Data Engineer متخصص برای طراحی و پیاده‌سازی فرآیندهای ETL و مدیریت داده‌ها با تمرکز بر ElasticSearch هستیم. این فرد مسئول جمع‌آوری داده‌ها از منابع مختلف، آماده‌سازی و انتقال آن‌ها به ElasticSearch برای تحلیل‌های بلادرنگ و گزارش‌دهی خواهد بود.

مسئولیت‌ها:
• طراحی و اجرای فرآیندهای ETL برای جمع‌آوری، تبدیل و بارگذاری داده‌ها به ElasticSearch.
• پیاده‌سازی و بهینه‌سازی Pipelineهای داده برای انتقال داده‌های حجیم به ElasticSearch.
• طراحی Indexهای مناسب در ElasticSearch برای جستجو و تحلیل سریع داده‌ها.
• نظارت بر عملکرد ElasticSearch و بهینه‌سازی Queryها و ساختار داده.
• اطمینان از کیفیت داده‌ها و یکپارچگی آن‌ها در تمامی مراحل.
• مدیریت ارتباط ElasticSearch با سایر پایگاه‌های داده و منابع داده‌ای.

مهارت‌ها و دانش مورد نیاز:
• تسلط کامل به ElasticSearch (نحوه طراحی Index، Queryها و Aggregation).
• تجربه در ابزارها و فرآیندهای ETL:
• Python (کتابخانه‌هایی مانند Pandas، PySpark).
• ابزارهایی مانند Apache Airflow، Logstash یا Beats.
• تسلط بر پایگاه‌های داده:
• SQL: PostgreSQL، MySQL.oracel • NoSQL: MongoDB.
• تجربه در مدیریت و پردازش داده‌های حجیم (Big Data).
• دانش در زمینه Data Modeling و طراحی ساختارهای بهینه برای جستجو و تحلیل.
• تجربه کار با ابزارهای Streaming داده مانند Kafka (مزیت محسوب می‌شود).

---

Position Description:
We are looking for an expert Data Engineer to design and implement ETL processes and data management with a focus on ElasticSearch. This person will be responsible for collecting data from various sources, preparing and transferring it to ElasticSearch for real-time analysis and reporting.

Responsibilities:
• Designing and implementing ETL processes to collect , converting and uploading data to ElasticSearch.
• Implementation and optimization of data pipelines to transfer large data to ElasticSearch.
• Designing suitable indexes in ElasticSearch for fast data search and analysis.
• Monitoring on the performance of ElasticSearch and optimizing queries and data structure.
• Ensuring the quality of data and their integrity in all stages.
• Management of ElasticSearch's connection with other databases and data sources.

Skills And the required knowledge:
• Complete mastery of ElasticSearch (how to design Index, Queries and Aggregation).
• Experience in ETL tools and processes:
• Python (libraries such as Pandas, PySpark).
• Tools such as Apache Airflow, Logstash or Beats.
• Mastery of databases:
• SQL: PostgreSQL, MySQL.oracel • NoSQL: MongoDB.
• Experience in managing and processing large data (Big Data ).
• Knowledge in the field of Data Modeling and designing optimal structures for search and analysis.
• Experience working with data streaming tools such as Kafka (considered an advantage).