مهندس داده | Data Engineer

کارگزاری پیشرو به یک مهندس داده با تجربه جهت عضویت در تیم توسعه وب و نرم افزار it در تهران نیازمند است. این نقش شامل طراحی و پیاده سازی راه حل های کارآمد برای پردازش و ذخیره سازی داده ها، تضمین جریان روان داده ها در سازمان است. نامزد ایده آل در استفاده از فناوری های مختلف برای ساختن سیستم های داده مقیاس پذیر و قابل اعتماد برای نیازهای رو به رشد ما مهارت دارد.

مسئولیت ها:
- توسعه و حفظ خطوط لوله داده و معماری های قوی.
- همکاری با متقاطع تیم های کاربردی برای درک نیازهای داده و پیاده سازی راه حل ها.
- بهینه سازی و مقیاس سیستم های داده برای بهبود عملکرد و کارایی.
- مدیریت و ادغام داده ها از منابع مختلف با استفاده از فناوری هایی مانند کافکا و rabbitmq.
- نظارت بر داده ها با کیفیت و اجرای استراتژی‌ها برای مدیریت داده‌ها.
- از python، postgres، redis، elk، questdb و ابزارهای دیگر برای ایجاد راه‌حل‌های داده قابل اعتماد استفاده کنید.
- امنیت و یکپارچگی پلت‌فرم‌های داده را تضمین کنید.

>مدرک تحصیلی:
- لیسانس در علوم کامپیوتر و اطلاعات یا رشته های مرتبط.
- تجربه ثابت شده به عنوان مهندس داده یا در نقشی مشابه.
- تسلط قوی در برنامه نویسی پایتون.
- دست- در تجربه با پایگاه های داده مانند postgres و redis.
- آشنایی با ابزارهای پردازش داده مانند elk و questdb.
- تجربه با سیستم های پیام رسانی مانند kafka و rabbitmq.
- توانایی استفاده از پلت فرم های مدیریت گردش کار مانند جریان هوا.
- مهارت های عالی در حل مسئله و توجه به جزئیات.

Responsibilities:

• Develop and maintain robust data pipelines and architectures.
• Collaborate with cross-functional teams to understand data requirements and implement solutions.
• Optimize and scale data systems to improve performance and efficiency.
• Manage and integrate data from various sources using technologies such as Kafka and RabbitMQ.
• Monitor data quality and implement strategies for data governance.
• Utilize Python, Postgres, Redis, ELK, QuestDB, and other tools to create reliable data solutions.
• Ensure the security and integrity of data platforms.

Requirements:

• Proven experience as a Data Engineer or in a similar role.
• Strong proficiency in Python programming.
• Hands-on experience with databases like Postgres and Redis.
• Familiarity with data processing tools such as ELK and QuestDB.
• Experience with messaging systems like Kafka and RabbitMQ.
• Ability to use workflow management platforms like Airflow.
• Excellent problem-solving skills and attention to detail.