پروژه پایتون یا متلب

سلام توضیح مسئله:مسئله مسیریابی وسایل نقلیه (VRP) به این صورت تعریف می‌شود که:یک سری وسایل نقلیه داریم که باید کالاها را به تعدادی مشتری در مکان‌های مختلف تحویل دهند.هر وسیله نقلیه از یک نقطه شروع (دپو) حرکت می‌کند، به چندین مکان (مشتری‌ها) می‌رود و در نهایت به دپو برمی‌گردد.هدف از این مسئله این است که مجموع مسافت طی شده یا هزینه تحویل کالا به حداقل برسد.گام‌های اصلی که باید انجام شود:1. تعریف مسئله به عنوان یادگیری تقویتی (Reinforcement Learning):در اینجا باید مشخص کنیم که:عامل (Agent): وسیله نقلیه یا چندین وسیله نقلیه‌ای که کالاها را تحویل می‌دهند.وضعیت (State): وضعیت فعلی شامل مکان وسیله نقلیه، مکان مشتری‌ها و تقاضای آن‌ها است.اقدام (Action): انتخاب مکان مشتری بعدی برای تحویل کالا.پاداش (Reward): هدف ما کم کردن طول مسیر است، بنابراین اگر وسیله نقلیه مسیری کوتاه‌تر را انتخاب کند، پاداش مثبت می‌گیرد و اگر مسیر طولانی‌تری را انتخاب کند، پاداش منفی می‌گیرد.2. مدل‌سازی و تعریف سیاست (Policy):سیاست (Policy) یک تابع است که به ما می‌گوید با توجه به وضعیت فعلی، کدام عمل بهترین انتخاب است. برای این کار از یک شبکه عصبی استفاده می‌کنیم که بر اساس ورودی‌ها (مکان‌ها و تقاضاها) تصمیم می‌گیرد کدام مشتری باید انتخاب شود.3. انتخاب الگوریتم یادگیری تقویتی:برای این کار می‌توان از الگوریتم‌های مختلف استفاده کرد. یکی از الگوریتم‌های مناسب گرادیان سیاست (Policy Gradient) است که به شبکه عصبی کمک می‌کند تا پارامترهای خود را برای بهینه‌سازی به روز رسانی کند. این الگوریتم به مدل اجازه می‌دهد به تدریج و با استفاده از داده‌ها بهتر شود.4. آموزش مدل:در این مرحله، مدل یادگیری تقویتی باید با استفاده از داده‌های شبیه‌سازی شده آموزش داده شود. در هر مرحله مدل یک مسیر پیشنهاد می‌دهد و سپس بررسی می‌شود که آیا این مسیر بهینه بوده یا خیر. اگر بهینه بوده، مدل پاداش می‌گیرد و اگر نبوده، مدل اصلاح می‌شود.5. پیاده‌سازی کد:شما باید کد پیاده‌سازی این مدل را به کمک پایتون و کتابخانه‌هایی مانند PyTorch یا TensorFlow بنویسید. برای شروع، مدل را با یک شبکه عصبی ساده برای پیش‌بینی مسیرها راه‌اندازی کنید و سپس آن را به تدریج با یادگیری تقویتی آموزش دهید.6. تست و ارزیابی مدل:پس از آموزش مدل، باید آن را روی داده‌های واقعی یا شبیه‌سازی شده تست کنید تا ببینید آیا مدل می‌تواند مسیرهای بهینه را به درستی پیدا کند یا خیر. برای ارزیابی مدل، از معیارهایی مثل طول مسیر طی شده و زمان تحویل کالا استفاده کنید.جزئیات بیشتر:شبکه‌های عصبی بازگشتی (RNN) یا شبکه‌های توجه (Attention Mechanism) برای انتخاب و پیش‌بینی مسیرها استفاده می‌شوند.محدودیت‌های دنیای واقعی مثل محدودیت زمانی برای تحویل کالاها، تعداد وسایل نقلیه یا ظرفیت وسایل نقلیه نیز می‌توانند به مدل اضافه شوند تا مسئله واقعی‌تر شود.مراحل کار به زبان ساده‌تر:مدل یادگیری تقویتی برای انتخاب مشتری بعدی بر اساس مکان فعلی وسیله نقلیه و وضعیت مشتری‌ها.یادگیری مدل با استفاده از الگوریتم‌های یادگیری تقویتی مثل گرادیان سیاست.پیاده‌سازی کد با استفاده از شبکه‌های عصبی و آموزش مدل با داده‌های شبیه‌سازی شده.تست مدل روی مسائل واقعی و بررسی عملکرد آن برای پیدا کردن مسیرهای بهینه.به عنوان نوآوری، چه کاری می‌توان انجام داد؟استفاده از مدل‌های چند عاملی (Multi-agent RL): به جای استفاده از یک عامل، می‌توان چندین وسیله نقلیه را هم‌زمان با هم مدیریت کرد و با هم بهینه‌سازی را انجام داد.بهینه‌سازی زمان و تقاضا: اضافه کردن محدودیت‌های دنیای واقعی مثل زمان‌های مختلف برای تحویل به مشتریان یا مدیریت تقاضاها و ظرفیت وسیله نقلیه.من یک پروژه دارم که در واقع میخام reinforcement learning را در حل مسائل vrp Vehicle routing problem پیاده سازی کنمنرم افزاری ترجیحا پایتون یا متلب