بهبود نتایج یک مقاله در مورد سیستم های پیشنهاد دهنده با استفاده از llm ها

بسم الله یکسری توضیحات در مورد خود مقاله و روش های ارزیابی و ادبیات موضوع داده خواهد شد و لطفا پس از مطالعه آن اگر در این زمینه تجربه دارید و حس میکنید میتوانید کار انجام شده را بهتر کنید لطفا خصوصی پیام دهید  مقاله ای که میبینید مربوط به یکی از روش های برتر توصیه گر ها هست که پیشرفته ی روش SasRec هست که رنکینگ آن را در سایت زیر میتوانید مشاهده کنید که با ارزیابی hr@10 رتبه 2 را با مقدار 0.83 دارد: (همچنین با معیار ndcg@10 نیز جزو رتبه های اول است) https://paperswithcode.com/sota/collaborative-filtering-on-movielens-1m?metric=HR%4010 روش ارزیابی که در این متود بکار رفته نیز leave-one-out هست. حالا ما میخواهیم نتایج این مقاله طبق 2 معیاری که گفته شد روی دیتاست MovieLens 1M بهتر کنیم و میخواهیم این کار را با LLM ها انجام دهیم قبل از بیان ایده کلی لازم است به این بپردازیم که فرضا اگر hr@10 ما 83% هست. این یعنی چی؟ مدل ما برای هر ورودی، 10 کاندید به عنوان فیلمی که قرار هست دیده شود معرفی میکند و اگر آن فیلم مورد نظر جزو 10 کاندید باشد یعنی هیت شده پس هیت ریت 83% یعنی از هر 100 مورد مدل ما توانسته 83 مورد فیلم را به درستی جزو آن 10 پیشنهاد خود بیاورد. حالا ایده کلی این هست که ما بیایم و ببینیم اون 17% باقی چرا نتونسته درست پیشبینی شه و مشکلشون چی بوده؟ اگر بجای 10 فیلم کاندید، 100 فیلم رو پیشنهاد میدادیم، آیا هیت ریت بالا تر میرفت؟ و وقتی دلیل سوالات بالا را مشخص کردیم، بیایم و با یک llm که fine-tune کردیم برای بحث re-rank کردن، کاری کنیم که هیت ریت و ndcg ما بالا برود و نتایج این مدل را بهبود بدیم. همچنین این بهبود حتما باید با استفاده از llm ها انجام شود. با توجه به توضیحات فوق و خود مقاله اگر حس میکنید که میتوانید این مورد را انجام دهید لطفا پیام دهید که یک صحبت و اگر نیاز شد جلسه آنلاین داشته باشیم تا در مورد هزینه و زمان صحبت کنیم. با تشکر