آموزش trocr با تغییر توکنایزر و وزن های دیکدر

سلام میخواستم trocr-base با هاگینگ فیس فراخوانی بشه و با تغییر توکنایزر به توکنایزر خاص فارسی با این داده ها آموزش داده بشه .دقیقا نمیدونم چه توکنایزری بهتر از BPE در مورد زبان فارسی هست.ولی این مقاله هست شاید بتوانیم از این مقاله کمک بگیریم .و بعد با یکی از توکنایزرهایی که فکر میکنید در زبان فارسی بهتر از BPE بر روی داده های پرینتد فارسی آموزش داده بشه.داده ها 9 گیگ هستند ولی فکر نمیکنم نیاز باشه برای اثبات این موضوع از همه داده ها استفاده بشه با تشکر