نحوه پیدا کردن chunk size مناسب برای دیتا‌های خیلی بزرگ

جامعه‌ها وبلاگ شروع یادگیری برنامه نویسی

برای حالتی که میخوایم دیتا خیلی بزرگ و حجیم خصوصی یه سازمان رو به چت بات افلاین بدیم به خاطر محرمانگی
روش پرسیدن سایز مناسب از چت بات دراین حالت چطور باید باشه چون دیتا حجم زیادی داره و نمیشه همه دیتا رو در یک پرامپت داد

سلام

برای این کار بایستی از RAG با KAG استفاده کنید به این صورت که با استفاده از یک دیتاست مفهومی، جستجو را بر روی مجموعه داده‌های انجام داده و قسمتی از داده‌ها را به عنوان ضمیمه به چت‌بات میدهیم

مهندس واله مجتهد ۲۵ اردیبهشت ۱۴۰۵، ۱۷:۰۶