Retrieval-Augmented Generation (RAG)

تولید تقویت‌شده با بازیابی (RAG) چیست؟

RAG خانواده‌ای از معماری‌هاست که پیش از یا هنگام تولید پاسخ، اطلاعات مرتبط را از یک منبع بیرونی بازیابی می‌کند و آن زمینه را در اختیار مدل مولد می‌گذارد. در شکل رایج، یک پرسش به نمایش قابل بازیابی تبدیل می‌شود، اسناد یا قطعه‌های مرتبط انتخاب می‌شوند و مدل پاسخ را با اتکا به آن زمینه تولید می‌کند.

چرا تولید تقویت‌شده با بازیابی (RAG) مهم است؟

RAG راهی برای جداکردن بخشی از دانش عملیاتی از پارامترهای مدل و اتصال پاسخ به اسناد قابل‌به‌روزرسانی است. این کار می‌تواند قابلیت ردیابی منبع و به‌روزرسانی دانش را بهتر کند، اما فقط وقتی بازیابی، انتخاب منبع و تولید نهایی درست ارزیابی شوند.

چگونه از آن استفاده کنیم؟

  1. مجموعه اسناد معتبر و محدوده دانشی را مشخص کنید.
  2. اسناد را به قطعه‌های مناسب تقسیم و همراه با متادیتا نمایه کنید.
  3. کیفیت بازیابی (retrieval) را جدا از کیفیت تولید پاسخ (generation) بسنجید.
  4. منابع بازیابی‌شده را در پاسخ قابل مشاهده و قابل پیگیری نگه دارید.
  5. برای سؤال‌های بدون شواهد کافی، امکان «نمی‌دانم» یا ارجاع به انسان را طراحی کنید.

محدودیت و خطای رایج

RAG مسئله توهم را به‌طور خودکار حل نمی‌کند. بازیابی نامرتبط، سند قدیمی، رتبه‌بندی ضعیف یا استفاده نادرست مدل از زمینه می‌تواند پاسخ خطا بسازد. ارزیابی باید هم بازیابی و هم میزان اتکای پاسخ به شواهد بازیابی‌شده (grounding) را پوشش دهد.

منابع برای پیگیری

تعریف و توضیح این مدخل با اتکا به منابع زیر تدوین شده است. برای پژوهش یا استناد دانشگاهی، نسخه اصلی منبع را نیز بررسی کنید.

  1. Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis, P., Perez, E., Piktus, A., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems, 33.
  2. Dense Passage Retrieval for Open-Domain Question AnsweringKarpukhin, V., Oğuz, B., Min, S., et al. (2020). Dense Passage Retrieval for Open-Domain Question Answering. Proceedings of EMNLP 2020.

جای این مفهوم در نقشه یادگیری

این مدخل بخشی از حوزه هوش مصنوعی است. برای دیدن مفاهیم نزدیک و جای این مفهوم در یک مسئله بزرگ‌تر، صفحه مادر این حوزه را ببینید.

Large Language Model

مدل زبانی بزرگ (LLM)

مدل زبانی بزرگ یا LLM مدلی آماری و عصبی برای برآورد توزیع دنباله‌های زبانی است که با داده و ظرفیت محاسباتی زیاد آموزش می‌بیند و معمولاً متن را با پیش‌بینی واحد بعدی زبان تولید یا امتیازدهی می‌کند. بسیاری از LLMهای امروزی بر معماری ترنسفورمر بنا شده‌اند، اما «بزرگ» یک مرز عددی ثابت و علمی ندارد.

Vector Embedding

تعبیهٔ برداری (Embedding)

تعبیهٔ برداری روشی برای نمایش یک شیء مانند واژه، جمله، سند یا تصویر به‌صورت برداری از اعداد است؛ به‌گونه‌ای که ساختار و شباهت‌های آموخته‌شده در داده تا حدی در هندسه این فضا بازتاب پیدا کند. شباهت برداری ابزار محاسباتی مفیدی است، اما معادل فهم انسانی یا رابطه علّی نیست.

یادداشت برای دور بعدی

چه چیزی در این صفحه درست نیست؟

یادداشت روی همین هاست ثبت می‌شود و در صف خصوصیِ بازخورد می‌ماند تا در نوبت بعدی به فهرست اقدام منتقل شود.