Retrieval-Augmented Generation

Retrieval-Augmented Generation'ın temel fikri, üretken modelin yalnızca eğitim sırasında parametrelerine öğrendiği bilgiyle yanıt vermek zorunda kalmamasıdır. Sistem kullanıcının sorgusuna göre ayrı bir bilgi kaynağından ilgili içerikleri bulur, bu içerikleri modelin bağlamına ekler ve model yanıtı bu ek bilgiyle birlikte üretir.

NIST'in güncel terminolojisi RAG'i, üretken AI modelinin ayrı bir bilgi erişim sistemi veya knowledge base ile eşleştirildiği sistem türü olarak tanımlar. Sorguya göre ilgili bilgi bulunur ve modelin yanıt oluştururken kullanabilmesi için bağlama verilir.[1]

Kavramın adı 2020'de Patrick Lewis ve çalışma arkadaşlarının yayımladığı Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks çalışmasıyla yaygınlaştı. Özgün çalışma parametrik model belleğini harici, parametrik olmayan bir bilgi erişim belleğiyle birleştiriyordu.[2]

RAG = vector database şeklinde bir eşitlik kurmak doğru değildir. Vektör arama ve embedding tabanlı retrieval çok yaygındır; ancak retrieval katmanı arama motoru, belge indeksi, veri tabanı veya başka uygun bilgi erişim yöntemleri kullanabilir. RAG'in belirleyici özelliği, üretim sırasında harici bilginin getirilip modele bağlam olarak verilmesidir.

RAG ile fine-tuning de aynı şey değildir. Fine-tuning model parametrelerini ek eğitimle değiştirir. RAG ise bilgi kaynağını modelden ayrı tutarak çalışma anında ilgili bilgiyi bağlama ekleyebilir. Bu nedenle kaynak veri güncellendiğinde her zaman modeli yeniden eğitmek gerekmeyebilir.[1]

RAG halüsinasyonu tamamen ortadan kaldırmaz. Yanlış veya yetersiz doküman getirilebilir, doğru kaynak yanlış yorumlanabilir veya model kendisine verilen kanıtın ötesinde bir iddia üretebilir. Dolayısıyla retrieval kalitesi, kaynak güvenilirliği, citation/attribution tasarımı ve gerektiğinde insan doğrulaması önemlidir.

RAG ile web araması da birebir aynı kavram değildir. Web araması bir retrieval kaynağı olabilir; ancak RAG kurumsal belge havuzu, ürün kataloğu, bilgi tabanı veya kapalı veri setleri üzerinde de çalışabilir.

AI destekli iletişim süreçlerinde “model ne biliyor?” sorusuyla “sistem hangi kaynaklara erişebiliyor?” sorusunu ayırmak gerekir. RAG, güncel veya kuruma özgü bilgiyi üretken modele çalışma anında taşıyabilir. Ancak MedyaBudur açısından RAG çıktısı yine kaynak doğruluğu, yetki sınırı ve insan kontrolüyle birlikte değerlendirilmelidir.