RAG Pipeline Mimarisileri — Bilgi Getirme Zenginleştirme

RAG Nedir?

Retrieval Augmented Generation (RAG), büyük dil modellerini (LLM) harici veri kaynaklarına bağlayarak, modelin eğitilmediği bilgilere erişim sağlayan bir mimari yaklaşımdır. Retrieval (bilgi getirme) ve Generation (üretim) aşamalarını birleştirir.

Nasıl Çalışır?

1. Döküman Yükleme: Kaynak dökümanlar (PDF, HTML, veritabanı) sisteme yüklenir
2. Chunking: Dökümanlar anlamlı parçalara bölünür (100-1000 token)
3. Embedding: Her vektör dönüştürülerek vektör veritabanına kaydedilir
4. Kullanıcı Sorgusu: Soru embedding'e dönüştürülür
5. Retrieval: Vektör veritabanından en alakalı parçalar çekilir
6. Prompt Construction: Bağlam + orijinal soru LLM'e gönderilir
7. Generation: LLM bağlamı kullanarak yanıt üretir

Chunking Stratejileri

Fixed-Size Chunking: Sabit uzunlukta parçalar. Basit ama kesim sorunları olabilir. Recursive Chunking: Markdown başlıklarına göre bölme. Yapıyı korur. Semantic Chunking: Anlamsal benzerliğe göre bölme. Daha akıllı kesim. Document-Specific Chunking: Doküman tipine özel özel strateji.

Vektör Veritabanları

Pinecone: Cloud-native, ölçeklenebilir vektör DB. pgvector: PostgreSQL eklentisi, mevcut altyapınızla entegre. Chroma: Açık kaynak, hızlı prototipleme için ideal. Weaviate: Graph + Vektör hibrit arama destekler.

Embedding Modelleri

• OpenAI text-embedding-3: Yüksek kalite, ücretli
• Cohere Embed v3: Çok dilli destek
• BGE-M3: Açık kaynak, TR/EN desteği
• Jina Embeddings v3: Gelişmiş fine-tuning

İleri Teknikler

Reranking: İlk retrieval sonuçlarını cross-encoder ile yeniden sıralama. Query Expansion: Kullanıcı sorgusunu çeşitli varyantlara genişletme. Hybrid Search: Sparse + Dense search kombinasyonu. Multi-hop Retrieval: Çok adımlı bilgi getirme. Self-RAG: Modelin kendi retrieval kalitesini değerlendirmesi.

Sonuç

RAG, LLM'leri kurumsal bilgiyle bağlayan en etkili yöntem. Doğru chunking stratejisi, embedding modeli ve retrieval tekniği ile %90+ doğruluk oranları elde edilebilir.