Vektör Veritabanları ve Embedding Modelleri ile Anlamsal Arama
Yüksek boyutlu verilerin anlamsal temsilleri: Embedding modelleri, vektör veritabanları (Pinecone, pgvector, Chroma, Weaviate) ve cosine similarity ile anlamsal arama motorları.
Vektör Veritabanları Nedir?
Vektör veritabanları, verileri yüksek boyutlu sayısal vektörler olarak depolayan ve anlamsal benzerlik aramaları yapabilen özel amaçlı veritabanlarıdır. Geleneksel veritabanlarından farklı olarak, "neşe ile" değil "benzerlik ile" sorgu yapılır.
Embedding Modelleri
Metin, görsel veya ses verisini vektör uzayına dönüştüren yapay zeka modelleridir.
Popüler Modeller
- OpenAI text-embedding-3-large: 3072 boyutlu, yüksek kalite
- Cohere Embed v4: 1024 boyut, çok dilli destek
- BGE-M3: Açık kaynak, Türkçe desteği var
- Jina Embeddings v3: 512-1024 boyut, hızlı çalışır
- E5-Mistral: 4096 boyut, in-context learning
Vektör Arama Algoritmaları
Cosine Similarity: İki vektör arasındaki açının kosinüsü. En yaygın mesafesi ölçü. Euclidean Distance: Öklid mesafesi. Düşük boyutlu vektörlerde etkilidir. Dot Product: Nokta çarpımı. Normalize edilmiş vektörlerde cosine'a eşdeğer. HNSW (Hierarchical Navigable Small World): Graf tabanlı yaklaşık en yakın komşu algoritması. Hem hızlı hem de doğru sonuç verir.
Popüler Vektör Veritabanları
Pinecone: Managed cloud service. Auto-scaling, serverless. Ücretli. pgvector: PostgreSQL eklentisi. Mevcut SQL altyapınızla çalışır. Ücretsiz. Chroma: Açık kaynak, Python-native. Prototyping için ideal. Weaviate: Hibrit arama (vektör + keyword). GraphQL API destekler. Qdrant: Rust ile yazılmış, yüksek performans. REST ve gRPC API.
Kullanım Alanları
- RAG (Retrieval Augmented Generation): LLM'leri bilgiyle besleme
- Semantic Search: Anahtar kelime yerine anlamsal arama
- Recommendation System: Benzer ürün/kullanıcı eşleştirme
- Deduplication: Neredeyse aynı içerikleri tespit etme
- Image Similarity: Görsel benzerlik araması
Tasarım İlkeleri
- Doğru embedding modelini seçin (dil, boyut, hız trade-off)
- Vektör boyutunu belirleyin (daha büyük = daha doğru ama daha yavaş)
- İndeks stratejisi seçin (HNSW, IVF, PQ)
- Sharding ve replication planlayın
- Monitoring: latency, recall, throughput metrikleri
Sonuç
Vektör veritabanları, yapay zeka uygulamalarının temel taşı. RAG, semantic search ve AI agent sistemleri olmazsız kurulamaz.