RAG ile Kurumsal Asistan Kurmak: Şirket Verinizi Konuşturun

Bir yapay zeka asistanının genel sorulara güzel yanıtlar verdiğini hepimiz gördük. Peki ya şirketin iç prosedür belgesi, ürün kataloğu veya geçen ay yazılan teknik rapor sorulduğunda ne oluyor? Model ya hallüsinasyon üretiyor ya da "bu konuda bilgim yok" diyor. İşte tam bu noktada RAG (Retrieval-Augmented Generation — Geri Getirmeli Üretim) devreye giriyor.

RAG Nedir, Ne Değildir?

RAG, bir dil modelini (LLM) doğrudan kurumsal veriye bağlamak yerine, soruya en uygun belge parçalarını önce getirip ardından modelin bu bağlamla yanıt üretmesini sağlayan bir mimaridir. Model ince ayar (fine-tune) görmez; bilgi tabanı dışarıda, canlı ve güncellenebilir kalır. Bu sayede:

• Yanlış bilgi üretme (hallüsinasyon) riski düşer,
• Kaynağa atıfta bulunmak kolaylaşır,
• Bilgi tabanını güncellemek için modeli yeniden eğitmek gerekmez.

Temel Bileşenler

Kurumsal bir RAG sistemi kabaca dört katmandan oluşur:

1. Veri Hazırlama (Chunking & Embedding) Belgeler (PDF, Word, Confluence sayfaları, e-postalar) anlamlı parçalara bölünür ve bir embedding modeliyle vektöre dönüştürülür. Chunk boyutu kritik; çok küçük olursa bağlam kaybolur, çok büyük olursa gürültü artar. 512–1024 token aralığı çoğu kurumsal belge için iyi bir başlangıç noktasıdır.

2. Vektör Veritabanı Üretilen vektörler Pinecone, Weaviate, Qdrant veya açık kaynak Chroma gibi bir vektör veritabanında saklanır. Sorgu geldiğinde semantik yakınlık (cosine similarity) ile en ilgili parçalar saniyeler içinde bulunur.

3. Retrieval (Geri Getirme) Katmanı Kullanıcının sorusu da vektöre dönüştürülür ve en yakın K belge parçası (top-K) seçilir. Burada hibrit arama (BM25 + vektör) eklenmesi, özellikle teknik terim veya ürün kodu gibi tam eşleşme gerektiren sorgularda başarıyı belirgin biçimde artırır.

4. Üretim (Generation) Katmanı Seçilen belgeler bir sistem promptuyla birlikte LLM'e (GPT-4o, Claude, Llama 3 vb.) gönderilir. Model yalnızca bu bağlama dayanarak yanıt üretir; kaynakları dipnot olarak göstermesi de kolayca zorunlu hâle getirilebilir.

Kurumsal Ortamda Dikkat Edilmesi Gerekenler

Veri Güvenliği ve Erişim Kontrolü

Herkese her belgeyi göstermek istemezsiniz. Retrieval katmanına kullanıcı rolü bilgisini ekleyerek row-level security uygulamak mümkün; ancak bunu en baştan tasarlamak sonradan eklemekten çok daha kolaydır.

Kaynak Kalitesi

"Çöp girer, çöp çıkar" prensibi RAG için iki kat geçerlidir. Güncel olmayan, birbiriyle çelişen belgeler asistanın güvenilirliğini doğrudan etkiler. Bilgi tabanı yönetimini bir süreç olarak ele almak şarttır.

Değerlendirme (Evaluation)

Yanıtın doğruluğunu ölçmek için RAGAS, TruLens veya benzer framework'ler kullanılabilir. Faithfulness (sadakat), answer relevancy (alaka) ve context recall metriklerini düzenli takip edin.

Maliyet ve Gecikme

Her sorgu için büyük bir LLM çağırmak maliyetli olabilir. Ön filtreleme, önbellekleme (semantic cache) ve küçük-büyük model kademelendirmesi (routing) ile hem maliyet hem gecikme kontrol altına alınabilir.

Nerede İşe Yarıyor?

• İK asistanı: Politika belgelerine, izin kurallarına anında erişim
• Teknik destek: Ürün dokümantasyonu ve hata kayıtlarından çözüm önerisi
• Satış enablement: Teklif şablonları, rakip analizleri, fiyat listeleri
• Uyum & hukuk: Mevzuat belgelerinde hızlı arama

Başlamak İçin Ne Lazım?

Minimum uygulanabilir bir prototip için LangChain veya LlamaIndex ile başlamak mantıklı. Birkaç yüz belgeden oluşan bir bilgi tabanını, ücretsiz katmanlı bir vektör veritabanıyla ve bir OpenAI API anahtarıyla haftalar değil günler içinde ayağa kaldırabilirsiniz.

RAG bir sihir değil; dikkatli veri mühendisliği, iyi bir retrieval stratejisi ve sürekli değerlendirme gerektiren bir mühendislik mimarisi. Ama doğru kurulduğunda, şirketin dağınık bilgisini gerçekten konuşturan en pratik yapay zeka çözümlerinden biri oluyor.