RAG ile Kurumsal Asistan Kurmak: Şirket Bilgisini Konuşturmak

Büyük dil modelleri (LLM) son yıllarda inanılmaz bir hız kazandı. Ancak şirket içi bir asistan kurmaya kalktığınızda hemen bir duvarla karşılaşıyorsunuz: model, şirketinizin iç dokümanlarını, süreçlerini veya ürün bilgisini bilmiyor. İşte tam bu noktada RAG (Retrieval-Augmented Generation — Geri Getirmeli Üretim) mimarisi devreye giriyor.

RAG Nedir, Neden Önemlidir?

RAG, bir dil modelinin yanıt üretmeden önce dış bir bilgi kaynağından ilgili belgeleri "geri getirmesi" (retrieve) ve bu belgeleri bağlam olarak kullanması esasına dayanır. Modeli yeniden eğitmenize gerek kalmaz; sadece doğru bilgiyi doğru anda modelin önüne koyarsınız.

Klasik "fine-tuning" yaklaşımına kıyasla RAG'ın öne çıkan avantajları şunlardır:

• Güncellenebilirlik: Bilgi tabanınız değiştiğinde modeli yeniden eğitmek yerine yalnızca vektör veritabanınızı güncellemeniz yeterlidir.
• İzlenebilirlik: Yanıtın hangi belgeden geldiğini kullanıcıya gösterebilirsiniz; halüsinasyon riski düşer.
• Maliyet: Milyonlarca token'lık ince ayar eğitimi yerine çok daha ucuz bir altyapı kurarsınız.

Temel Bileşenler

Kurumsal bir RAG asistanı aşağıdaki katmanlardan oluşur:

1. Belge İşleme (Document Pipeline)

PDF, Word, Confluence sayfaları, Notion notları — ne varsa önce metne dönüştürülür. Ardından belgeler anlamlı parçalara (chunk) bölünür. Chunk boyutu kritiktir; çok küçük olursa bağlam kaybolur, çok büyük olursa alakasız bilgi modele karışır. Genellikle 512–1024 token aralığı iyi bir başlangıç noktasıdır.

2. Embedding ve Vektör Veritabanı

Her chunk, bir embedding modeli (örn. text-embedding-3-small, BGE, E5) aracılığıyla sayısal bir vektöre dönüştürülür ve Qdrant, Weaviate, pgvector gibi bir vektör veritabanına yazılır. Kullanıcı soru sorduğunda, sorunun vektörüne en yakın chunk'lar bulunur.

3. Retrieval (Geri Getirme)

Benzerlik araması tek başına her zaman yetmez. Hibrit arama (vektör + anahtar kelime/BM25) ve re-ranking adımları ekleyerek geri getirilen belgelerin kalitesini önemli ölçüde artırabilirsiniz.

4. Augmented Generation (Üretim)

Bulunan chunk'lar, kullanıcı sorusuyla birlikte LLM'e bir sistem istemi (system prompt) içinde iletilir. Model yalnızca bu bağlamı kullanarak yanıt üretir ve kaynakları alıntılar.

Kurumsal Ortamda Dikkat Edilmesi Gerekenler

Teknik mimarinin yanı sıra bazı operasyonel konuları da göz ardı etmemek gerekir:

• Erişim Kontrolü: Her kullanıcı her belgeyi göremez. Chunk düzeyinde yetki yönetimi şart.
• Veri Gizliliği: Hassas veriler bulut API'lerine gönderilmeden önce maskeleme veya on-premise LLM tercih etme seçeneği değerlendirilmeli.
• Değerlendirme (Eval): Asistanın ne kadar doğru yanıt verdiğini ölçmek için RAGAS gibi framework'lerle düzenli değerlendirme döngüleri oluşturulmalı.
• Kaynak Güncelliği: Eski ve çelişkili belgeler sistemde kalmaya devam ederse model de çelişkili yanıtlar üretir. Belge yaşam döngüsü yönetimi ihmal edilmemelidir.

Küçük Bir Başlangıç Tarifi

Projeye sıfırdan başlıyorsanız şu yol haritasını öneririm:

1. LangChain veya LlamaIndex ile hızlı bir prototip kurun. 2. Vektör deposu olarak yerel kurulumu kolay Qdrant ile başlayın. 3. LLM tarafında GPT-4o veya gizlilik öncelikliyse Llama 3 tercih edin. 4. İlk 50 soru için manuel değerlendirme yapın, ardından otomatik eval pipeline'ı devreye alın.

Sonuç

RAG, kurumsal bilgi yönetimini gerçek anlamda dönüştürme potansiyeline sahip. "Modeli eğitmek çok pahalı" ya da "bilgilerimiz çok sık değişiyor" diyorsanız, RAG tam size göre. Doğru yapılandırıldığında hem geliştirici ekipler hem de son kullanıcılar için şeffaf, güncel ve güvenilir bir asistan ortaya çıkıyor.

Deneyin, ölçün, iyileştirin — bu işin özü zaten bu.