RAG ile Kurumsal Asistan Kurmak: Şirket Bilginizi Konuşturun

Bir çalışan işe başladığında şirketin iç wiki'sine, prosedür belgelerine ve geçmiş proje dosyalarına ulaşmak için saatlerce zaman harcıyor. Bunun yerine ona şöyle bir şey söyleyebilseydiniz: "Sadece sor." İşte RAG tam olarak bunu mümkün kılıyor.

RAG Nedir, Ne Değildir?

Retrieval-Augmented Generation (Geri Getirmeli Üretim), büyük dil modellerini (LLM) dış bir bilgi tabanıyla birleştiren bir mimaridir. Modeli yeniden eğitmezsiniz; bunun yerine kullanıcının sorusuna ilgili belgeleri gerçek zamanlı olarak bulup modele bağlam olarak verirsiniz.

Kısacası:

• ❌ Fine-tuning → Pahalı, sık güncellenemiyor
• ❌ Prompt'a tüm belgeyi yapıştırmak → Context sınırına takılıyor
• ✅ RAG → Dinamik, ölçeklenebilir, güncel

Temel Mimari

Bir kurumsal RAG sistemi kabaca şu bileşenlerden oluşur:

1. Veri Kaynakları – Confluence sayfaları, PDF'ler, SharePoint dosyaları, dahili Markdown dökümantasyonu 2. Chunking & Embedding – Belgeler parçalanır, her parça vektöre dönüştürülür (OpenAI Embeddings, BGE, E5 vb.) 3. Vektör Veritabanı – Parçalar burada saklanır; sorgulama sırasında semantik arama yapılır (Qdrant, Weaviate, pgvector) 4. Retriever – Kullanıcının sorusuyla en alakalı k parça seçilir 5. LLM + Prompt – Seçilen parçalar bağlam olarak modele verilir, model yanıt üretir 6. Arayüz – Slack botu, dahili web uygulaması veya API

Adım Adım Kurulum

1. Veri Toplama ve Temizleme

Ham veriyi asla doğrudan kullanmayın. HTML etiketlerini, tekrarlayan header/footer'ları temizleyin. Kaliteli chunk = kaliteli yanıt.

2. Chunking Stratejisi Seçin

• Fixed-size chunking: Hızlı ama anlam kopukluğu riski var
• Semantic chunking: Cümle sınırlarına saygı duyar, daha tutarlı
• Hierarchical chunking: Üst başlık bağlamını alt parçalara taşır — kurumsal belgeler için önerim bu

3. Embedding Modeli

Türkçe içerik yoğunsa çok dilli modellere yönelin: intfloat/multilingual-e5-large iyi bir başlangıç noktası.

4. Vektör DB Seçimi

| Araç | Öne Çıkan Özellik | |------|-------------------| | Qdrant | Hızlı, self-hosted, Rust tabanlı | | pgvector | Mevcut Postgres altyapısına entegre | | Weaviate | Hibrit arama (BM25 + vektör) |

5. Retrieval Kalitesini Artırın

• Hybrid search: Vektör aramasını BM25 keyword aramasıyla birleştirin
• Reranking: İlk N sonucu cross-encoder ile yeniden sıralayın (Cohere Rerank veya BGE-Reranker)
• Metadata filtreleme: "Sadece 2024 sonrası belgeler" gibi filtreler ekleyin

Kurumsal Ortamda Dikkat Edilmesi Gerekenler

• Veri gizliliği: Belgelerin kime açık olduğunu vektör DB seviyesinde filtreleyin. Herkes her şeyi görmemeli.
• Halüsinasyon riski: Modelin "Bilmiyorum" diyebilmesi için prompt'unuzu buna göre yazın. Kaynakları kullanıcıya gösterin.
• Güncelleme süreci: Yeni belgeler eklendiğinde pipeline otomatik tetiklenmeli; stale veri tehlikelidir.
• Gözlemlenebilirlik: Her sorgu için hangi chunk'ların geldiğini loglamasanız, sistemi iyileştiremezsiniz. LangSmith veya Langfuse burada işe yarıyor.

Sonuç

RAG, kurumsal bilgiyi erişilebilir kılmanın şu an için en pragmatik yolu. Fine-tuning kadar kaynak gerektirmez, saf LLM kadar da "uyduruk" değildir. Doğru veri temizliği ve iyi bir retrieval stratejisiyle şirketinizdeki binlerce sayfalık bilgiyi gerçekten kullanılabilir hale getirebilirsiniz.

Sonraki adım? Bir PoC için Qdrant + LangChain + GPT-4o ile başlayın. İlk çalışan prototip bir haftanın altında çıkıyor, inanın.