İş Görevlerini LLM’ler Arasında Yön­len­dir­me­den Önce Yapmanız Gereken 5 Kontrol

Daha ucuz bir model, bir talebi sınıflandırmak için son derece uygun olabilir. Ancak aynı model, sözleşme özeti hazırlamak veya müşteriye doğrudan yanıt vermek için kötü bir seçim olabilir. Pek çok işletme bunu ancak maliyetler yükseldiğinde, yanıtlar tutarsızlaştığında ya da özel bilgiler yanlış iş akışına ulaştığında fark ediyor.

Pratik çözüm, tek bir “en iyi” modeli seçmek değil. Her görevi gereken kalite, veri erişimi, yanıt süresi ve inceleme düzeyiyle eşleştiren bir yönlendirme politikası oluşturmaktır. Aşağıdaki beş kontrol, tüm yapay zekâ sisteminizi baştan kurmadan uygulanabilir bir politika oluşturmanıza yardımcı olur.

1. Görevleri departmana göre değil, riske göre ayırın

Pazarlama ve müşteri destek ekipleri aynı LLM’i kullanabilir; ancak gerçekleştirdikleri görevlerin sonuçları çok farklı olabilir. Bir sosyal medya açıklamasını incelemek kolaydır. İade kararı, ürün teknik özellikleri veya hukuki bir açıklama ise daha güçlü kontrollere ihtiyaç duyar.

İşletmenizin yapay zekâya devretmek istediği görevleri listeleyin ve her birini şu dört soruya göre değerlendirin:

• Yanıt yanlış olursa ne olur?
• Görev özel veya mevzuata tabi bilgiler kullanıyor mu?
• Çıktı müşteriye ulaşmadan önce bir kişi tarafından incelenecek mi?
• Görev güncel şirket verisi gerektiriyor mu?

Ardından görevleri üç pratik risk seviyesinde gruplayın:

• Düşük risk: sınıflandırma, etiketleme, dil tespiti, şirket içi özetler ve ilk taslak içerikler.
• Orta risk: müşteri destek yanıtları, ürün karşılaştırmaları, potansiyel müşteri nitelendirme ve şirket içi öneriler.
• Yüksek risk: fiyat taahhütleri, finansal kararlar, uyum açısından hassas yanıtlar ve kayıtları değiştiren veya müşterilerle otomatik iletişim kuran işlemler.

Bu sınıflandırma, sistemin geri kalanını belirler. Bir model demoda iyi performans gösteriyor diye her görevi en yetenekli modele yönlendirmeyin.

2. Her görev için gereken minimum kaliteyi tanımlayın

“Yeterince iyi” ölçülebilir olduğunda model seçimi de netleşir. Modelleri karşılaştırmadan önce her görev için kısa bir kabul testi hazırlayın.

Bir ürün soruları asistanı için test şu koşulları içerebilir:

• Doğru ürün adını ve varyantını kullanması.
• Stok durumu, teslimat tarihi veya teknik özellik uydurmaması.
• İlgili katalog ya da politika kaynağını göstermesi.
• Müşterinin dilinde yanıt vermesi.
• Bilgi eksik olduğunda konuyu bir yetkiliye aktarması.

Bir potansiyel müşteri sınıflandırıcısında test çok daha sınırlı olabilir: doğru amacı belirlemesi, istenen ürünü kaydetmesi ve yorum belirsiz olduğunda belirsizliği işaretlemesi yeterli olabilir.

Gerçek geçmiş örneklerden küçük bir test seti oluşturun. Örneğin, yaygın, zor ve belirsiz durumları kapsayan 30 talep toplayabilirsiniz. Beklenen sonucu manuel olarak etiketleyin, gereksiz kişisel verileri kaldırın ve bir modeli veya istemi değiştirdiğinizde aynı seti yeniden kullanın.

Amaç kusursuz bir kıyaslama oluşturmak değil. Daha ucuz bir model üç kolay örneği başarıyla yanıtladı diye onaylanmasını engelleyecek, tekrarlanabilir bir karşılaştırma yöntemi kurmaktır.

3. Yön­len­dir­meyi görev kar­ma­şık­lı­ğına ve özel veri kullanımına göre yapın

İyi tasarlanmış bir yönlendirme politikasında genellikle en az üç farklı yol bulunur:

Basit görevler için hızlı yol

Dil tespiti, amaç sınıflandırması, alan çıkarma veya spam filtreleme gibi yapılandırılmış işler için daha düşük maliyetli ve hızlı bir model kullanın. Çıktı formatını sınırlayın; örneğin yalnızca izin verilen etiketleri içeren küçük bir JSON şeması kullanın.

Kaynaklara dayalı yanıtlar için bilgi yolu

Bir görev şirket bilgilerine ihtiyaç duyuyorsa önce ilgili belgeleri veya katalog kayıtlarını getirin. Modele yalnızca gerekli bağlamı aktarın. Model, genel hafızasına değil bu kaynaklara dayanarak yanıt vermelidir.

Retrieval-augmented generation, yani RAG, burada faydalıdır. RAG modeli otomatik olarak doğru sözlü hâle getirmez; modele kontrollü bir kanıt kümesi sunar ve yanıtın bu kanıtlarla desteklenip desteklenmediğini kontrol etmenizi sağlar.

Etkisi yüksek işlemler için inceleme yolu

Finansal, operasyonel veya itibari zarara yol açabilecek kararlar için daha güçlü bir model, daha dar kapsamlı bir istem ve insan onayı kullanın. Model öneriyi hazırlayabilir; ancak işlemi bir kişi veya belirli kurallara dayanan deterministik bir sistem onaylamalıdır.

Yönlendiriciniz basit sinyallerden yararlanabilir: görev türü, gerekli dil, belge bulunabilirliği, müşteri değeri, güven skoru ve talep edilen işlemin sistem kaydını değiştirip değiştirmediği.

4. Maliyeti optimize etmeden önce güvenlik sınırlarını ekleyin

Maliyet azaltma, daha fazla manuel iş veya müşteri şikâyeti doğuruyorsa değerini kaybeder. Yalnızca model talimatına güvenmek yerine kontrolleri iş akışının giriş ve çıkış noktalarına yerleştirin.

Kullanışlı kontroller şunları içerir:

• Girdi filtreleme: İşleme başlamadan önce gizli bilgileri, gereksiz kişisel verileri ve desteklenmeyen dosya türlerini kaldırın.
• Erişim kontrolü: Yalnızca ilgili iş akışının ve kullanıcının erişmesine izin verilen belgeleri getirin.
• Çıktı şemaları: Sınıflandırmalar, çıkarılan veriler ve işlemler için sabit alanlar zorunlu tutun.
• Kaynak kontrolleri: Getirilen içerikle desteklenmeyen iddialar içeren yanıtları reddedin veya işaretleyin.
• Güven yönetimi: Belirsiz ya da eksik durumları inceleme kuyruğuna gönderin.
• İşlem sınırları: Bir ajanın açık onay olmadan iade yapmasını, fiyat değiştirmesini veya mesaj göndermesini engelleyin.
• Denetim kayıtları: Görevi, model rotasını, kullanılan kaynak belgeleri, sonucu ve incelemeyi yapan kişinin kararını kaydedin.

Yedek planınız da açıkça tanımlanmış olmalı. Tercih edilen model zaman aşımına uğrarsa yedek model geri döndürülemez bir işlemi sessizce gerçekleştirmek yerine incelemeye gönderilecek bir taslak üretebilir.

5. Yalnızca token fiyatını değil, toplam maliyeti ölçün

İstek başına en ucuz model, her zaman en ucuz iş akışı değildir. Model kullanımı, veri getirme, depolama, tekrar denemeler, insan incelemesi ve hataları düzeltmenin maliyetini birlikte değerlendirin.

Örneğin, basit bir model 1.000 düşük riskli sınıflandırma yapıyor ve bunların %12’sini incelemeye gönderiyorsa iş akışı hâlâ verimli olabilir. Daha yetenekli bir model inceleme oranını %5’e düşürüyor ancak çok daha pahalıya mal oluyorsa iki rotanın toplam maliyetini karşılaştırın; yalnızca API faturasındaki satıra bakmayın. Bunlar örnek rakamlardır, bir kıyaslama sonucu değildir.

Her rota için en az şu ölçümleri takip edin:

• Tamamlanan görev başına maliyet.
• Ortalama ve en kötü durumdaki yanıt süresi.
• Sabit test setindeki başarı oranı.
• Eskalasyon ve tekrar deneme oranı.
• Kaynaklarla desteklenmeyen yanıt oranı.
• İnsan düzeltme oranı.
• Bir hata gözden kaçtığında müşteriye veya operasyonlara etkisi.

Verileri görev türüne göre inceleyin. Bir model Türkçe sınıflandırmada ekonomik, ancak Arapça ürün açıklamalarında zayıf olabilir. Kısa katalog yanıtlarında güvenilirken uzun politika belgelerinde zorlanabilir. Yönlendirme sistemi bu farklılıkları yansıtmalıdır.

Uygu­la­na­bi­lir bir yönlendirme kontrol listesi

Başka bir iş akışını LLM’e bağlamadan önce şunları doğrulayın:

1. Görevin yazılı bir başarı testi ve tanımlı bir risk seviyesi var.
2. Kabul edilebilir minimum model kalitesi net.
3. Özel veriler filtreleniyor ve erişim kontrolünden geçiyor.
4. Getirilen kaynaklar yalnızca görevin ihtiyaç duyduğu içerikle sınırlı.
5. Uygun durumlarda çıktılar şema, güven kuralı veya inceleme kuyruğu kullanıyor.
6. Etkisi yüksek işlemler onay veya deterministik kontroller gerektiriyor.
7. Maliyet, gecikme, düzeltmeler ve eskalasyonlar rota bazında kaydediliyor.
8. Zaman aşımı, eksik veri ve desteklenmeyen talepler için bir yedek plan bulunuyor.

Yönlendirme politikasını canlı müşterilere açmadan önce geçmiş örneklerle test edin. Uç durumlar için bir örneklem saklayın ve model, istem, veri getirme ayarları veya iş kurallarını değiştirdiğinizde bu örnekleri yeniden çalıştırın.

ADMOV nasıl yardımcı olabilir?

ADMOV, mevcut araçlarınızın, kataloğunuzun, CRM’inizin veya müşteri destek iş akışınızın etrafında bir LLM yönlendirme katmanı tasarlayıp entegre edebilir. Görevlerinizi riske göre haritalandırabilir, özel bir test seti hazırlayabilir, RAG kaynaklarını bağlayabilir, veri maskeleme ve erişim kontrolleri ekleyebilir, maliyet ve kalite kayıtları tutan model bazlı yedek akışlar oluşturabiliriz.

Sonuç, gereken yerde daha güçlü muhakemeden yararlanan; gerekmediğinde ise bunun için fazladan ödeme yapmayan, uygulanabilir bir yapay zekâ sistemidir. Mevcut iş akışlarınızı incelemek ve mantıklı bir yönlendirme planı oluşturmak için ücretsiz bir görüşme planlayın.