Yapay Zekâ Asistanınız Farklı Yanıtlar Verdiğinde Ne Yap­ma­lı­sı­nız?

Aynı müşteri sorusuna farklı yanıtlar veren bir yapay zekâ asistanına güvenmek zordur. Sorunun kaynağı modelin kendisi olmak zorunda değildir; alınan veriler, değişen prompt’lar veya net olmayan bir iş kuralı da tutarsızlığa yol açabilir.

Bu hafta küçük bir değerlendirme seti oluşturup tutarsızlığın kaynağını belirleyin. Böylece neyi düzeltmeniz, hangi modeli kullanmanız ve nerede kesin bir kontrol kuralı uygulamanız gerektiğine daha net karar verebilirsiniz.

Önce farklı yanıt ile hatayı ayırın

Her farklı yanıt sorun değildir. Müşteri ürün önerisi istediğinde birden fazla geçerli seçenek sunulabilir. Ancak iade süresi, teslimat ücreti veya garanti koşulu sorulduğunda farklı yanıtlar operasyonel ve hukuki risk yaratabilir.

İki kategori oluşturun:

• Esnek yanıtlar: öneriler, açıklamalar, fikir geliştirme ve iletişim tonu.
• Sabit yanıtlar: fiyatlar, uygunluk kuralları, kargo koşulları, iade süreleri ve şirket içi süreç adımları.

Amaç her yanıtı birebir aynı hâle getirmek değildir. Amaç, iş kuralının sabit olduğu durumlarda her yanıtın doğru olmasını, birden fazla yanıtın geçerli olduğu durumlarda ise yeterince faydalı olmasını sağlamaktır.

Örneğin bir mağazanın iade süresi 14 günse 14, 15 veya 30 gün diyen bir yanıt kabul edilemez. Müşteri küçük bir salona hangi üç koltuk modelinin uygun olabileceğini soruyorsa birden fazla öneri makul olabilir.

30 soruluk bir değer­len­dirme seti oluşturun

Destek kayıtlarından, Instagram yorumlarından, WhatsApp mesajlarından, satış görüşmelerinden veya ürün kataloğunuzdan gerçek sorular toplayın. Yalnızca kolay sorular hazırlamayın. Veri erişiminin zayıf olduğu ve talimatların netleşmediği durumları da dahil edin.

Uygulanabilir bir set şunları içerebilir:

• 10 yaygın müşteri sorusu
• Ürün özellikleriyle ilgili 5 soru
• Politika veya uygunluk kurallarıyla ilgili 5 soru
• Eksik ya da belirsiz bilgi içeren 5 soru
• Asistanın yanıt vermeyi reddetmesi, konuyu bir çalışana aktarması veya açıklama istemesi gereken 5 soru

Her soruyu beklenen davranışla etiketleyin. Etiketin her zaman eksiksiz bir yanıt olması gerekmez. Örneğin şöyle olabilir:

• Şunları mutlaka içermeli: “14 günlük iade süresi”
• Şunu iddia etmemeli: doğrulanmamış bir teslimat tarihi
• Şunu sormalı: müşterinin ülkesi
• Şu durumda aktarmalı: hasarlı ürün itirazı
• Şuna kaynak göstermeli: ilgili şirket içi politika veya ürün kaydı

Bu yaklaşım, bir kişinin yanıtı “beğenip beğenmemesine” dayanan belirsiz bir inceleme yerine kullanılabilir bir test oluşturur.

Gerçek dil fark­lı­lık­la­rını ekleyin

Şirketiniz Türkiye ve Körfez ülkelerine hizmet veriyorsa soruların bir bölümünü müşterilerinizin gerçekten kullandığı dil ve üsluplarla yazın. Kısa mesajlara, yazım hatalarına, Arapça ve İngilizcenin karıştığı ifadelere, Türkçe kısaltmalara ve günlük konuşma diline yer verin.

Her soruyu mekanik biçimde çevirmeyin. “Kargo ne kadar?” diyen bir müşteriyle “How much is shipping to Riyadh?” diyen başka bir müşteri benzer bir niyete sahip olsa da farklı veri ve yönlendirme kurallarını test ediyor olabilir.

Aynı soruları birden fazla kez çalıştırın

Her değerlendirme sorusunu prompt’un ve bilgi kaynağının aynı sürümünü kullanarak asistan üzerinden birkaç kez gönderin. Yanıtı, alınan dokümanları, kullanılan modeli, yanıt süresini ve tahmini maliyeti kaydedin.

Küçük bir işletme için soru başına üç çalışma, ilk kontrol için yeterli olabilir. 30 sorunuz varsa bu 90 yanıt anlamına gelir. Böylece büyük bir test projesi yürütmeden belirgin kalıpları görebilirsiniz.

Her yanıtı basit bir puanlama sistemiyle değerlendirin:

• 2 — Geçti: doğru, ilgili ve beklenen davranışa uygun
• 1 — İnceleme gerekli: genel olarak faydalı ancak eksik, belirsiz veya kaynak göstermiyor
• 0 — Başarısız: gerçeklere aykırı, bilgi uyduruyor, kısıtlı içeriği açığa çıkarıyor veya aktarma kuralını yok sayıyor

İzlenim yerine örnekler kullanın. “Kendinden emin görünüyor” güvenilir bir kalite ölçütü değildir. “Doğru iade süresini belirtiyor ve inceleme yapılmadan önce geri ödeme sözü vermiyor” ise ölçülebilir bir kriterdir.

Modeli değiş­tir­me­den önce kaynağı teşhis edin

Bir yanıt başarısız olduğunda hatayı sınıflandırın. Böylece asıl sorun eksik veya kötü yapılandırılmış işletme verisiyken modeli değiştirme gibi yaygın bir hatadan kaçınabilirsiniz.

Alınan bilgi yanlışsa

Asistan güncel olmayan bir politikayı, yanlış ürün varyantını veya birbiriyle çelişen birkaç dokümanı alıyor olabilir. Prompt’u değiştirmeden önce alınan içerikleri kontrol edin.

İşe yarayabilecek düzeltmeler şunlardır:

• Her politika için bir sorumlu ve güncelleme tarihi belirlemek
• Yinelenen veya geçerliliğini yitirmiş dokümanları kaldırmak
• Ürün kayıtlarını SKU ya da varyanta göre ayırmak
• Ülke, dil ve müşteri segmenti metadatası eklemek
• Güvenilir bir kaynak bulunamadığında asistanın bunu açıkça söylemesini zorunlu kılmak

Doğru yanıt bilgi tabanında yoksa hiçbir model onu güvenilir biçimde bulamaz. Önce veri kaynağını güncelleyin.

Bilgi doğru olduğu hâlde yanıt yanlışsa

Talimat belirsiz olabilir. “Yardımcı ol” gibi geniş ifadeleri açık kurallarla değiştirin:

• Gerçeklere dayalı iddialarda yalnızca sağlanan ürün ve politika bilgilerini kullan.
• Stok, teslimat tarihi veya indirim varsayımı yapma.
• Gerekli bir alan eksikse tek bir açıklayıcı soru sor.
• Geri ödeme, hasar veya dolandırıcılık şüphesi içeren şikâyetleri bir çalışana aktar.
• Aksi istenmedikçe yanıtı müşterinin dilinde ver.

Ardından başarısız olan soruları yeniden çalıştırın. Hangi değişikliğin işe yaradığını görebilmek için her seferinde tek bir kontrolü değiştirin.

Kalite iyi, ancak maliyet veya hız zayıfsa

Her isteği varsayılan olarak en güçlü modele göndermeyin. Risk ve karmaşıklığa göre basit yönlendirme kuralları oluşturun.

Örneğin:

• Niyet tespiti, dil sınıflandırması ve sipariş numarası çıkarma gibi işler için daha düşük maliyetli bir model kullanın.
• Karmaşık politika açıklamaları, çok adımlı ürün karşılaştırmaları veya hassas konuların aktarılması için daha güçlü bir model kullanın.
• Kargo ücretleri ve iade süreleri gibi kesin değerlerde LLM’den hesaplama veya hatırlama istemek yerine sabit yanıt ya da yapılandırılmış sorgu kullanın.

Bunlar evrensel teknik kurallar değil, operasyonel tercihlerdir. Değerlendirme setinizle test edin; hem kaliteyi hem de maliyeti ölçün.

Yüksek riskli yanıtlar için kontrol meka­niz­ma­ları ekleyin

Yaygın sorulardaki yüksek puan, kontrol ihtiyacını ortadan kaldırmaz. Yanıt müşteriye ulaşmadan önce son bir doğrulama adımı ekleyin.

Bu kontrol şunları doğrulayabilir:

• Fiyat, indirim veya teslimat sözü onaylı bir kaynaktan alınmış mı?
• Gerekli alanlar mevcut mu?
• Yanıt şirket içi notları veya kişisel verileri açığa çıkarıyor mu?
• Geri ödeme, şikâyet veya hukuki konu bir çalışana yönlendiriliyor mu?
• Dil, müşterinin isteğiyle uyumlu mu?

Sabit iş kurallarında LLM’den yanıtı hesaplamasını veya hatırlamasını istemek yerine yapılandırılmış veri ya da deterministik bir iş akışı kullanmayı değerlendirin. Model sonucu açıklayabilir; değeri ise sistem sağlamalıdır.

Uygu­la­na­bi­lir bir değer­len­dirme kontrol listesi

Ekibinizle şu sırayı izleyin:

1. 30 gerçek soru toplayın ve beklenen davranışı etiketleyin.
2. Hangi yanıtların esnek, hangilerinin kesin olması gerektiğini işaretleyin.
3. Her soruyu üç kez çalıştırın ve tüm iz kayıtlarını saklayın.
4. Yanıtları geçti, inceleme gerekli veya başarısız olarak puanlayın.
5. Hataları veri, talimat, model, yönlendirme veya kontrol mekanizması sorunu olarak sınıflandırın.
6. En yüksek riskli hata kategorisini önce düzeltin.
7. Başka bir şeyi değiştirmeden önce aynı seti yeniden çalıştırın.
8. Gelecekteki prompt, veri veya model değişiklikleri için test setini sürüm kontrolü olarak kullanın.

Kullanılabilir 30 sorunuz yoksa 10 yüksek riskli örnekle başlayın ve gerçek konuşmalar geldikçe seti büyütün. Tekrarlanabilir küçük bir test, kimsenin güncel tutmadığı büyük bir testten daha değerlidir.

ADMOV nasıl yardımcı olabilir?

ADMOV, gerçek müşteri sorularınız, özel işletme verileriniz ve operasyonel kurallarınız etrafında bir LLM değerlendirme iş akışı kurmanıza yardımcı olabilir. Bilgi kaynaklarını yapılandırabilir, veri erişimi ve aktarma kontrollerini tanımlayabilir, model yönlendirmelerini karşılaştırabilir ve Arapça, Türkçe ve İngilizce etkileşimler için tekrarlanabilir bir inceleme süreci oluşturabiliriz.

Sonuç yalnızca bir model seçimi değildir. Asistanın ne zaman güvenilir olduğunu, ne zaman açıklama istemesi gerektiğini ve ne zaman bir çalışanın devreye girmesi gerektiğini gösteren pratik bir sistem elde edersiniz. Kurulumunuzu birlikte değerlendirmek için ücretsiz bir görüşme ayarlayın.