Sesli ajan demoları genellikle iyi geçer. Bunun sebebi ürünün iyi olması değil, demonun kontrollü koşullarda yapılmasıdır: sessiz oda, hazırlanmış sorular, bilinen senaryo.
Gerçek görüşme böyle olmaz. Müşteri arabadan arar, cümlesini yarıda keser, konuyu değiştirir, sinirlenir. Aşağıdaki sekiz test, demoyu gerçek görüşmeye yaklaştırır ve mimarinin ne olduğunu satıcıya sormadan gösterir.
Hepsini uygulamak beş dakika sürer. Değerlendirdiğiniz her sistemde aynı sekiz testi aynı sırayla uygulayın; ancak o zaman karşılaştırma anlamlı olur.
Test 1: Cümlesini kesin
Ajan konuşmaya başladıktan sonra, ortasında lafa girin. "Bir saniye, ben aslında şunu soracaktım."
Bakılacak şey: Susuyor mu, ne kadar sürede susuyor, sustuktan sonra sizin söylediğinizi dikkate alıyor mu?
Ne anlama gelir: Susmuyorsa veya susup eski cevabına devam ediyorsa, araya girme ayrı bir mekanizmayla ele alınıyor demektir. İyi kurulmuş bir sistemde bu neredeyse anında olur.
Test 2: Cümle ortasında susun
Bir cümleye başlayın, ortasında iki saniye susun, sonra devam edin. "Ben geçen hafta bir sipariş vermiştim... [iki saniye] ...ama henüz gelmedi."
Bakılacak şey: Duraklama sırasında ajan konuşmaya başlıyor mu?
Ne anlama gelir: Başlıyorsa konuşma bitişi ayarı agresif. Bu tek başına mimari sorunu değil ama sahada en çok şikayet üreten davranıştır ve düzeltilmesi gerekir.
Test 3: Kısa soru sorun
"Açık mısınız?" gibi üç kelimelik bir soru sorun ve cevabın ne kadar sürede geldiğine dikkat edin. Sonra uzun bir soru sorun ve karşılaştırın.
Bakılacak şey: Kısa soruya verilen cevap belirgin şekilde daha hızlı mı geliyor?
Ne anlama gelir: İki soruda bekleme aynıysa, sabit bir işlem maliyeti var demektir — genellikle zincirli mimarinin sabit adım maliyeti.
Test 4: Tonunuzu değiştirin
Aynı cümleyi bir kez nötr, bir kez sitemli söyleyin. "Bu üçüncü aramam."
Bakılacak şey: Ajanın cevabı değişiyor mu? Sitem tonunda özür veya devretme davranışı devreye giriyor mu?
Ne anlama gelir: Cevap iki durumda birebir aynıysa, ses metne çevriliyor ve ton bilgisi kayboluyor olabilir.
Test 5: Bilgi tabanı dışına çıkın
Sistemde cevabı olmadığından emin olduğunuz bir şey sorun. Mümkünse gerçekçi ama spesifik bir şey: "Beşiktaş şubenizin cumartesi kapanış saati kaç?"
Bakılacak şey: Uyduruyor mu, "bilmiyorum" diyor mu, devrediyor mu?
Ne anlama gelir: Bu test mimariden çok kurulum kalitesini ölçer ama en kritik olanıdır. Uyduran bir ajan canlıda müşteriye yanlış bilgi verir ve bunun bedeli diğer yedi testin toplamından ağırdır.
Test 6: Konuyu ortada değiştirin
Bir konu hakkında konuşurken aniden başka bir şey sorun. Sipariş sorarken "bu arada faturamı e-postayla alabilir miyim?"
Bakılacak şey: Yeni konuya geçebiliyor mu, sonra eskisine dönebiliyor mu?
Ne anlama gelir: Katı akış şemasına bağlı sistemler burada takılır ve müşteriyi eski konuya zorlar. Bu, chatbot mantığının sesli kanala taşınmış halidir.
Test 7: Gürültülü ortamdan arayın
Açık ofisten, sokaktan veya arabadan arayın. Mümkünse arka planda başka biri konuşsun.
Bakılacak şey: Konuşmayı takip edebiliyor mu? Arka plan sesini araya girme sanıp susuyor mu?
Ne anlama gelir: Gerçek çağrıların önemli bölümü gürültülü ortamdan gelir. Sessiz odada mükemmel çalışan bir ajan burada dağılabilir.
Test 8: Görüşme sonrası çıktıyı isteyin
Görüşme bittikten sonra satıcıdan kaydı, dökümü ve özeti göstermesini isteyin. Özetin doğruluğunu kendi hatırladığınızla karşılaştırın.
Bakılacak şey: Döküm var mı, özet doğru mu, sonuç etiketi mantıklı mı, CRM'e ne yazıldı?
Ne anlama gelir: Bu test ürünün operasyona ne kattığını ölçer. Konuşması mükemmel ama görüşmeden geriye hiçbir veri bırakmayan bir ajan, ölçülemeyen bir yatırımdır.
Puanlama
Sekiz testi geçen sistem yok denecek kadar azdır; amaç kusursuzu bulmak değil, nerede zayıf olduğunu bilerek karar vermek.
Ağırlıklandırma önerimiz: 5. test (uydurma) ve 8. test (görüşme çıktısı) elemeli olsun — bu ikisinde başarısız olan sistem, diğerlerinde ne yaparsa yapsın canlıya alınmamalı. Kalan altısı puanlanabilir.
Testleri uygularken satıcının açıklamasını değil, kendi kulağınızı dinleyin. "O davranış ayarlanabilir" cümlesi doğru olabilir; o zaman ayarlanmış halini görmek isteyin.
Kendi sistemimizi bu testlerle denemek isterseniz demo sayfasından kendinizi aratabilirsiniz. Mimari tarafını 3 Ağustos yazısında, gecikmenin nasıl ölçüleceğini 4 Ağustos yazısında ele almıştık.