Jak mierzyć skuteczność chatbota i co liczyć jako rozmowę
Licznik rozmów łatwo zawyżyć. Wpadają do niego osoby, które tylko otworzyły okno, i Twoje własne testy z czasu wdrożenia, więc jeśli w jednym miesiącu liczysz wszystko, a w kolejnym tylko prawdziwe wiadomości, porównanie traci sens. Przyjmij jedną zasadę i trzymaj się jej: rozmowa to sesja z co najmniej jedną wiadomością klienta, bez Twoich testów.
Konwersja z czatu to udział rozmów, z którymi powiązano przynajmniej jedno zamówienie, wśród wszystkich rozmów z okresu. Dziesięć takich rozmów na 200 daje 5%. Jeśli zamiast rozmów z zakupem liczysz zamówienia, nazwij wskaźnik inaczej, bo z jednego wątku może wyjść kilka zakupów.
Zapisz też, jak długo po rozmowie liczysz zakup. Wynik liczony do końca sesji i wynik obejmujący kilka kolejnych dni to dwie różne miary, więc nie mieszaj ich na jednym wykresie. Przy małym ruchu pokazuj obok procentu sam licznik i mianownik, bo dwa na dwadzieścia i dwadzieścia na dwieście to te same 10%, ale pewność zupełnie inna.
Czy przychód z czatu oznacza dodatkową sprzedaż?
Nie wprost, bo przychód z rozmów to tylko wartość zamówień, które system powiązał z czatem. CartBot rozróżnia tu dwie sytuacje. W pierwszej klient dodał produkt do koszyka z czatu i potem go kupił, w drugiej bot polecił produkt w rozmowie, a ten znalazł się później w zamówieniu. Gdy integracja ze sklepem nie przekazuje pozycji zamówienia, wyliczenie opiera się na szacunku, więc przed zsumowaniem kwot sprawdź oznaczenia w raporcie.
Część tych osób kupiłaby i bez bota. Działa to też w drugą stronę. Ktoś, kto zapytał w czacie na telefonie, a zamówił wieczorem z komputera, może w ogóle nie zostać rozpoznany jako ta sama osoba, choć to odpowiedź bota przekonała go do zakupu. Niezależnie od narzędzia zapytaj więc dostawcę, co dokładnie nazywa zamówieniem z rozmowy i w jakim oknie czasu je liczy.
Dlatego kwotę z raportu porównaj z panelem sklepu i odejmij anulowane zamówienia oraz zwroty, pamiętając, że zamówienie za pobraniem to jeszcze nie pieniądze na koncie. Do oceny opłacalności weź marżę i koszt obsługi i dopiero taki wynik postaw obok faktury za bota.
Rozmowy rozwiązane bez człowieka
W CartBocie rozmowa liczy się jako rozwiązana przez bota, gdy nie włączył się do niej człowiek i klient nie wystawił negatywnej oceny. To przydatny sygnał, tylko że klient, który zamknął okno bez oceny, niczego nie potwierdził. Mógł dostać odpowiedź albo się poddać.
Zanim uznasz ten odsetek za miarę jakości, przeczytaj próbkę takich wątków, bo dopiero wtedy zobaczysz, ile z nich to załatwione sprawy, a ile ciche rezygnacje.
Przekazania do człowieka i zostawione kontakty
Więcej przekazań do człowieka nie musi znaczyć, że bot się psuje. W listopadzie może po prostu przybyć reklamacji albo pytań o wycenę indywidualną, których bot i tak nie powinien załatwiać sam. Zanim cokolwiek zmienisz w konfiguracji, porównaj tematy przekazanych rozmów z poprzednim miesiącem.
Przy usługach zamiast koszyka masz zostawiony kontakt, ale to dopiero zapytanie. Do pieniędzy droga prowadzi jeszcze przez umówioną wizytę i opłaconą usługę, a każdy z tych etapów potrafi się urwać, więc licz je osobno.
Oszczędność czasu zmierz na próbce. Zanotuj, ile czasu zajmuje Ci kilkanaście podobnych spraw dziś i ile zajmowało przed wdrożeniem, zamiast przeliczać każdy kontakt na wymyśloną sprzedaż.
Jakie KPI chatbota wpisać do miesięcznego zestawienia
Jedna kartka na miesiąc wystarczy, byle liczona za każdym razem tak samo, bo inaczej porównujesz dwa różne wskaźniki pod tą samą nazwą.
- Liczba rozmów według stałej definicji.
- Konwersja rozmów w procentach razem z licznikiem i mianownikiem, żeby było widać, na ilu rozmowach stoi wynik.
- Przychód z czatu, osobno dla koszyka z rozmowy i dla poleceń, z zaznaczonymi szacunkami.
- Ta sama kwota po anulowaniach i zwrotach, a obok niej marża po kosztach obsługi zamówień, bo dopiero taki wynik ma sens porównywać z fakturą za bota.
- Odsetek rozmów bez człowieka z notatką z przeczytanej próbki.
- Przekazania do człowieka pogrupowane według tematu, z krótką notatką, co się zmieniło od poprzedniego miesiąca i dlaczego.
- Czas obsługi zmierzony na próbce.
Przegląd rozmów raz w tygodniu
Z samych liczb nie dowiesz się, co poprawić, więc zarezerwuj w kalendarzu krótki, stały termin, na start na przykład 20 minut, i przeczytaj kilka wątków przekazanych człowiekowi oraz kilka zakończonych bez niego. Jeśli spraw do wyjaśnienia jest więcej, wydłuż przegląd.
W rozmowach szukasz dwóch rzeczy: pytań, na które bot nie miał dobrej odpowiedzi, i miejsc, w których klient zrezygnował. Przy błędnej odpowiedzi zapisz pytanie klienta i informację, której zabrakło w katalogu albo w bazie wiedzy. Po poprawce zadaj botowi to samo pytanie. W następnym tygodniu wróć do tej sprawy i sprawdź, czy zmiana naprawdę dotarła do rozmów z klientami.