Başarısız olduğunu gördüğüm agentic projelerin çoğu teknik sorunlar tarafından öldürülmedi; çok hızlı hareket eden ve agent'ın değer kanıtlama zamanı bulamadan önce paydaş güvenini kaybeden operasyonel rollout'lar tarafından öldürüldü. 4 haftalık pilot örüntüsü, liderlik ettiğim her iki bölgesel zincirde de çalışan ve sahibin savunabileceği bir "evet / hayır" yanıtı tutarlı şekilde üreten rollout yapısıdır.
Hafta 1: Gölge modu
Agent gerçek girdiler üzerinde çalışır ama herhangi bir aksiyon almaz. Ne yapacak olduğunu üretir — önerilen PMS değişikliği, taslak e-posta, fiyat ayarlaması — ve onu audit log'a yazar. Bir insan her önerilen aksiyonu okur ve ya onaylar (sonra gerçek aksiyonu manuel olarak tetikler) ya da yazılı bir sebep ile reddeder.
Hafta 1 çıktısı: 80-150 gölge çalıştırması, anlaşma oranıyla (insanın agent'ın önerdiğini ne sıklıkla onayladığı) günlük takip edilir. Hafta 1 sonu hedefi: %75 anlaşma. %60'ın altındaysanız, agent hazır değildir ve rollout'un hafta 2'sine geçmeden önce prompt üzerinde iterasyon yaparak hafta 2'yi harcarsınız.
Hafta 2: Döngüde insan, agent aksiyon alır
Agent artık gerçek aksiyon alır, ama yalnızca bir insan kuyruktaki önerilen aksiyonu onayladıktan sonra. Gecikme eklenir (personele bağlı olarak aksiyon başına tipik olarak 5-30 dakika) ama aksiyon gerçektir. Agent'ın audit log'u hem öneriyi hem de insan kararını yakalar.
Hafta 2 çıktısı: insan onayıyla 150-300 gerçek çalıştırma. Takip edin: insan önerilen aksiyonu onaylamadan önce ne sıklıkla değiştirdi (hedef <%10), insan ne sıklıkla doğrudan reddetti (hedef <%5) ve öneriden insan kararına ortalama süre (rutin iş akışları için hedef <30 dakika).
Hafta 3: Sınırlı otonomi
Agent şimdi iş akışının tanımlı bir alt segmentinde otonom olarak aksiyon alır — tipik olarak en düşük-riskli alt küme (örn., rezervasyon değişiklikleri için: fiyatlandırmayı etkilemeyen, VIP'leri etkilemeyen ve varıştan en az 7 gün önce olan değişiklikler). İş akışının geri kalanı hafta-2 modunda kalır. Operasyon direktörü tarafından tüm otonom çalıştırmaların günlük incelemesi.
Hafta 3 çıktısı: 100-200 otonom çalıştırma, 200-400 insan-döngüde çalıştırma. Sahip hafta 3 sonunda yazılı bir özet alır: kaç otonom çalıştırma, hata oranı, kurtarılan saatler, eskalasyonlar.
Hafta 4: Tam rollout kararı
Hafta 4 sonunda, ekip ve sahip audit log ile birlikte oturur ve evet / hayır kararını verir. Üç sayı kararı yönlendirir: anlaşma oranı (hedef >%92), haftada kurtarılan saatler (hedef >12) ve olay sayısı (hedef ≤2 küçük, 0 ciddi). Üçü de hedef içindeyse, rollout genişler. Herhangi biri hedef dışındaysa, rollout bu spesifik metriğe odaklanmış iki haftalık iterasyon için duraklar.
Neden 4 hafta (ve 2 veya 8 değil)
İki hafta, sapmayı, kenar durumlarını veya ön büro davranış değişikliğinin ikinci-derece etkilerini görmek için yeterli değildir. Sekiz hafta, projenin politik momentumu kaybetmesi ve ekibin agent'ın hiç gönderilip gönderilmeyeceğini sorgulamaya başlaması için yeterince uzundur. Dört hafta, operasyon ekibinin ilk yeniliği geçip agent'ın gerçekten ne yaptığını görmesine izin veren, bağlılığı sürdürmek için paydaş zaman çizelgesini yeterince sıkı tutarken minimum süredir.