Her sahibin sonunda isteyeceği audit log
Üretimde bir agent çalıştırmanın ilk 90 gününde bir noktada, sahip — veya GM, veya denetçi, veya kurumsal hukuk ekibi — şunu soracaktır: "Bana AI'nin tam olarak ne yaptığını, ne zaman, hangi misafir için ve bunun bir insanın yapacağı şeyle nasıl karşılaştırıldığını göster." Bu soruyu beş dakika içinde ekran-paylaşılabilir bir log'la yanıtlayamazsanız, proje bütçe kaybeder. Audit log bir "olsa iyi olur" değildir; agentic yatırımın her bir euro'sunu savunan çıktıdır.
Audit log'a ne girer
Sorgulanabilir nasıl yapılır
Arama yapamadığınız bir log işe yaramaz. Audit log şuna göre sorgulanabilir olmalıdır: misafir adı veya onay kodu, rezervasyon ID'si, tarih aralığı, agent karar tipi ve sonuç (başarılı / kısmi / başarısız / geçersiz kılındı). Minimum uygulanabilir uygulama, bunların indekslenmiş sütunlar olduğu bir Postgres tablosudur. Daha olgun uygulama, yapılandırılmış alanlara sahip Datadog, Honeycomb veya Logfire gibi bir loglama servisidir. İkisi de çalışır; bunlardan biri olmadan başlamayın.
Sahibin gerçekten soracağı
Üç soru, bu sırayla. Birinci, 30 gün sonra: "Bana agent'ın bir insanın yapacağı şeyden farklı bir şey yaptığı çalıştırmaları göster." Bu, kalibrasyon sorusudur. İkinci, 60 gün sonra: "Bana bir misafirin şikayet ettiği çalıştırmaları göster ve agent'ın ne yaptığını ile ne yapmasını dilediğimizi göster." Bu, başarısızlık-modu sorusudur. Üçüncü, 90 gün sonra: "Agent bize çalıştırma başına ne maliyet çıkarıyor ve aynı hacim için bir insan FTE bize ne maliyet çıkaracaktı?" Bu, ROI sorusudur. Audit log üçünü de yanıtlar; audit log'un yokluğu üçünde de başarısız olur.
Saklama sorusu
Audit log'ları ne kadar süre saklarsınız? Konaklamaya özel cevap: en azından PMS kayıtlarını sakladığınız sürece (vergi uyumu için AB yargı bölgelerinde tipik olarak 7 yıl) ve bir ödemeye dokunan herhangi bir çalıştırma için PCI DSS saklama yönergesini izleyin. Bu ölçekte yapılandırılmış log'lar saklamanın maliyeti küçüktür — bahsettiğimiz hacimler için mülk başına ayda €5-20. Regülasyon sorusu için bir log üretememenin maliyeti devasadır.
Krakov'daki mülkte, sahip altı aylık bir dönemde kurumsal bir müşteriyi içeren her agent aksiyonu için audit log'u görmek istedi. 20 dakika içinde sorgulanabilir bir tabloda 1.840 çalıştırma ürettik. O belge ertesi yılın bütçesini savundu.