مانا پترو
همهٔ یادداشت‌ها

حالت سایه تنها راه صادقانهٔ استقرار یک مدل است

مدلی که روی دادهٔ تاریخی اعتبارسنجی شده، در برابر گذشته اعتبارسنجی شده است. دادهٔ زنده بیش از آنچه کسی انتظار دارد با آن مخالفت می‌کند.

6 دقیقه مطالعه

آزمون پس‌نگر ثابت می‌کند که یک مدل روی مجموعه‌ای تمیز، کامل و از پیش جمع‌آوری‌شده خوب عمل می‌کرد. محیط واقعی هیچ‌کدام از این‌ها نیست: حسگر خراب می‌شود، نام تگ عوض می‌شود، یک ترانسمیتر دوباره کالیبره می‌شود، و یک اپراتور نقطه‌تنظیمی را به دلیلی تغییر می‌دهد که هیچ داده‌ای ثبتش نکرده است.

اجرای سایه، مدل را روی دادهٔ زنده می‌برد، هر پیش‌بینی را ثبت می‌کند و هیچ‌چیز را تغییر نمی‌دهد. بعد از یک دورهٔ مشخص، پیش‌بینی‌ها در برابر آنچه واقعاً رخ داده امتیاز می‌گیرند، روی خط دادهٔ واقعی و با همهٔ خرابی‌هایش.

نتیجه مرتب بدتر از آزمون پس‌نگر درمی‌آید، و همین فاصله، خروجی مفید کار است. به شما می‌گوید که اختلاف از خط داده می‌آید، از رانش، یا از مدلی که روی یک تاریخچهٔ تمیز بیش‌برازش شده است.

اجرای سایه وقت می‌برد، معمولاً یک تا سه ماه برای هر قابلیت، و در همین دوره است که هیچ‌کس ارزشی نمی‌بیند. این هزینهٔ واقعی است و خیلی کمتر از هزینهٔ سامانهٔ هشداری است که میدان در هفتهٔ سوم دیگر به آن اعتماد نمی‌کند، چون ده هشدار اولش غلط بوده‌اند.

یک دروازهٔ اعتبارسنجی باید پیش از شروع دورهٔ سایه نوشته شود، با یک عدد مشخص. دروازه‌ای که بعد از کار سرش توافق شود، دروازه نیست.