Кейси · Перевірка звіту

Звіт ШІ про продажі: 35 цифр перераховано, 8 хибні

Власний кейс на синтетичних даних у справжньому форматі вивантаження Shopify, тож правильні відповіді відомі заздалегідь.

8 з 35перерахованих цифр виявилися хибними, і всі через один рядок коду

Мета

Власник магазину попросив ШІ-асистента порахувати ключові цифри кварталу, «точні, для презентації інвестору», і хотів зрозуміти, чи можна звіту довіряти.

Складність

Звіт виглядав охайно: 113 цифр, чистий код, жодних видимих помилок. Своє припущення про доставку звіт назвав для повних повернень, а до часткових застосував мовчки. А з вивантаження не видно, чи входила доставка в часткове повернення.

Рішення

Усі 113 цифр переглянуто за 38 визначеннями, на які письмово відповіли до підрахунку: що вважати продажем, ПДВ, доставка, повернення, яка дата. У цьому кейсі на них відповіла модель ШІ за делегуванням власника, і документ фіксує це біля кожного правила; зі справжнім клієнтом відповідає клієнт. 35 цифр, для яких код перевірки має визначення, перераховано за тим самим вивантаженням Shopify окремим кодом, який не бачив звіту.

Результат

27 з 35 зійшлися до цента, 8 хибні, і всі через один рядок коду, який віднімав частку доставки від часткових повернень. Чисті продажі завищено на 505,35 €, а той самий рядок зсуває ще 9 цифр, яких перевірка не могла охопити. Решту 78 цифр перерахувати не можна, і для кожної названо причину: її немає в узгоджених визначеннях, вона помісячна, а визначення дають квартал, вона визначена інакше або описує очищення даних. Власник отримує звіт із позначкою біля кожної цифри (7 сторінок) і документ перевірки (15 сторінок).

Нотатка до цього кейсу: Один розумний рядок коду і вісім хибних цифр