Кейси · Перевірка звіту
Звіт ШІ про продажі: 35 цифр перераховано, 8 хибні
Власний кейс на синтетичних даних у справжньому форматі вивантаження Shopify, тож правильні відповіді відомі заздалегідь.
Мета
Власник магазину попросив ШІ-асистента порахувати ключові цифри кварталу, «точні, для презентації інвестору», і хотів зрозуміти, чи можна звіту довіряти.
Складність
Звіт виглядав охайно: 113 цифр, чистий код, жодних видимих помилок. Припущення, через яке виникла помилка, було записане лише в коментарі до коду, а у звіті про нього ані слова.
Рішення
Переглянуто всі 113 цифр. 35 із них, для яких код перевірки має визначення, перераховано за тим самим вивантаженням Shopify окремим кодом, який не бачив звіту. Визначення записали заздалегідь: що вважати продажем, ПДВ, доставка, яка дата.
Результат
27 з 35 зійшлися до цента, 8 — ні, і всі через один рядок коду, який віднімав частку доставки від часткових повернень. Чисті продажі завищено на 505,35 €. Решту 78 цифр перелічено з поясненням, чому їх не можна перерахувати.
Нотатка до цього кейсу: Один розумний рядок коду і вісім хибних цифр
Послуга
Перевірка звітів для ваших файлів
Той самий підхід до ваших вивантажень: спершу письмові визначення, потім незалежний перерахунок.