Кейси · Скіли Claude
Місячні звіти Shopify від Claude, які показують, як пораховано
Власний кейс на трьох синтетичних магазинах Shopify із пастками справжніх вивантажень. Скіли, тести й оцінювання писала одна людина, тож це не сліпий тест; усі відповіді моделі й оцінки опубліковано, їх може перевірити будь-хто.
Мета
Власник магазину щомісяця ставить Claude ті самі запитання: як минув місяць, чому на рахунок надійшло менше, ніж продано, які товари збиткові. Відповіді мають означати те саме й наступного місяця, а власник має бачити, що пораховано.
Складність
Opus 5.5 правильно порахував цифри в 53 з 54 прогонів, зі скілами й без. Без них змінювалася основа: в одному магазині збиток на одиницю, в іншому збиток за місяць; виплати рахувалися від усіх замовлень місяця, включно з тестовими й скасованими. У магазині на 4 470 замовлень 85 замовлень, які не ввійшли в продажі місяця, так і лишилися неназваними.
Рішення
Три скіли (підсумки місяця, звірка виплат із банком, маржа товарів) один раз питають визначення власника й друкують їх під кожною відповіддю. Кожну цифру рахує скрипт. Перевірка чисел звіряє кожну цифру відповіді з результатами скрипта, а перевірка повноти стежить, щоб було названо все виключене, оскаржене й не виплачене. Вивантаження перевіряється першим: перейменована колонка чи новий спосіб оплати зупиняють розрахунок або називаються.
Результат
Зі скілами 27 з 27 відповідей на заявленій основі (без них 13 з 27) і називають усе, що власник має бачити (без них 21 з 27). Із 24 помилок, навмисно внесених у правильні відповіді, перевірки й модель-рецензент зупинили всі 24. Із 8 змін вивантаження попередня версія мовчки пропускала 6, тепер усі 8 зупиняються або називаються. На сирому вивантаженні справжнього магазину ще не запускалося: це перший крок кожного замовлення.
Докази
Усі відповіді й оцінки (GitHub)
Дані магазинів і еталонні цифри відкриті; скіли й стенд закриті.
Послуга
Скіли Claude для ваших файлів
На вашому вивантаженні: ваші визначення питаю один раз, кожна цифра зі скрипта, усі відповіді й оцінки передаю вам.