Кейсы · Скиллы Claude
Месячные отчёты Shopify от Claude, которые показывают, как посчитано
Собственный кейс на трёх синтетических магазинах Shopify с ловушками настоящих выгрузок. Скиллы, тесты и оценку писал один человек, так что это не слепой тест; все ответы модели и оценки опубликованы, их может перепроверить кто угодно.
Цель
Владелец магазина каждый месяц задаёт Claude одни и те же вопросы: как прошёл месяц, почему на счёт пришло меньше, чем продано, какие товары в убытке. Ответы должны значить то же самое и в следующем месяце, а владелец должен видеть, что посчитано.
Сложность
Opus 5.5 правильно посчитал цифры в 53 из 54 прогонов, со скиллами и без. Без них менялась основа: в одном магазине убыток на единицу, в другом убыток за месяц; выплаты считались от всех заказов месяца, включая тестовые и отменённые. В магазине на 4 470 заказов 85 заказов, не вошедших в продажи месяца, так и остались неназванными.
Решение
Три скилла (итоги месяца, сверка выплат с банком, маржа товаров) один раз спрашивают определения владельца и печатают их под каждым ответом. Каждую цифру считает скрипт. Проверка чисел сверяет каждую цифру ответа с результатами скрипта, а проверка полноты следит, чтобы было названо всё исключённое, оспоренное и не выплаченное. Выгрузка проверяется первой: переименованная колонка или новый способ оплаты останавливают расчёт или называются.
Результат
Со скиллами 27 из 27 ответов на заявленной основе (без них 13 из 27) и называют всё, что владелец должен видеть (без них 21 из 27). Из 24 ошибок, специально внесённых в правильные ответы, проверки и модель-рецензент остановили все 24. Из 8 изменений выгрузки прежняя версия молча пропускала 6, теперь все 8 останавливаются или называются. На сырой выгрузке настоящего магазина ещё не запускалось: это первый шаг каждого заказа.
Доказательства
Данные магазинов и эталонные цифры открыты; скиллы и стенд закрыты.
Услуга
Скиллы Claude для ваших файлов
На вашей выгрузке: ваши определения спрашиваю один раз, каждая цифра из скрипта, все ответы и оценки передаю вам.