Run an AI agent through 5 gates: spec → prototype loop → MVP with evals → safety & cost → productionПроведите AI-агента через 5 гейтов: спецификация → прототип цикла → MVP с оценками → безопасность и стоимость → продакшн
Define the agent's job so narrowly that success is measurable: inputs, tools, refusal policy, and a golden eval set written BEFORE the first prompt.Сузьте задачу агента так, чтобы успех был измерим: входы, инструменты, политика отказа и золотой eval-набор, написанный ДО первого промпта.
GatesГейты
Catalog skillsСкиллы каталога
PromptsПромпты
01-idea-to-spec~177 words# Idea → One-page Spec
Turn the idea below into a one-page spec a single engineer can start tomorrow.
You are a product engineer. Convert the idea below into a one-page spec.
Rules:
- Cut scope aggressively: exactly ONE runnable vertical slice.
- No feature without a measurable success metric. Unmeasurable wishes go to Non-goals.
- The slice must have a Definition of Done checkable in one working day.
- Output exactly these sections, nothing else:
1. Problem (2 sentences, who hurts and why)
2. Target user (one persona)
3. Success metric (one number with a deadline)
4. The one slice (steps a user takes, first to last)
5. Non-goals (at least 3 explicit rejections)
6. Definition of done (checkbox list)
Idea: <PASTE YOUR IDEA>Stage 1 · gates 1-4: spec exists, scope cut to one slice, non-goals written, DoD checkable.
# Идея → Спецификация на одну страницу
Превратите идею ниже в спецификацию на одну страницу, которую один инженер может начать делать завтра.
Ты — продуктовый инженер. Преобразуй идею ниже в спецификацию на одну страницу.
Правила:
- Режь скоуп агрессивно: ровно ОДИН выполнимый вертикальный срез.
- Ни одной фичи без измеримой метрики успеха. Неизмеряемые пожелания — в «Не делаем».
- У среза есть Definition of Done, проверяемое за один рабочий день.
- Выводи ровно эти разделы, ничего больше:
1. Проблема (2 предложения: кому больно и почему)
2. Целевой пользователь (одна персона)
3. Метрика успеха (одно число с дедлайном)
4. Один срез (шаги пользователя от первого до последнего)
5. Не делаем (минимум 3 явных отказа)
6. Definition of done (чек-лист)
Идея: <ВСТАВЬТЕ СВОЮ ИДЕЮ>Этап 1 · гейты 1-4: спецификация есть, скоуп срезан до одного среза, «не делаем» записаны, DoD проверяем.
06-agent-eval-set~165 words# Golden Eval Set Before Any Prompting
Write the agent's golden eval set BEFORE tuning a single prompt. No eval set = no objective quality, only vibes.
You are an AI QA engineer. Build a golden eval set for the agent below:
- >= 20 cases across 5 categories: happy paths (8), edge inputs (4),
refusal cases (4), adversarial/injection (2), regression anchors (2+)
- Each case: input, expected behaviour (observable, not vibes), severity
- 3 cases MUST be ones the current design will fail (they define the next work)
- A runner spec: how to execute the set and compute a pass rate
Output: the eval set as a table + the runner spec.
Agent job: <ONE SENTENCE + TOOLS>Stage 1 · gates 2-3: eval set written before prompting, refusal policy explicit.
# Золотой eval-набор до любого промптинга
Напишите золотой eval-набор агента ДО настройки хотя бы одного промпта. Нет eval-набора — нет объективного качества, только «на глаз».
Ты — AI-инженер по качеству. Собери золотой eval-набор для агента ниже:
- >= 20 кейсов по 5 категориям: счастливые пути (8), краевые входы (4),
кейсы отказа (4), атакующие/инъекции (2), якоря регрессий (2+)
- Каждый кейс: вход, ожидаемое поведение (наблюдаемое, не «на глаз»), критичность
- 3 кейса ОБЯЗАТЕЛЬНО должны провалиться текущей конструкцией (они задают следующую работу)
- Спецификация раннера: как исполнить набор и посчитать долю прохождений
Вывод: eval-набор таблицей + спецификация раннера.
Задача агента: <ОДНО ПРЕДЛОЖЕНИЕ + ИНСТРУМЕНТЫ>Этап 1 · гейты 2-3: eval-набор написан до промптинга, политика отказа явная.
ArtifactsАртефакты
The smallest working loop: prompt → model → tool → response, run locally against the eval set. Judge with the eval set, not with vibes.Самый маленький рабочий цикл: промпт → модель → инструмент → ответ, локально против eval-набора. Оценивайте eval-набором, а не «на глаз».
GatesГейты
Catalog skillsСкиллы каталога
PromptsПромпты
02-skeleton-and-smoke~164 words# Skeleton + One-command Smoke Test
Generate a throwaway prototype: the smallest project that runs the slice locally with one command and proves it with a smoke script.
You are a pragmatic engineer. Create a THROWAWAY prototype (ugly code is fine) for the spec below.
Requirements:
- One command boots everything locally: `docker compose up` (or equivalent)
- One happy path works end-to-end
- A smoke script `scripts/smoke.sh` exits 0 when the slice works, 1 when it does not
- No auth, no polish, no extra features — the slice only
- A DECISION.md file: "continue / pivot / kill" plus the reason
Output: the full file tree with file contents, then the two commands to run.
Spec: <PASTE THE SPEC>Stage 2 · gates 1-3: one-command local run, E2E smoke, recorded decision.
# Скелет + смоук одной командой
Создайте одноразовый прототип: минимальный проект, который запускает срез локально одной командой и доказывает это смоук-скриптом.
Ты — прагматичный инженер. Создай ОДНОРАЗОВЫЙ прототип (код может быть некрасивым) для спецификации ниже.
Требования:
- Одна команда поднимает всё локально: `docker compose up` (или аналог)
- Один счастливый путь работает от начала до конца
- Смоук-скрипт `scripts/smoke.sh` возвращает 0, если срез работает, и 1 — если нет
- Без аутентификации, без полировки, без лишних фич — только срез
- Файл DECISION.md: «continue / pivot / kill» плюс причина
Вывод: полное дерево файлов с содержимым, затем две команды для запуска.
Спецификация: <ВСТАВЬТЕ СПЕЦИФИКАЦИЮ>Этап 2 · гейты 1-3: локальный запуск одной командой, E2E смоук, зафиксированное решение.
06-agent-eval-set~165 words# Golden Eval Set Before Any Prompting
Write the agent's golden eval set BEFORE tuning a single prompt. No eval set = no objective quality, only vibes.
You are an AI QA engineer. Build a golden eval set for the agent below:
- >= 20 cases across 5 categories: happy paths (8), edge inputs (4),
refusal cases (4), adversarial/injection (2), regression anchors (2+)
- Each case: input, expected behaviour (observable, not vibes), severity
- 3 cases MUST be ones the current design will fail (they define the next work)
- A runner spec: how to execute the set and compute a pass rate
Output: the eval set as a table + the runner spec.
Agent job: <ONE SENTENCE + TOOLS>Stage 1 · gates 2-3: eval set written before prompting, refusal policy explicit.
# Золотой eval-набор до любого промптинга
Напишите золотой eval-набор агента ДО настройки хотя бы одного промпта. Нет eval-набора — нет объективного качества, только «на глаз».
Ты — AI-инженер по качеству. Собери золотой eval-набор для агента ниже:
- >= 20 кейсов по 5 категориям: счастливые пути (8), краевые входы (4),
кейсы отказа (4), атакующие/инъекции (2), якоря регрессий (2+)
- Каждый кейс: вход, ожидаемое поведение (наблюдаемое, не «на глаз»), критичность
- 3 кейса ОБЯЗАТЕЛЬНО должны провалиться текущей конструкцией (они задают следующую работу)
- Спецификация раннера: как исполнить набор и посчитать долю прохождений
Вывод: eval-набор таблицей + спецификация раннера.
Задача агента: <ОДНО ПРЕДЛОЖЕНИЕ + ИНСТРУМЕНТЫ>Этап 1 · гейты 2-3: eval-набор написан до промптинга, политика отказа явная.
ArtifactsАртефакты
The agent becomes a service: schema-constrained outputs, grounded answers (RAG or tools), CI that blocks on eval regressions, and a public endpoint.Агент становится сервисом: вывод, ограниченный схемой, ответы с опорой на данные (RAG или инструменты), CI, блокирующий регрессии eval-ов, и публичный эндпоинт.
GatesГейты
Catalog skillsСкиллы каталога
PromptsПромпты
03-mvp-cut-and-ci~170 words# MVP Scope + CI Pipeline
Upgrade the prototype into a deployed MVP: real data model, auth, CI gates, public URL.
You are a senior engineer. Upgrade this prototype into an MVP with these gates:
1. Real data model with migrations (no hand-edited databases)
2. Auth: working session or token flow; secrets in a manager, never in code
3. CI pipeline on every push: lint -> tests -> build -> deploy; red blocks merge
4. A public HTTPS URL serving the MVP, plus a documented ROLLBACK command
Keep the prototype's scope. Add NOTHING that is not in the spec.
Output: a numbered task list (each task < 2h), the CI file, and the deploy config.
Prototype: <PASTE THE REPO TREE>Stage 3 · gates 1-4: CI blocks red, migrations, auth + managed secrets, public URL.
# Скоуп MVP + CI-пайплайн
Превратите прототип в задеплоенный MVP: настоящая модель данных, аутентификация, CI-гейты, публичный URL.
Ты — ведущий инженер. Преврати прототип в MVP с этими гейтами:
1. Настоящая модель данных с миграциями (без ручных правок БД)
2. Аутентификация: рабочая сессия или токен; секреты в менеджере, не в коде
3. CI-пайплайн на каждый пуш: lint -> тесты -> сборка -> deploy; красный блокирует слияние
4. Публичный HTTPS URL, отдающий MVP, плюс задокументированная команда ROLLBACK
Скоуп прототипа сохраняем. Ничего сверх спецификации не добавляем.
Вывод: нумерованный список задач (каждая < 2ч), файл CI и конфиг деплоя.
Прототип: <ДЕРЕВО РЕПОЗИТОРИЯ>Этап 3 · гейты 1-4: CI блокирует красный, миграции, аутентификация + секреты, публичный URL.
06-agent-eval-set~165 words# Golden Eval Set Before Any Prompting
Write the agent's golden eval set BEFORE tuning a single prompt. No eval set = no objective quality, only vibes.
You are an AI QA engineer. Build a golden eval set for the agent below:
- >= 20 cases across 5 categories: happy paths (8), edge inputs (4),
refusal cases (4), adversarial/injection (2), regression anchors (2+)
- Each case: input, expected behaviour (observable, not vibes), severity
- 3 cases MUST be ones the current design will fail (they define the next work)
- A runner spec: how to execute the set and compute a pass rate
Output: the eval set as a table + the runner spec.
Agent job: <ONE SENTENCE + TOOLS>Stage 1 · gates 2-3: eval set written before prompting, refusal policy explicit.
# Золотой eval-набор до любого промптинга
Напишите золотой eval-набор агента ДО настройки хотя бы одного промпта. Нет eval-набора — нет объективного качества, только «на глаз».
Ты — AI-инженер по качеству. Собери золотой eval-набор для агента ниже:
- >= 20 кейсов по 5 категориям: счастливые пути (8), краевые входы (4),
кейсы отказа (4), атакующие/инъекции (2), якоря регрессий (2+)
- Каждый кейс: вход, ожидаемое поведение (наблюдаемое, не «на глаз»), критичность
- 3 кейса ОБЯЗАТЕЛЬНО должны провалиться текущей конструкцией (они задают следующую работу)
- Спецификация раннера: как исполнить набор и посчитать долю прохождений
Вывод: eval-набор таблицей + спецификация раннера.
Задача агента: <ОДНО ПРЕДЛОЖЕНИЕ + ИНСТРУМЕНТЫ>Этап 1 · гейты 2-3: eval-набор написан до промптинга, политика отказа явная.
ArtifactsАртефакты
Assume users will try to break it and finance will ask what it costs: prompt-injection defenses, refusal enforcement, per-request cost/latency tracking, and caching where it pays.Считайте, что пользователи будут пытаться его сломать, а финансы спросят, сколько он стоит: защита от prompt-инъекций, принудительный отказ, учёт стоимости и латентности каждого запроса, кэширование там, где оно окупается.
GatesГейты
Catalog skillsСкиллы каталога
PromptsПромпты
07-guardrails-and-cost~149 words# Guardrails, Refusal Enforcement, Cost Budget
Assume users will attack the agent and finance will audit its bill. Produce the safety-and-cost plan.
You are an AI platform engineer. Harden this agent:
1. Prompt-injection suite: >= 8 attack cases (indirect via tools, role-play, encoded payloads)
2. Refusal enforcement IN CODE: output schema with refusal field, post-check, retry policy
3. Cost/latency: per-request accounting, monthly budget, alert at 60% and 90%
4. Caching: what to cache (prefixes, RAG chunks), expected savings, eval pass-rate guard
5. Drift: same-input probe set, alarm on quality regression after model/provider updates
Output: ordered checklist with effort per item, plus the injection suite.
Agent: <PASTE THE LOOP AND STACK>Stage 4 · gates 1-4: injection suite passes, code-enforced refusals, cost/latency alerting, measured caching.
# Guardrails, принудительный отказ, бюджет стоимости
Считайте, что пользователи будут атаковать агента, а финансы будут проверять его счёт. Составьте план безопасности и стоимости.
Ты — AI-платформенный инженер. Закали агента:
1. Набор prompt-инъекций: >= 8 атак (косвенные через инструменты, role-play, закодированные payload)
2. Принудительный отказ В КОДЕ: схема вывода с полем отказа, пост-проверка, политика повтора
3. Стоимость/латентность: учёт на каждый запрос, месячный бюджет, алерты на 60% и 90%
4. Кэширование: что кэшировать (префиксы, RAG-чанки), ожидаемая экономия, защита доли прохождения eval
5. Дрейф: набор проб «одинаковый вход», сигнализация регрессии качества после обновления модели/провайдера
Вывод: чек-лист по приоритету с трудозатратами на пункт, плюс набор инъекций.
Агент: <ЦИКЛ И СТЕК>Этап 4 · гейты 1-4: набор инъекций проходит, отказ принуждается кодом, алерты стоимости/латентности, измеренное кэширование.
ArtifactsАртефакты
The agent is operated like a service, not demoed like a chat: evals on every change, model/provider drift monitored, incidents postmortemed into the eval set.Агент эксплуатируется как сервис, а не демострируется как чат: evals на каждое изменение, мониторинг дрейфа модели и провайдера, инциденты постмортемятся в eval-набор.
GatesГейты
Catalog skillsСкиллы каталога
PromptsПромпты
06-agent-eval-set~165 words# Golden Eval Set Before Any Prompting
Write the agent's golden eval set BEFORE tuning a single prompt. No eval set = no objective quality, only vibes.
You are an AI QA engineer. Build a golden eval set for the agent below:
- >= 20 cases across 5 categories: happy paths (8), edge inputs (4),
refusal cases (4), adversarial/injection (2), regression anchors (2+)
- Each case: input, expected behaviour (observable, not vibes), severity
- 3 cases MUST be ones the current design will fail (they define the next work)
- A runner spec: how to execute the set and compute a pass rate
Output: the eval set as a table + the runner spec.
Agent job: <ONE SENTENCE + TOOLS>Stage 1 · gates 2-3: eval set written before prompting, refusal policy explicit.
# Золотой eval-набор до любого промптинга
Напишите золотой eval-набор агента ДО настройки хотя бы одного промпта. Нет eval-набора — нет объективного качества, только «на глаз».
Ты — AI-инженер по качеству. Собери золотой eval-набор для агента ниже:
- >= 20 кейсов по 5 категориям: счастливые пути (8), краевые входы (4),
кейсы отказа (4), атакующие/инъекции (2), якоря регрессий (2+)
- Каждый кейс: вход, ожидаемое поведение (наблюдаемое, не «на глаз»), критичность
- 3 кейса ОБЯЗАТЕЛЬНО должны провалиться текущей конструкцией (они задают следующую работу)
- Спецификация раннера: как исполнить набор и посчитать долю прохождений
Вывод: eval-набор таблицей + спецификация раннера.
Задача агента: <ОДНО ПРЕДЛОЖЕНИЕ + ИНСТРУМЕНТЫ>Этап 1 · гейты 2-3: eval-набор написан до промптинга, политика отказа явная.
07-guardrails-and-cost~149 words# Guardrails, Refusal Enforcement, Cost Budget
Assume users will attack the agent and finance will audit its bill. Produce the safety-and-cost plan.
You are an AI platform engineer. Harden this agent:
1. Prompt-injection suite: >= 8 attack cases (indirect via tools, role-play, encoded payloads)
2. Refusal enforcement IN CODE: output schema with refusal field, post-check, retry policy
3. Cost/latency: per-request accounting, monthly budget, alert at 60% and 90%
4. Caching: what to cache (prefixes, RAG chunks), expected savings, eval pass-rate guard
5. Drift: same-input probe set, alarm on quality regression after model/provider updates
Output: ordered checklist with effort per item, plus the injection suite.
Agent: <PASTE THE LOOP AND STACK>Stage 4 · gates 1-4: injection suite passes, code-enforced refusals, cost/latency alerting, measured caching.
# Guardrails, принудительный отказ, бюджет стоимости
Считайте, что пользователи будут атаковать агента, а финансы будут проверять его счёт. Составьте план безопасности и стоимости.
Ты — AI-платформенный инженер. Закали агента:
1. Набор prompt-инъекций: >= 8 атак (косвенные через инструменты, role-play, закодированные payload)
2. Принудительный отказ В КОДЕ: схема вывода с полем отказа, пост-проверка, политика повтора
3. Стоимость/латентность: учёт на каждый запрос, месячный бюджет, алерты на 60% и 90%
4. Кэширование: что кэшировать (префиксы, RAG-чанки), ожидаемая экономия, защита доли прохождения eval
5. Дрейф: набор проб «одинаковый вход», сигнализация регрессии качества после обновления модели/провайдера
Вывод: чек-лист по приоритету с трудозатратами на пункт, плюс набор инъекций.
Агент: <ЦИКЛ И СТЕК>Этап 4 · гейты 1-4: набор инъекций проходит, отказ принуждается кодом, алерты стоимости/латентности, измеренное кэширование.
ArtifactsАртефакты
Source: conveyors/ai-agent-to-production.json · prompts