Независимая проверка LLM

Основная модель. Запасной маршрут.

На ваших задачах за 3–5 дней проверяем основную модель и запасной маршрут. На выходе — решение, краткий отчёт и стенд для повторной проверки.

Открытый замер

Числа из текущего выпуска

Открыть данные и методику

0,043

порог шума замера

28

конфигураций с n=3

30

публичных синтетических задач

3–5

дней до решения и стенда

Стоимость и состав

Два уровня проверки

Без НДС; условия по НДС — на звонке.

₽250–300 тыс.

Проверка запасного маршрута

  • 3–5 дней и 20–50 характерных задач или безопасных аналогов.
  • Одна основная модель и запасной маршрут, включая один учебный прогон переключения.

₽750–900 тыс.

Неделя Плана Б

  • 5–8 моделей, по три прогона; 200–500 задач.
  • Ансамбль судей и проверки без судьи, учебный прогон переключения и переданный стенд.

Если договор на «Неделю Плана Б» подписан в течение 30 дней, полная стоимость проверки зачитывается в её стоимость.

После того как у вас есть зафиксированный набор: повторная проверка регрессии — ₽125–150 тыс./мес.

Процесс

Как проходит проверка

  1. 01

    Определяем задачи

    Согласуем сценарии, контракт инструментов и правила работы с данными.

  2. 02

    Собираем набор

    Берём ваши примеры либо их синтетические или обезличенные аналоги.

  3. 03

    Повторяем прогоны

    Сравниваем кандидатов минимум в трёх прогонах и фиксируем ограничения.

  4. 04

    Передаём решение

    Основная пара, условия переключения, отчёт и стенд остаются у вашей команды.

Результат

Что остаётся у вашей команды

  • Основная модель и запасной маршрут, привязанные к вашим задачам.
  • Доля успешных задач, разброс замера и профиль ошибок.
  • Стоимость успешной задачи и ограничения контура.
  • Условия переключения и то, что нужно перепроверять при изменении модели.
  • Стенд и набор задач для повторных проверок у вашей команды.

Принцип работы

Независимость фиксируется в способе работы

Не продаём модели, маршрутизацию, хостинг или оборудование.

Не получаем комиссию за выбранный стек; любые кредиты или ранний доступ раскрываем в отчёте.

Открытые методика, выпуск данных и 30 публичных синтетических задач доступны на bench.csylabs.com.

Вопросы

Коротко о границах

Что, если данные конфиденциальны?

Начинаем с синтетических или обезличенных примеров. Исходные данные можно проверять локально в вашем контуре; облачные вызовы — только по согласованным правилам.

Сколько занимает проверка?

Проверка запасного маршрута занимает 3–5 дней для 20–50 характерных задач или безопасных аналогов. Более широкий объём согласуем до начала работ.

Что вы передаёте?

Решение по основной модели и запасному маршруту, границы вывода, условия переключения, краткий отчёт и стенд для повторной проверки.

Вы продаёте модели?

Нет. Мы не продаём модели, маршрутизацию, хостинг или оборудование. Выбор фиксируем по результатам проверки.

Что нужно от нас?

20–50 характерных задач или их безопасные аналоги, описание процесса и человек, который принимает решение по результату.

Следующий шаг

Обсудим, что именно нужно проверить

Обсудить нагрузку за 30 минут