Автоматизируйте улучшение своих навыков: как заставить ИИ самообучаться через Auto Research

Автоматизируйте успех: Методология Auto Research для Claude Code

🗺 Карта навыков

1. Откажитесь от субъективизма: Переход к объективным метрикам

Первым шагом в профессиональной работе с ИИ является признание того факта, что большинство наших оценок качества «на глаз» — это иллюзия, которая препятствует прогрессу. Ник Сараев в своем видео отмечает фундаментальную проблему: «Около 70% времени я получаю желаемый результат, а 30% — это куча камней». Если вы строите рабочий процесс на ощущении «нравится/не нравится», вы никогда не сможете системно улучшить модель. Автоматизация требует точности, которую могут обеспечить только объективные, количественно измеримые показатели.

Вспомните пример Ника с веб-сайтом: вместо того чтобы оценивать дизайн или «легкость» сайта, он выбрал конкретный показатель — время загрузки в миллисекундах. Это числовое значение стало основой для всей работы агента. В случае с навыком «генератор диаграмм» (Diagram Generator), Ник не стал спрашивать ИИ: «Красиво ли это?». Он разработал строгий набор из четырех бинарных критериев (да/нет). Это позволило свести творческую задачу к инженерной, где каждый результат либо проходит тест, либо нет. Такой подход исключает человеческий фактор: агент не пытается угадать, что вы имели в виду под «профессиональным видом», он стремится соответствовать строго заданному чек-листу.

Почему это важно? ИИ-модели — это вероятностные системы. Они генерируют распределение данных, а не фиксированный ответ. Если вы не зададите жесткую границу, вы будете постоянно получать «шум». Когда Ник говорит о своем опыте оптимизации: «У нас был 81.3% прирост в скорости… но что еще круче, вы получаете список изменений, которые модель пробовала, чтобы улучшить ваш навык», — он подчеркивает важность накопления «исследовательских активов». Эти данные становятся ценнее самого промпта, так как вы можете передать их любой будущей модели (например, GPT-6 или Opus 5.0), чтобы она начала обучение с уже достигнутого уровня, а не с нуля.

«Вам нужно объективное измерение. Это число, которое можно измерить. Это не то, что ощущается как «быстрее» или «резонирует больше» — это реальные цифры. В моем примере с сайтом это была скорость загрузки в миллисекундах. В моих кампаниях холодной рассылки — это процент ответов». (Ник Сараев)

✅ Сделайте сейчас: Прямо сейчас возьмите один из ваших текущих промптов, который часто выдает посредственный результат. Откройте текстовый редактор и сформулируйте 3-5 критериев «идеального ответа», которые можно проверить бинарно (да/нет). Например: «Содержит ли ответ список из 5 пунктов?», «Присутствует ли в тексте специфический термин Х?», «Соблюдена ли структура заголовков H1-H2?». Откажитесь от оценочных суждений (например, «тон должен быть дружелюбным») в пользу проверяемых фактов.

2. Архитектура цикла: Как создать самообучающуюся систему

Внедрение методологии Auto Research — это не просто написание промпта, это создание системы управления. Основная идея, заимствованная у Андрея Карпатого (Andre Karpathy), заключается в создании автономного цикла: подготовка (prepare) -> обучение (train) -> оценка (eval). Ник Сараев демонстрирует, что для реализации этого не нужно быть разработчиком мирового уровня. Достаточно понять, что ваша роль смещается от «писателя промптов» к «архитектору тестов». Когда вы даете агенту доступ к репозиторию Auto Research, он начинает выступать в роли супервайзера, который постоянно проверяет свои же действия.

В видео Ник показывает, как он объединяет Claude Code с этой методологией. Процесс выглядит так: вы определяете «program.md», куда записываете инструкцию для агента: «Улучшай этот навык, используя метод Auto Research. Измеряй успех по моему набору критериев и итерируй, пока результат не станет идеальным». Агент выполняет генерацию, например, 10 диаграмм каждые 5 минут, пропускает их через ваш оценочный фильтр и, основываясь на статистике, вносит изменения в исходный промпт. Это превращает процесс оптимизации в замкнутый контур с положительной обратной связью. Ник отмечает: «В реальности все машинное обучение и выводы ИИ — это распределения данных. Чтобы контролировать это и позволить себе итерации, нужно запускать их многократно, брать моду (частоту) и медиану».

Одной из главных ошибок, которую совершают пользователи, является ожидание успеха после первой попытки. ИИ требует итераций. Как сказал Ник: «Самое крутое, что вы получаете не только улучшение, но и список изменений, которые модель попробовала сделать». Этот список — ваш золотой запас знаний о том, как именно ваша конкретная модель реагирует на изменения в инструкциях. Вы перестаете «чинить» навыки вручную; вы «обучаете» их, предоставляя системе среду для экспериментов. Вы буквально создаете «беговую дорожку» для ИИ, где он постоянно тренируется на ваших критериях качества.

«Если вы прогоните 20 попыток и все они направлены на создание одного типа контента, всегда будут различия. Но будут и вещи, которые повторяются. В реальности все выводы ИИ — это распределения данных, и для достоверной оценки нужно прогонять тесты многократно и находить среднее значение». (Ник Сараев)

✅ Сделайте сейчас: Настройте простую таблицу в Excel или Notion для ручной симуляции цикла Auto Research. Выполните 5 раз одну и ту же задачу, используя ваш текущий промпт. Запишите результаты в таблицу по критериям, которые вы создали в первом блоке. Посчитайте, какой процент из 5 попыток прошел по всем критериям. Если он ниже 100%, проанализируйте, что именно пошло не так (например, «модель забыла структуру заголовков в 2 случаях из 5»), и внесите одно конкретное уточнение в ваш промпт. Это и есть базовая итерация, которую вы потом автоматизируете с помощью агента.

3. Искусство статистической очистки: Борьба с вероятностным «шумом»

Даже самая совершенная система тестов потерпит крах, если вы будете опираться на единичные результаты. Как методист с многолетним стажем, я часто наблюдаю одну и ту же ошибку: разработчики ИИ-инструментов делают выводы на основе «первого попавшегося» ответа. Ник Сараев в своем видео наглядно демонстрирует, почему это критически опасно. Он объясняет, что вывод ИИ — это всегда распределение вероятностей. Представьте, что модель — это стрелок: она может попасть в яблочко, но может и промахнуться на пару сантиметров в сторону. Если вы судите о мастерстве стрелка по одному выстрелу, вы рискуете либо переоценить, либо недооценить его потенциал.

В методологии Auto Research статистическая достоверность достигается через многократные прогоны (batch processing). Вместо того чтобы просить ИИ создать одну диаграмму, Ник требует генерации 10 штук каждые несколько минут. Зачем это нужно? Чтобы вычислить моду и медиану результатов. Медиана — это ваш лучший друг в мире ИИ, так как она отсекает экстремальные выбросы (слишком плохие или случайно «гениальные» ответы) и показывает реальное качество вашего промпта. Когда вы получаете 39 баллов из 40 в итоговом тесте, это не разовая удача, а подтверждение того, что ваш навык стабилизировался на уровне 97.5% точности.

Почему важно избегать «шума»? Потому что ИИ склонен к галлюцинациям и вариативности. Если вы попросите модель сделать одну диаграмму, она может случайно забыть правило о пастельных тонах. Но если вы прогоните 10 диаграмм, вы увидите паттерн: либо модель стабильно соблюдает палитру, либо она системно «ломается» в определенных условиях (например, когда описание становится слишком длинным). Эти данные — «золотое дно». Ник упоминает, что вы не просто получаете улучшенный навык, вы получаете «список изменений», которые модель попробовала. Этот лог изменений — ваш самый ценный интеллектуальный капитал. Если через год вы решите сменить модель (например, перейти с текущего Claude на условную Opus 5.0), вам не нужно будет начинать с чистого листа. Вы просто скормите накопленную статистику и логи новой системе, и она сразу поймет, какие параметры были критически важны для успеха.

«В реальности все машинное обучение и выводы ИИ — это распределения данных. Чтобы контролировать это и позволить себе итерации, нужно запускать их многократно, брать моду (частоту) и медиану. Если вы прогоните 20 попыток, всегда будут различия, но будут и вещи, которые повторяются — именно на них нужно фокусироваться». (Ник Сараев)

✅ Сделайте сейчас: Проведите стресс-тест вашей системы. Возьмите задачу, которую ваш ИИ выполняет более-менее сносно. Запустите ее 10 раз подряд без изменений в промпте. Запишите в таблицу, сколько раз модель «ошиблась» по вашим ключевым критериям. Если количество ошибок варьируется от 1 до 5 на 10 попыток — поздравляю, вы обнаружили «шум». Теперь ваша задача — не править промпт, а добавить в него инструкцию, которая принудительно ограничивает «вариативность» (например: «Всегда используй строго определенный набор из 5 цветов», «Исключи любые элементы, кроме X и Y»). Снова проведите 10 прогонов и сравните медиану.

4. Мета-оптимизация: Как масштабировать успех на все процессы

Когда вы освоили цикл Auto Research для одного навыка (например, генератора диаграмм), вы выходите на уровень «мета-оптимизатора». Ник Сараев подчеркивает, что этот подход универсален. Его можно масштабировать на любые сферы: от написания холодных писем (где метрикой будет процент ответов) до оптимизации лендингов (где метрикой будет конверсия или время загрузки). Секрет успеха здесь заключается в «инкапсуляции» логики: вы создаете автономный агент, который не просто выполняет работу, а постоянно «подкручивает гайки» в своей инструкции.

Важнейший урок здесь — не попасть в ловушку «переоптимизации». Ник предупреждает: «Не делайте требования настолько узкими, чтобы модель начала подгонять ответ под формальные критерии в ущерб здравому смыслу». Если вы поставите слишком много жестких условий (например, «не более 50 слов», «ровно три заголовка», «обязательное использование слова X»), модель может превратиться в «студента, который выучил ответы, но не понял предмет». Она будет выдавать технически верный, но абсолютно бесполезный или «деревянный» контент. Ваша цель — найти баланс между жестким каркасом (вашими бинарными тестами) и свободой для модели выдавать качественный результат.

Методология Auto Research позволяет создавать «мета-навыки». Ник приводит пример того, как он планирует создать агент, который будет оптимизировать другие агенты в его репозитории. Это высшая ступень автоматизации. Представьте систему, которая мониторит качество работы всех ваших ИИ-ассистентов: если эффективность (метрика успеха) одного из них падает ниже 90%, система сама запускает цикл Auto Research, проводит 50 тестов, анализирует логи, вносит изменения в промпт и предлагает вам готовую «патч-версию». Это превращает ваш рабочий процесс из реактивного (вы что-то правите, когда оно ломается) в проактивный (система сама поддерживает себя в рабочем состоянии).

Завершая этот этап, важно осознать: навыки ИИ — это активы. Как акции или недвижимость, они могут либо расти в цене (становиться точнее и полезнее), либо обесцениваться (устаревать). Инвестируя время в создание системы автоматических тестов (evals), вы создаете инфраструктуру, которая не зависит от того, какая именно модель сейчас «на коне». Сегодня это Claude 3.5 Sonnet, завтра — новая версия другой модели. Но если у вас есть база данных тестов и логи итераций, вы можете перенести свои навыки на любую платформу за считанные минуты. Это и есть настоящий профессионализм в эпоху ИИ: владение не просто «кнопкой генерации», а системой управления качеством.

5. Иерархия критериев: Как отделить форму от содержания

В процессе внедрения методологии Auto Research многие совершают критическую ошибку, смешивая структурные требования с качественными характеристиками. Как методист, я подчеркиваю: если вы хотите, чтобы ваш ИИ-ассистент эволюционировал, вы должны четко разделять «гигиену» (базовые требования) и «эстетику» (суть контента). Ник Сараев в своем видео демонстрирует это на примере генератора диаграмм, где критерии делятся на техническую читаемость (грамматика, отсутствие цифр) и визуальный стиль (пастельные тона, линейность). Если вы свалите всё в одну кучу, агент начнет «галлюцинировать» критерии, пытаясь угодить вам в мелочах, забывая о глобальной задаче.

Разделение критериев позволяет вам выстроить систему весов. Представьте, что «легальность» (отсутствие запрещенных символов) — это жесткий фильтр, без которого результат даже не рассматривается. А «стилистика» — это мягкий критерий, который можно итерировать. Ник отмечает: «Если вы дадите модели слишком много жестких условий, она превратится в студента, который выучил ответы, но не понял предмет». Это фундаментальное предостережение. ИИ склонен к «оптимизационной ловушке»: он найдет способ формально удовлетворить ваш чек-лист, используя манипуляции текстом, но при этом выдаст совершенно пустой или бессмысленный результат.

Чтобы избежать этого, используйте принцип «слоистой оценки». Слой 1: Базовая валидация (бинарный проход/не проход). Если диаграмма нечитаема, она получает 0. Слой 2: Соответствие стилю. Здесь можно вводить гибкие оценки, но лучше оставить их как «да/нет», чтобы не размывать статистику. Как сказал Ник: «В моем опыте, использование шкал (от 1 до 7) не работает, так как вы получаете накопление вариативности». Чем проще ваш критерий, тем стабильнее модель, потому что она меньше «думает» о том, как интерпретировать шкалу, и больше фокусируется на реализации инструкции. Ваш промпт — это не просто набор команд, это архитектурный чертеж, который должен быть максимально устойчивым к «интерпретационному шуму» модели.

«Если вы поставите слишком много жестких условий, модель может превратиться в студента, который выучил ответы, но не понял предмет. Она будет выдавать технически верный, но абсолютно бесполезный или деревянный контент». (Ник Сараев)

✅ Сделайте сейчас: Разбейте ваш текущий проект на два списка критериев. Список А («Железные правила»): пункты, нарушение которых делает работу непригодной (например, «текст должен быть на русском языке», «наличие конкретного элемента»). Список Б («Желаемые качества»): стилистические пожелания («дружелюбный тон», «профессиональный оттенок»). Запустите цикл тестирования, где промпт жестко следует списку А, а список Б вводится как «рекомендация». Наблюдайте, как меняется качество: часто модель, не перегруженная лишними запретами, начинает работать более естественно и креативно.

6. Инкапсуляция и масштабирование: Создание «мета-агента» управления

Мы подошли к высшей точке методики — переходу от оптимизации одного процесса к управлению целой экосистемой навыков. Ник Сараев говорит о создании «мета-навыка», который будет анализировать другие агенты. Это не просто автоматизация, это создание цифровой нервной системы вашего рабочего пространства. Когда у вас 5, 10 или 50 настроенных навыков (генерация диаграмм, написание писем, анализ данных, кодинг), вы не можете вручную следить за каждым. Вам нужен «агент-надзиратель», который периодически проводит ревизию.

Механика мета-оптимизации выглядит так: вы создаете промпт-менеджер, который каждые 24 часа заходит в логи ваших навыков (например, в Claude Code), проверяет статистику успешности и, если точность падает ниже установленного порога (например, 90%), самостоятельно инициирует сессию Auto Research. Это превращает вашу работу в «обслуживание системы» вместо «выполнения задач». Вы больше не пишете код или контент сами — вы управляете качеством «фабрики», которая производит этот контент. Как отмечает Ник, это самый ценный актив: «Через год вы просто скормите накопленную статистику и логи новой модели, и она сразу поймет, какие параметры были важны для успеха».

Это кардинальное изменение парадигмы. Вы перестаете зависеть от того, какая модель «умнее» сегодня. Ваша инфраструктура тестов и логов — это ваша интеллектуальная собственность, которая делает вас независимым от вендоров. По сути, вы строите «цифровой двойник» вашего процесса мышления. В этом и заключается суть профессионализма в эпоху ИИ: умение инкапсулировать логику принятия решений в повторяемый, тестируемый и масштабируемый код. Вы учите систему «думать» так, как вы, и проверяете её на прочность с помощью автоматизированных сценариев, которые не устают и не совершают ошибок из-за «плохого настроения» или невнимательности, свойственных человеку.

«Вы создаете мета-навык, который будет оптимизировать другие агенты в вашем репозитории. Это высшая ступень автоматизации, когда система мониторит качество всех ваших ИИ-ассистентов и при падении эффективности сама запускает цикл Auto Research». (Ник Сараев)

✅ Сделайте сейчас: Создайте файл «Master_Audit.md», в котором перечислите все ваши текущие ИИ-навыки. Напротив каждого навыка запишите одну метрику (например, «процент ответов на email», «точность генерации диаграмм»). Выберите один самый важный навык и напишите для него «Аудит-промпт»: инструкцию, которая просит ИИ прочитать логи последних 5 запусков этого навыка и ответить на вопрос: «Что является главной причиной отклонения результата от идеала?». Это будет первым шагом к созданию вашего мета-агента, который будет помогать вам в принятии решений по оптимизации.

7. Вероятностная природа ИИ: Статистический подход к качеству

В профессиональной работе с ИИ важно усвоить одну фундаментальную истину: один запуск промпта — это не «результат», а лишь одна точка в бесконечном вероятностном облаке. Ник Сараев в своем видео акцентирует внимание на том, что вы не должны доверять первому же ответу модели. Это ловушка новичка. Если ваш агент выдал отличный результат с первой попытки, это удача, а не системная победа. Методология Auto Research предлагает сменить оптику с «генератора ответов» на «генератор распределений». Чтобы понять реальный потенциал вашего навыка, нужно прогнать его десятки раз и оценить не среднее арифметическое (которое может быть искажено выбросами), а медиану и моду — те параметры, которые показывают, что именно модель делает чаще всего.

Почему это критично? Потому что современные LLM обладают высокой вариативностью. Даже при температуре (temperature) равной 0, модель может менять структуру, стиль или фокус ответа в зависимости от контекстного окна или скрытых «галлюцинаций». Если вы оцениваете качество только по единичным запускам, вы постоянно находитесь в состоянии «пожарного»: что-то работает, а через час — ломается. Методически верный подход заключается в создании «статистической выборки». Если вы просите модель сгенерировать 10 диаграмм, вы получаете срез производительности. Если в 8 из 10 случаев диаграмма соответствует вашим критериям (например, отсутствие чисел и пастельные тона), значит, ваш промпт стабилен на 80%. Ваша задача в Auto Research — не «починить» одну диаграмму, а «подкрутить» инструкции так, чтобы вероятность попадания в критерии для следующей серии из 10 диаграмм выросла до 95%.

Ник отмечает, что использование количественных метрик — единственный способ объективизации процесса. Вместо того чтобы говорить себе «это выглядит неплохо», вы должны видеть цифру: «из 10 запусков 9 прошли проверку на legibility (читаемость) и 8 — на стилистику». Именно этот переход от субъективного восприятия к статистическому анализу отличает любителя от инженера промптов. Вы перестаете бороться с конкретным текстом и начинаете настраивать систему, которая «выплевывает» качественный контент с предсказуемой частотой. Это высшая форма контроля над ИИ: когда вы знаете не «что» получится, а «с какой вероятностью» это будет соответствовать вашим стандартам качества.

«В реальности все машинное обучение и все ИИ-выводы — это распределения данных. В нашем случае, чтобы контролировать их и улучшать, нам нужно запускать их многократно, находя медиану и моду результатов, так как это дает объективную картину работоспособности навыка». (Ник Сараев)

✅ Сделайте сейчас: Проведите стресс-тест вашего навыка. Запустите генерацию 20 идентичных задач подряд (не меняя промпт). Запишите, сколько из них (в процентах) реально соответствуют вашим требованиям. Если показатель ниже 70%, не пытайтесь исправить промпт вручную. Вместо этого добавьте в начало вашего промпта блок «Few-Shot» (примеры идеального результата) и повторите тест. Сравните, как изменился процент попаданий. Это и есть ваша точка отсчета.

8. Этика и будущее «Агентной Экосистемы»

Мы завершаем цикл разговором о будущем. Auto Research — это не просто инструмент для экономии времени; это смена парадигмы «человек-программист» на «человек-дирижер». Когда у вас есть система, которая сама себя оптимизирует (через логи, тесты и итерации), вы перестаете быть рабочим лошадкой и становитесь архитектором смыслов. Ник Сараев указывает на важный аспект: ваш «банк тестов» (evals) — это самый ценный актив, который у вас есть. Модели приходят и уходят (Claude, GPT, Gemini), но ваша методология тестирования и ваши критерии успеха остаются с вами.

Представьте, что через два года выйдет модель в 10 раз мощнее сегодняшней. Если у вас нет системы тестов, вы будете пробовать новую модель «на глаз», тратя недели на переобучение своих привычек. Если же у вас есть наработанная библиотека Auto Research, вы просто «прогоняете» свои старые навыки через новую модель, и она сама «подтягивается» под ваши стандарты, используя накопленные логи. Это делает вас неуязвимым к изменениям рынка. Вы строите систему, которая является «модельно-независимой». В этом и заключается суть профессионализма в эпоху ИИ: инкапсуляция логики принятия решений в повторяемый, тестируемый и масштабируемый процесс. Вы не просто учите машину делать работу, вы обучаете её «думать» в рамках вашей корпоративной культуры или эстетических предпочтений.

Помните предупреждение Ника о «гипер-оптимизации». Существует риск, что в погоне за 100% метриками вы создадите систему, которая идеально проходит тесты, но выдает сухой, бездушный контент. Как методист, я призываю вас оставлять пространство для «творческого шума». Ваш «мета-агент» должен не только проверять соответствие правилам, но и периодически оценивать «свежесть» и «новизну» ответов. Если система начинает повторяться, значит, ваши тесты стали слишком жесткими. Балансируйте между «железными правилами» (безопасность, структура) и «мягкими рекомендациями» (тон, вовлеченность). Ваша итоговая цель — создать не просто исполнителя, а партнера, который понимает контекст не хуже вас.

«Через год вы просто скормите накопленную статистику и логи новой модели, и она сразу поймет, какие параметры были важны для успеха. Это будет один из самых ценных активов нашего времени — база данных исследовательских данных». (Ник Сараев)

✅ Сделайте сейчас: Напишите «Манифест вашего агента». В одном абзаце опишите, что важнее: идеальное соблюдение инструкции или сохранение креативного стиля? Ограничьте промпт так, чтобы он не подавлял креативность, а направлял её. Примените правило «80/20»: 80% инструкций — это жесткие требования (формат, запреты), а 20% — это описание «духа» и ценностей того, что вы создаете.

🏋️ Практикум

1. Создайте файл eval_suite.md с тремя бинарными критериями для любого вашего рабочего процесса.
2. Выполните 10 запусков выбранного процесса и зафиксируйте процент успеха (Metric: Success Rate).
3. Напишите «Аудит-промпт», который анализирует причины ошибок в 3-х худших результатах из 10.
4. Обновите основной промпт навыка, добавив в него ответы, полученные из «Аудит-промпта».
5. Запустите повторные 10 тестов и замерьте дельту (прирост точности).
6. Напишите «Мета-промпт», который проверяет, не стали ли ответы слишком «деревянными» после оптимизации.