За два года мы в Битрикс24 трижды меняли способ проверять компетенции партнеров. Раньше у нас были годы на смену технологии, а сейчас ИИ сжал этот цикл до месяцев. Похоже, изобретать что-то новое теперь придется каждые полгода.
Сначала мы убрали тесты: их проходит нейросеть. Потом ввели видеопрезентацию под задачу и увидели на записях, что текст читают с суфлера. Перешли к диалоговым тренажерам и голосовой сертификации, где с продавцом разговаривает ИИ-клиент. Через какое-то время обойдут и ее. Это бесконечная игра в кошки-мышки. Из нее нельзя выйти, но постепенно становится понятно, куда она ведет.
Раунд первый: тесты
Тесты были у нас в ходу почти десять лет, и работать над ними мы начали задолго до нейросетей: ранжировали вопросы, меняли наборы, переформулировали их так, чтобы готовые ответы из интернета не подходили. Поворот случился, когда языковые модели научились отвечать на любой вопрос теста: копируешь его в чат и получаешь верный ответ, и никакая перетасовка уже не помогает. Мы оставили тесты для самопроверки. Как способ подтвердить знания они больше не работают.
Рынок найма этот тезис подтверждает. По опросу SuperJob, 36% рекрутеров получали тестовые задания, сделанные нейросетью. К этим 36% в уме добавим те задания, в которых нейросеть не распознали.
Какая-то доля людей будет обходить любую проверку, и это нормально. Пока доля небольшая, это погрешность: мы ее понимаем, думаем, как ловить, и живем дальше. Когда доля становится критичной, инструмент перестает измерять то, что нам нужно. Тогда есть два пути: сменить технологию или найти способ вернуть долю к допустимой. Тесты перешли эту границу первыми.
Раунд второй: видео
Для оценки нескольких тысяч менеджеров по продажам мы запустили сертификацию в формате видеозаписи: по вводным данным менеджер записывал видеопрезентацию для клиента. На нашей стороне ИИ разбирал, оценивал и давал обратную связь каждому. Мы видели человека и могли понять, умеет ли он сопоставить потребность клиента с техническим решением и кратко и связно презентовать его преимущества перед камерой.
Для многих такой формат отлично сработал, но со временем мы увидели паттерн «суфлера»: человек просто читает подготовленный текст. Иногда его писала модель, иногда сам менеджер или кто-то из коллег. Доля таких случаев становилась критичной. Проблема оказалась не только в нейросетях, но и в самой асинхронности формата: все, что человек сдает с задержкой, можно заранее подготовить. Поэтому мы перешли к формату, где такой задержки нет, — к диалогу в реальном времени.
На этом этапе стало понятно, куда в целом движется эта гонка. Любую компетенцию можно проверять на четырех уровнях: знать материал, понимать, как применить его в заданном кейсе, показывать навык в симуляции и, наконец, применять его в реальной работе. Каждый виток гонки с ИИ выталкивает проверку на ступень выше: тест обошли — переходим к кейсу, кейс обошли — к симуляции, симуляцию обойдут — остается реальная работа.
Рынок тоже движется в эту сторону: Дания в августе ввела устную защиту всех письменных экзаменационных работ, Сочинский институт РУДН заменил диплом юристам устным экзаменом и кейсами, а ACCA, одна из крупнейших бухгалтерских ассоциаций, свернула удаленные экзамены и вводит симуляции.
Актуальность навыка
В Битрикс24 есть экзамены для разработчиков: человек подтверждает личность, включает камеру и пишет код в нашей веб-среде, где есть документация и нет ни одной нейросети. Система работает, но этом году мы ее закрываем.
Экзамен хорошо измеряет навык, который перестал быть критичным. Наши курсы доводят человека до уровня джуна на платформе, и до появления моделей, способных писать программный код, экзамен был сигналом: вот специалист, который умеет решать базовые задачи на платформе. Сейчас базовые задачи достаточно хорошо решает ИИ-модель. Наличие специалиста с сертификатом джуна больше не дает компании прежнего преимущества.
В этом примере игра в кошки-мышки перестает быть единственной задачей. Параллельно возникает другой вопрос: что вообще стоит проверять, чему нужно учить, а что можно совсем убрать из программы. Курс для разработчиков мы оставляем как путь для тех, кто хочет пройти обучение самостоятельно, но подтверждать его прохождение больше не будем. Обучение и сертификация, которые десять лет шли вместе, теперь расходятся.
Синхронная и асинхронная работа: в чем для нас разница
Когда мы начали решать, какие навыки еще нужно проверять, а какие можно добрать с помощью инструментов, одним из главных критериев оказался режим работы: синхронный или асинхронный. Администратор клиники на телефоне работает синхронно, юрист над договором — асинхронно, и проверять их нужно по-разному.
Продавец разговаривает с клиентом в реальном времени. У него нет паузы, чтобы спросить модель, поэтому навык разговора и базовое знание продукта должны быть в голове. Мы определили этот базовый минимум и построили на нем голосовую сертификацию: ИИ-модель играет роль клиента, продавец проходит стадии сделки и отвечает, что именно он предлагает. На вопросы за пределами базы можно сказать: «Я вернусь к вам», а на базовые нужно отвечать в моменте. По сути, это устный экзамен, только провести его можно с тысячами продавцов у партнеров.
Разработчик работает асинхронно. У него есть время поставить задачу, проверить, протестировать, спросить. Ему достаточно методологии и суждения, а знание добирается по ходу. Проверять такого человека нужно по результату и по тому, как он этот результат проверил. Если нам понадобится оценивать разработку партнеров, мы пойдем в анализ реального кода, а не в тестовые задания. Более того, использование ИИ в работе мы будем приветствовать.
Циан в мае сделал навыки работы с ИИ обязательными при найме на технические позиции и оценивает на собеседовании декомпозицию задачи, контроль объема и валидацию результата. Для асинхронной работы это правильный формат. Можно использовать задачи с заложенной ошибкой, на которой модель отвечает уверенно и неверно, и тогда проверять реальное умение работать над кодом с ИИ.
Gartner ждет обе волны сразу: к 2026 году половина организаций введет проверку навыков без ИИ, к 2027 году три четверти процессов найма будут проверять умение работать с ИИ. Режим работы отвечает, какая волна где: синхронную проверяем без модели, асинхронную вместе с ней.
Судьба знания без ИИ
Нужно ли проверять знание, которым человек владеет без нейросети, каждая компания решит для себя сама. Но одну вещь стоит принять как данность: работу без искусственного интеллекта мы, похоже, больше выполнять не будем, потому что с ним многие задачи решаются быстрее и точнее. Работа наша и тех, кого мы проверяем, будет связана с ИИ, поэтому игнорировать это на экзамене — значит проверять работу, которой нет. Отсюда и ответ: знание без ИИ остается там, где режим работы его требует, например, у продавца на звонке.
Последняя ступень
Лестница заканчивается уровнем «проявляет навык в рабочих задачах». Мы движемся в эту точку и, похоже, в ней и останемся, хотя длинные прогнозы сейчас строить трудно. Тренажеры у нас в Битрикс24 уже связаны с реальными звонками: по записям видно, какие навыки у продавца проявлены, и он получает тренировку на тех примерах, с которыми столкнется завтра.
Гонка условных кошек и мышек продолжится, но технологии сильно изменили ее скорость. Поэтому руководителю стоит смотреть не только на то, как проверять навыки, но и на их актуальность: нужен ли этот навык в работе без ИИ и как человек должен использовать ИИ там, где он уже стал частью рабочего процесса.
Источник: Михаил Беляев, руководитель образовательного направления Битрикс24
