Искусственный интеллект может обрабатывать огромные объемы данных с невероятной скоростью, но он часто сталкивается с неоднозначностью, предвзятостью и крайними случаями, которые выходят за рамки его обучающих данных [S1, S2]. Human-in-the-Loop (HITL) — это стратегический подход, который напрямую интегрирует человеческий интеллект в рабочие процессы ИИ для устранения этих пробелов [S3, S5].
Вместо замены людей, HITL рассматривает ИИ как инструмент для усиления человеческих возможностей [5]. Создавая непрерывную обратную связь, организации могут объединить масштаб автоматизации с человеческим этическим рассуждением и контекстуальным пониманием [S1, S6].
Как функционируют рабочие процессы HITL
Системы HITL работают через цикл взаимодействия, в котором люди направляют, проверяют и уточняют выводы ИИ [3]. Этот процесс обычно происходит в трех основных этапах [1].
Сначала, на этапе обучения, люди помечают или аннотируют сырые данные, чтобы создать набор данных-истины, например, помечая письма как спам или не спам [1]. Во-вторых, на этапе вывода обученная модель предсказывает результаты для новых данных [1]. В-третьих, на этапе обратной связи люди проверяют эти предсказания и предоставляют исправления, которые используются для повторного обучения или дообучения модели [1].
Различные технические механизмы стимулируют это обучение. Обучение с учителем полагается на людей, которые помечают примеры, чтобы помочь модели распознавать закономерности [1]. Обучение с подкреплением на основе обратной связи от человека (RLHF) использует человеческие суждения для выравнивания поведения ИИ с человеческими ценностями и предпочтениями [1]. Кроме того, активное обучение позволяет ИИ помечать только наиболее неоднозначные случаи для проверки человеком, что делает процесс обучения более эффективным [1].
Практические модели реализации
В зависимости от срочности и риска задачи, HITL реализуется с использованием различных операционных моделей [5].
В реальном времени вмешательство происходит, когда система приостанавливает или эскалирует задачу к человеческому оператору немедленно [5]. Это распространено в сценариях высокого риска, таких как обнаружение мошенничества в финансовых транзакциях или помощь в медицинской диагностике [5]. В этих случаях ИИ может инициировать оповещение, когда его оценка уверенности падает ниже определенного порога [5].
Пакетная обработка подразумевает, что люди проверяют и подтверждают решения ИИ после их принятия, но до официального внедрения [5]. Это лучше подходит для задач, которые не требуют немедленного ответа, таких как проверка юридических документов или контроль качества в производстве [5].
Компромиссы человеческого надзора
Интеграция людей в цикл обеспечивает критически важные страховочные сети, но при этом вводит новые операционные вызовы [2].
С положительной стороны, HITL повышает точность и надежность, выявляя ошибки моделей в редких или непредсказуемых ситуациях [S1, S2]. Он также предоставляет необходимый слой этического рассуждения для сложных дилемм в здравоохранении или правосудии, которые машины не могут решить [S1, S2]. Кроме того, он создает аудиторский след, объясняющий, почему решения были отменены, что поддерживает юридическую соответственность и прозрачность [2].
Однако эти преимущества связаны с затратами. Разметка данных людьми может быть медленной и дорогой, потенциально становясь узким местом при росте объемов данных [2]. Также существует риск человеческой ошибки; разметчики могут уставать или отвлекаться, и разные люди могут по-разному интерпретировать субъективные данные [2].
Приложения высокого риска и регулирование
Из-за рисков, связанных с полностью автономными системами, определенные отрасли и законы теперь требуют человеческого надзора [S2, S3].
В таких отраслях, как финансы и медицина, HITL снижает эффект «черного ящика», делая рассуждения derrière выходов ИИ более прозрачными [2]. Это необходимо для поддержания доверия и обеспечения того, чтобы ИИ не усиливал предвзятость, заложенную в обучающих данных [S2, S5].
Регуляторные рамки также кодифицируют эти требования. Например, Закон ЕС об ИИ указывает, что системы ИИ высокого риска должны быть спроектированы так, чтобы их можно было эффективно надзирать физическим лицам [2]. Такой надзор включает возможность вмешательства, переопределения или мониторинга системы в реальном времени для предотвращения рисков для здоровья, безопасности или основных прав [2].
Если вы развертываете ИИ в регулируемой среде, оцените, какие этапы вашего рабочего процесса требуют обязательной человеческой контрольной точки для обеспечения соответствия и безопасности.
