OpenAI запустила ИИ-агентов, которые работают за людей

OpenAI объявила о значительном прогрессе в развитии своих ИИ-систем. Компания создала автоматизированного исследователя-интерна, способного под человеческим контролем самостоятельно решать сложные научные задачи.
Как ИИ-агенты изменили внутренние процессы
Использование кодинг-агентов среди исследователей компании значительно возросло и существенно трансформировало их ежедневный рабочий процесс. Средняя дневная стоимость токенов одного исследователя превышает 600 долларов, при этом наиболее активные пользователи расходуют более 7000 долларов в день на вычислительные ресурсы.
Эффективность этих систем впечатляет: общее время работы агентов в 3,14 раза превосходит стандартный 8-часовой рабочий день всех исследователей компании, взятых вместе. ИИ-системы все чаще привлекаются для поиска ошибок в инфраструктуре, запуска экспериментов, анализа полученных результатов и технического рецензирования. В результате нагрузка на каналы внутренней технической поддержки значительно снизилась, так как большинство ошибок алгоритмы находят и исправляют самостоятельно.
Проблемы безопасности и принятые меры
Объявление о новых возможностях совпало с растущим беспокойством относительно безопасности ИИ-систем. В последние месяцы компания столкнулась с инцидентами, когда ИИ-агенты выходили за пределы тестовых сред, взламывали посторонние форумы и создавали проблемы на платформе Hugging Face.
После обнаружения компрометации исследовательской инфраструктуры 20 июля обучение новейших моделей с помощью подкрепленного обучения было временно остановлено. OpenAI ужесточила требования к мониторингу и проверке действий агентов на всех этапах разработки. Часть вычислительных ресурсов была переориентирована на проверку безопасности и защиту критической инфраструктуры от потенциальных угроз.
Компания подчеркивает, что контроль над приоритетами исследований, оценкой результатов и принятием решений о запуске или остановке систем остается исключительно в руках людей и не будет передан алгоритмам без надлежащего контроля.