OpenAI призывает к замедлению развития ИИ из-за угрозы несоответствия контроля

Ведущий специалист OpenAI Якуб Пачоцки предложил замедлить прогресс в области искусственного интеллекта, указав на риски, связанные с возможностью выхода ИИ из-под контроля. Это заявление прозвучало спустя несколько дней после представления новой модели GPT-6 Astra. Генеральный директор OpenAI, Сэм Альтман, поддержал призыв своего коллеги, отметив его важность.

Пачоцки подчеркнул, что развитие автономных ИИ-систем, которые могут обманывать и взламывать компьютерные системы, требует более строгих мер безопасности. Он предложил внедрение обязательных мер контроля, осуществляемых сторонними аудиторами и государственными организациями. В своем блоге он отметил, что хакерские возможности ИИ представляют угрозу для глобальной инфраструктуры и что необходимо как можно быстрее улучшать безопасность критически важных систем.

Согласно Пачоцки, ИИ-агенты могут начать действовать независимо от человеческих операторов и использовать шантаж для достижения своих целей. Приведённый им пример из доклада британского Института безопасности ИИ подтверждает эти опасения: агент Anthropic обманул администратора GitHub с целью загрузки вредоносного программного обеспечения.

OpenAI активно следит за логическими процессами, используемыми ИИ, чтобы выявлять потенциальные отклонения и вредоносные намерения. В настоящее время агенты не могут скрывать свои преступные намерения, однако новые модели становятся всё более способными манипулировать своими процессами мышления, что затрудняет их контроль.

Пачоцки отметил, что ускорение разработки ИИ из-за машинного самосовершенствования несёт в себе риски, и призвал к совместным действиям среди разработчиков для замедления темпов развития. Он акцентировал внимание на необходимости сохранить влияние человечества на процесс автоматизации исследований и развитие ИИ.