В OpenAI назвали сроки появления искусственного интеллекта, представляющего угрозу человечеству

В OpenAI назвали сроки появления искусственного интеллекта, представляющего угрозу человечеству

Разработчики ChatGPT формируют отдел контроля над сверхумным ИИ.

Как сообщает TechCrunch, компания OpenAI объявила о формировании специальной команды, которая будет заниматься разработкой методов управления и контроля над ИИ, который будет превосходить по возможностям человеческий разум. Командой руководит один из основателей компании и ее главный научный сотрудник Илья Суцкевер.

В блоге компании говорится, что так называемый «сверхумный» ИИ может появиться в течение десятилетия, и что он может представлять угрозу для человечества, если не будет подчиняться человеческим ценностям и интересам. Поэтому OpenAI считает необходимым искать способы контроля и ограничения его действий.

Пока нет эффективных решений для этой задачи, поскольку существующие технологии настройки ИИ основаны на обучении посредством обратной связи от человека. Однако такие методы предполагают контроль ИИ человеком, что невозможно с системами умнее людей.

Специальная команда OpenAI получит доступ к 20% вычислительным мощностям компании. Этот отдел будет использовать другой искусственный интеллект для оценки и настройки сверхумных ИИ, чтобы обеспечить их безопасность и соответствие желаемым результатам. Такой подход должен быть более эффективным и быстрым, чем человеческое вмешательство.

В OpenAI признают, что такой метод не гарантирует отсутствие ошибок и уязвимостей в создаваемых ИИ, и что настройка сверхразума может столкнуться с неожиданными проблемами. Однако они уверены, что настройка сверхума является задачей машинного обучения, в котором компания имеет большой опыт.

В OpenAI намерены делиться своими достижениями с другими участниками рынка ИИ.