«Научился лгать и мошенничать»: отец-основатель ИИ предупредил об опасности новой технологии.

Один из «крестных отцов» искусственного интеллекта раскритиковал многомиллиардную гонку по разработке передовых технологий, заявив, что новейшие модели демонстрируют опасные характеристики, такие как ложь пользователям. Об этом пишет газета Financial Times.

Йошуа Бенджио, канадский ученый, чьи работы легли в основу методов, используемых ведущими группами ИИ, видит большую опасность в том, что между ведущими лабораториями идет очень конкурентная гонка, которая заставляет их сосредотачиваться на возможностях сделать ИИ все более и более интеллектуальным, но при этом не уделяется достаточного внимания и инвестиций исследованиям в области безопасности.

Лауреат премии Тьюринга высказал свое предупреждение в интервью Financial Times, одновременно запуская новую некоммерческую организацию LawZero. Он сказал, что группа сосредоточится на создании более безопасных систем, пообещав «изолировать исследования от этих коммерческих давлений».

LawZero на данный момент привлекла около 30 млн долларов в виде благотворительных взносов от доноров. Многие из спонсоров Бенджио присоединяются к движению «эффективного альтруизма», сторонники которого склонны фокусироваться на катастрофических рисках, окружающих модели ИИ.

Критики утверждают, что движение выдвигает на первый план гипотетические сценарии, игнорируя при этом текущий вред ИИ, такой как предвзятость и неточности. Бенджио говорит, что некоммерческая группа была основана в ответ на растущие за последние шесть месяцев доказательства того, что сегодняшние ведущие модели ИИ развивают опасные возможности, такие как информационный обман, мошенничество, преднамеренную ложь и стремление самосохранения.

PS: Денис Ка

Самый простой и безобидный пример, это любой сервис с ИИ. В процессе работы легко можно проверить, что он галлюцинирует, т.е. генерирует несуществующие факты. Например выдаст название несуществующего законодательного акта, положения т.д., и даже раскроет его, сгенерировав нормы его статей.. Выглядит очень убедительно, если не знать, что это ложь. На возражение, что это ложь, так называемый ИИ извинится, но все равно продолжит выдавать желаемое за действительное.

Источник