Разработчики искусственного интеллекта создают «ИИ-агентов» — цифровых помощников, которые смогут выполнять задачи на компьютере от имени пользователя. Однако эксперты предупреждают, что такие технологии несут серьезные риски для конфиденциальности и безопасности данных.
Google, Microsoft, OpenAI и другие компании называют «ИИ-агентов» главным направлением развития на 2025 год. Эти помощники будут собирать данные с экранов компьютеров, анализировать их и принимать решения. Уже сейчас их тестируют для выполнения рутинных задач, например, онлайн-шопинга, записи к врачу или обработки электронной почты.
Но такая технология требует значительного доступа к личной информации, что вызывает обеспокоенность. «Когда мы говорим о приложении, которое может видеть весь ваш компьютер, это по-настоящему тревожно», — заявила Коринн МакШерри, директор по правовым вопросам организации Electronic Frontier Foundation.
В одном из экспериментов специалист по безопасности Йоханн Рехбергер показал, как уязвимость «ИИ-агента» позволила злоумышленнику загрузить и запустить вредоносный файл. Это произошло из-за того, что система ошибочно восприняла текст на веб-странице как команду.
«Языковые модели как технология по своей природе доверчивы», — пояснил разработчик Саймон Уиллис, который тестировал подобные системы.
Microsoft и Salesforce предлагают внедрять их для автоматизации работы сотрудников. Но многие опасаются, что передаваемые системы данные в итоге заменят работников. «Когда вы отправляете разработчикам ИИ информацию о своей работе, вы фактически предоставляете данные, которые будут использованы, чтобы заменить вас, а не помочь вам», — считает Ясин Жернит, глава отдела машинного обучения и общества компании Hugging Face.
Создатели технологий признают существующие проблемы. «ИИ-модель
может сказать что-то от моего имени, совершить действия, потратить деньги или изменить внутреннее состояние моего компьютера», — заявил Дарио Амодей, глава компании Anthropic.
Проблему усугубляет необходимость обработки данных в облаке. Например, Microsoft пришлось отложить выпуск функции Recall, которая сохраняет действия пользователя на компьютере с помощью скриншотов, из-за опасений по поводу конфиденциальности.
Несмотря на обещания компаний улучшить защиту данных, эксперты настаивают на большей прозрачности в использовании технологий. «История показывает, что компании собирают данные от пользователей и используют их для таргетированной рекламы или продажи другим компаниям», — заявила МакШерри. — Разработчики ИИ должны быть более прозрачными в отношении того, какие данные захватываются агентами и как они используются».
Разработчики подчеркивают, что внедрение таких технологий требует времени. «Когда Google представил функцию Street View, она тоже вызывала критику. Люди спрашивали: "Почему меня сфотографировали в местах, где я не должен был быть?" Со временем мы нашли способы защитить конфиденциальность», — заявила Хелен Кинг, старший директор по вопросам ответственности Google DeepMind.
Потенциал «ИИ-агентов» огромен, однако пока вопросы безопасности, конфиденциальности и точности работы остаются нерешенными. «Если забыть про безопасность, конфиденциальность и защиту, эта технология просто невероятно захватывающая, ее потенциал потрясающий. Но я просто не вижу, как мы преодолеем эти проблемы», — отметил Уиллис.
Но такая технология требует значительного доступа к личной информации, что вызывает обеспокоенность. «Когда мы говорим о приложении, которое может видеть весь ваш компьютер, это по-настоящему тревожно», — заявила Коринн МакШерри, директор по правовым вопросам организации Electronic Frontier Foundation.
В одном из экспериментов специалист по безопасности Йоханн Рехбергер показал, как уязвимость «ИИ-агента» позволила злоумышленнику загрузить и запустить вредоносный файл. Это произошло из-за того, что система ошибочно восприняла текст на веб-странице как команду.
«Языковые модели как технология по своей природе доверчивы», — пояснил разработчик Саймон Уиллис, который тестировал подобные системы.
Microsoft и Salesforce предлагают внедрять их для автоматизации работы сотрудников. Но многие опасаются, что передаваемые системы данные в итоге заменят работников. «Когда вы отправляете разработчикам ИИ информацию о своей работе, вы фактически предоставляете данные, которые будут использованы, чтобы заменить вас, а не помочь вам», — считает Ясин Жернит, глава отдела машинного обучения и общества компании Hugging Face.
Создатели технологий признают существующие проблемы. «ИИ-модель
может сказать что-то от моего имени, совершить действия, потратить деньги или изменить внутреннее состояние моего компьютера», — заявил Дарио Амодей, глава компании Anthropic.
Проблему усугубляет необходимость обработки данных в облаке. Например, Microsoft пришлось отложить выпуск функции Recall, которая сохраняет действия пользователя на компьютере с помощью скриншотов, из-за опасений по поводу конфиденциальности.
Несмотря на обещания компаний улучшить защиту данных, эксперты настаивают на большей прозрачности в использовании технологий. «История показывает, что компании собирают данные от пользователей и используют их для таргетированной рекламы или продажи другим компаниям», — заявила МакШерри. — Разработчики ИИ должны быть более прозрачными в отношении того, какие данные захватываются агентами и как они используются».
Разработчики подчеркивают, что внедрение таких технологий требует времени. «Когда Google представил функцию Street View, она тоже вызывала критику. Люди спрашивали: "Почему меня сфотографировали в местах, где я не должен был быть?" Со временем мы нашли способы защитить конфиденциальность», — заявила Хелен Кинг, старший директор по вопросам ответственности Google DeepMind.
Потенциал «ИИ-агентов» огромен, однако пока вопросы безопасности, конфиденциальности и точности работы остаются нерешенными. «Если забыть про безопасность, конфиденциальность и защиту, эта технология просто невероятно захватывающая, ее потенциал потрясающий. Но я просто не вижу, как мы преодолеем эти проблемы», — отметил Уиллис.
