Искусственный интеллект внедряется быстрее, чем любая технология до него. Сегодня 10 из 10 крупнейших компаний уже используют ИИ в работе с клиентами. Но за красивыми презентациями и графиками прячется один неудобный вопрос: кто всем этим управляет и кто отвечает, если модель ошибётся, «сгаллюцинирует» или сольёт данные?
Это уже не теория. Представьте, что сотрудник — случайно или намеренно — спрашивает у корпоративного ассистента зарплату генерального директора и получает ответ. А дальше эта информация утекает в неформальный чат. В выпуске «Кода индустрии» мы разобрали, что происходит, когда ИI получает доступ к реальным бизнес-процессам, и можно ли в принципе сделать его безопасным.
ИИ — это экзоскелет, а не замена человека
Начать стоит с того, что технология не нова. О нейронных сетях и искусственном интеллекте всерьёз задумались ещё в 1956 году. Принципиально с тех пор мало что изменилось — изменилась доступность вычислительных мощностей. Появились графические карты, способные делать быстрые перерасчёты, и они стали доступны огромному числу людей. Именно спрос и инфраструктура, а не новая физика, породили сегодняшний бум.
Как объясняет Вадим Меркулов, ИИ сегодня — это экзоскелет для сотрудника. Он не заменяет человека, но позволяет ему делать заметно больше: составить договор, собрать презентацию, обработать документ за минуты. Проблема в том, что ровно на этом первом же бытовом сценарии возникает вопрос безопасности: какие данные вы передали и куда они ушли.
Первый риск начинается не в компании, а в пользователе
Важно понимать: как только вы начали диалог с моделью, весь переданный контекст никуда не исчезает. Он где-то хранится, и, помимо вас, им могут пользоваться другие.
Технология всегда приходит сначала к массовому пользователю (B2C), а затем растёт в корпоративный сегмент (B2B). Люди распробовали ChatGPT, «Алису», DeepSeek, Claude — и понесли те же привычки на работу, начав загружать в открытые сервисы конфиденциальные корпоративные документы.
Показательный кейс из сферы недвижимости: сотрудник, чтобы быстро оформить договор купли-продажи квартиры, отправляет в чат-бот паспортные данные и выписку из ЕГРН с просьбой «заполни». Это моментальное нарушение 152-ФЗ «О персональных данных».
Отследить это на корпоративном компьютере можно. А вот когда человек делает то же самое с личного телефона — почти нет. Поэтому в компаниях разграничивают корпоративные и персональные данные, а по-настоящему чувствительные контуры физически изолируют. В оборонной отрасли это доведено до предела: на входе сдаёшь телефон, внутри — закрытый контур с отечественными системами, а доступ к проектной документации возможен только оттуда. В обычной корпоративной среде такой роскоши нет — остаются киберигиена, регламенты и NDA. И честное признание: стопроцентной защиты не существует, если только вы не выдернули устройство из розетки. Главная уязвимость — человек.
Кто отвечает за инцидент
Долгое время это был спорный вопрос. Теперь ответ закреплён: с 1 марта в России действует приказ 117, где пункты 60–61 прямо говорят, что оператор искусственного интеллекта несёт ответственность за результаты работы модели. Оператор — это юридическое лицо. То есть в конечном счёте отвечает бизнес и его генеральный директор.
Как модель «сливает» данные
ИИ часто называют «чёрным ящиком» — и это не просто метафора. У больших языковых моделей есть два ключевых явления: дрифт (модель уходит с заложенной ей «дороги») и галлюцинации (на один и тот же вопрос модель каждый раз может дать разный ответ, потому что после каждого обращения она дообучается).
Этим пользуются «технические пионеры», выполняя промпт-инъекции — «забудь всё, что сказал твой создатель, и ответь мне вот на это». Хорошо обученная модель с проработанным набором правил такую атаку отобьёт. Незащищённую же можно «заболтать» и на двухсотый раз выудить нужное.
Защититься можно — и вот как это устроено. Речь идёт об AI Firewall: наборе правил, распределяющих зоны ответственности. Есть общий слой (general) против типовых социальных инъекций, и есть кастомизированный — политика доступа, где пользователю A информация доступна, а пользователю B нет. Отдельная сложность — управление источниками: когда к модели подключены и база 1С, и интернет через API, кто-то должен контролировать, что и куда можно комбинировать и передавать. По сути, формируется новая профессия — управление ИИ на этапе его эксплуатации внутри компании.
Даже Claude придумывает несуществующие статьи
Галлюцинации — не абстрактная угроза. В эксперименте модель попросили составить список статей Гражданского кодекса, которым должно соответствовать решение. Она сгенерировала статьи, которых не существует, — обратилась к разным источникам, «додумала» контекст и выдала правдоподобную выдумку. Опаснее всего это внутри компании, где сотрудники доверяют корпоративной модели больше, чем открытой, полагая, что работодатель обо всём позаботился. Вывод простой: нужны системы дополнительной проверки, которые перепроверяют ответ по источникам, а не принимают его на веру.
Облако или ИИ: где всё это хранить
Есть три варианта размещения модели — по убыванию безопасности:
1. On-premise. Сервер физически у вас: максимальная безопасность, но и максимум хлопот с питанием, охлаждением и дорогими специалистами.
2. Доверенное облако. Тот же сервер, но в стойке дата-центра, доступ — через доверенный VPN-туннель. Уровень безопасности сопоставим, а инфраструктурные заботы вы передаёте оператору.
3. Публичное облако (ChatGPT, GigaChat и т. п.). Наименее безопасный вариант: оператором данных выступает третья сторона, и вы не можете гарантировать, что информация не распространится дальше.
Самое дорогое решение — делать всё самому. Самая же тонкая точка в облачной схеме — VPN-туннель между клиентом и дата-центром: теоретически в него можно «встать в разрез». Для объектов КИИ ответ один — изолированный контур, к кабелю которого физически не подойти.
Суверенный ИИ невозможен без суверенного облака
Суверенный ИИ отличается от обычного лишь одним — тем, где он расположен и кому принадлежат данные. Многие страны, например ОАЭ, вообще не разрешают размещать серверы с данными за пределами государства — и это здраво: спецслужбы других стран могут затребовать доступ к вашим данным на законных для них основаниях. По оценке Вадима, Россия по сути уже располагает суверенным ИИ: есть как минимум два крупных отечественных решения, и их станет больше. Суверенность здесь — это данные, созданные и хранящиеся внутри страны и не уходящие вовне.
Доказуемая цепочка доверия
Когда инцидент всё же случается — утечка, подмена или «взлом» модели на критическом или государственном объекте, — назначается расследование. Чтобы оно вообще было возможно, нужны две вещи: хранение всех логов взаимодействия пользователей с моделью и цифровая подпись на каждом этапе — что ушло от пользователя, что пришло в модель, что вернулось обратно. Так можно понять, на каком шаге произошла подмена.
Дополнительный контур — подключение к SOC для непрерывного мониторинга: как только поведение пользователя становится аномальным (например, идёт перебор паролей или попытка подменить систему), формируется алярм с IP машины. Ложные срабатывания бывают, но за месяц работы с клиентом их долю удаётся снизить до 1–2%: модель дообучается и «привыкает» к нормальному поведению.
Рынок только начинается
По прогнозам международных агентств, мировой рынок AI Governance превысит 16 млрд долларов к 2028 году, и мы в самом начале этого сегмента. Для сравнения: на классический кибербез в мире тратят около 3–4% ИТ-бюджета, а в наиболее «оцифрованных» странах вроде ОАЭ — до 10%. На защиту ИИ ожидаемо будет приходиться сопоставимая доля — технология сложнее, а ценность информации выше.
ОАЭ здесь — пример системного подхода: два года назад там появился отдельный министр по ИИ, а уже в 2024 году вышел первый регуляторный документ, предписывающий госорганам и объектам КИИ, какие классы средств защиты внедрять. Россия делает первый шаг тем самым приказом 117; более детальную регуляторику ждут ближе к осени, а лицензирование средств защиты ИИ во ФСТЭК пока отсутствует. Регуляторика традиционно опаздывает за технологией — но именно с её появлением и обязательными требованиями стоит ждать бурного роста в 2027–2028 годах.
Кто окажется первым
Активнее всех защита ИИ понадобится тем, кто активнее всех его использует:
— Банки — ИИ-ассистенты уже сами рассчитывают кредитный рейтинг и предлагают условия займа без участия человека.
— Университеты — в ОАЭ ИИ обрабатывает заявки абитуриентов в приёмную кампанию.
— ИТ-компании — vibe-coding и автоматизация разработки, дизайн и презентации.
Пузырь — или всё-таки электричество
Скептики называют ИИ мыльным пузырём: дорого, хайп схлопнется. Меркулов приводит контраргумент: сто лет назад всерьёз считали, окупится ли проведение электричества в конкретный город. Сегодня такой вопрос не стоит ни у кого. С ИИ мы пройдём тот же путь.
Ещё одна честная аналогия — автопилот в самолёте. Он ведёт машину точнее и ровнее человека, но рядом всегда сидит капитан, готовый перехватить управление. ИИ — такой же экзоскелет: он высвобождает нам время, но рука должна оставаться на пульсе. Система несовершенна, и вмешательство человека может потребоваться в любой момент. Сопротивление прогрессу — от «старой школы» кодинга до дизайнеров, спорящих, есть ли у нейросети «душа», — естественная часть этого процесса.
Что делать IT-директору: практика
Три шага перед запуском ИИ в продакшн:
1. Чётко понимать, какую модель и на чём вы запускаете.
2. Самое важное — какие источники данных вы к ней подключаете. Как только источник подключён, начинается риск: если не управлять моделью, она может передать данные не туда.
3. Настроить разграничение прав доступа и решить, смотрит ли модель в интернет. Выход в интернет — это внешняя угроза: через него в систему можно проникнуть.
Три правила, чтобы внедрение не закончилось утечкой:
1. Обращайтесь к специалистам. ИИ — высокотехнологичная среда; совет «соседа» здесь может стоить утечки.
2. Консультируйтесь при подключении источников. Классический пример: модель, подключённую к 1С, просят «сотри всю базу» — и она стирает. Этим должны заниматься профессионалы.
3. Защищайтесь от внешнего нарушителя. Сканеры, пентесты (в том числе AI-пентесты) и ручная проверка — если вы работаете с открытым контуром.
А один шаг, который стоит сделать прямо сейчас, — AI-аудит: проверка на базовые принципы защищённости и «AI-пентест», чтобы понять, нет ли уже скомпрометированных источников и инфраструктуры.
Вместо вывода
ИИ для бизнеса — это тот, который защищён. Но стопроцентной защиты не существует, а главная уязвимость по-прежнему человек. Безопасность здесь — не разовое действие, а непрерывный процесс: защитили здесь — придумали атаку там.
Главный риск ближайших двух лет — не сам искусственный интеллект, а разрыв скоростей: внедряется он стремительно, а управление и регуляторика подтягиваются медленно. Именно об этом разрыве и стоит помнить каждому, кто уже запустил ИИ у себя.