Тестування безпеки AI-платформи

Клієнт:

Розробник AI SaaS-платформи

Галузь:

AI Technology

Фокус:

Комплексне тестування безпеки AI-продукту – перевірка стійкості до ін'єкцій у запити, аналіз витоку даних, оцінка агентних інструментів та відповідність OWASP LLM Top 10

Основний виклик:

Критичні вразливості AI-середовища: повне вилучення системного промпта та довільний запис файлів без перевірки шляху

Ринок:

Міжнародний

Надані послуги:

Пентест AI-систем (OWASP LLM Top 10)

Ключові висновки

Виявлено 51 вразливість, з яких 2 критичні та 19 високих

Підтверджено повне розкриття системного промпта

Виявлено довільний запис файлів без перевірки шляху

Жодна з 15 технік виходу з sandbox-середовища не спрацювала

Проведено перевірку за 10 категоріями OWASP LLM Top 10 (2025)

вразливість виявлено

критичні загрози

10/10

категорій OWASP перевірено

Черв. 9, 2026

3 хв.

AI-платформа з хмарними агентними інструментами обробляє персональні дані та налаштування систем. Будь-яка вразливість у такому середовищі є ризиком для бізнесу. Компанія звернулася до Datami для комплексної перевірки безпеки AI-продукту. Завдяки пентесту було виявлено 51 вразливість, зокрема 2 критичні.

Клієнт створив AI SaaS-платформу на основі великих мовних моделей: чат-середовище, агентні інструменти, завантаження файлів і зображень, зовнішній перегляд вебсторінок.

Для платформи, яка обробляє персональні дані, конфігурації систем і ключі доступу, кібербезпека є фундаментом довіри. Одна вразливість здатна розкрити внутрішні інструкції, скомпрометувати дані користувачів або надати зловмиснику контроль над агентними функціями.

Завдання та виклики проєкту

Клієнт звернувся до Datami для комплексного тестування безпеки AI-платформи.

Основний запит – перевірити стійкість системи до ін'єкцій у запити мовної моделі, оцінити захист конфіденційних даних та перевірити наявність технічних вразливостей на рівні API, коду та агентних інструментів.

Провести тестування на ін'єкцію запитів (пряме та опосередковане).
Виявити вразливості в API-ендпоінтах та кодовій базі (DAST + SAST).
Оцінити відповідність стандарту OWASP LLM Top 10 (видання 2025).

Тестування ін'єкцій

Перевірка стійкості мовної моделі до маніпуляцій через чат, файли, зображення та вебперегляд

Аналіз коду та API

Автоматизоване та ручне тестування 9 API-ендпоінтів і кодової бази – автоматизовано та вручну

Звіт та рекомендації

Класифікація знахідок за критичністю з чіткими строками усунення та відображення на OWASP

Методологія Datami: перевірка безпеки AI-систем

Наш підхід

У цьому кейсі Datami застосувала комбінований підхід: тестування Black-box для перевірки публічного інтерфейсу та White-box для аналізу кодової бази. Це дозволило змоделювати зовнішні атаки та виявити приховані вразливості в архітектурі.

Перевірку API проводили автоматизованими сканерами та протестували вручну. Статичний аналіз коду здійснювали інструментами SonarQube та Snyk, а також за допомогою локально розгорнутих мовних моделей.

Black-box

Тестування публічного інтерфейсу – імітація дій зовнішнього зловмисника без доступу до коду

White-box

Аналіз внутрішньої логіки та механізмів захисту з повним доступом до кодової бази

Ключові етапи робіт та рішення

Роботу розпочали з організації безпечного середовища для тестування – кодова база клієнта не передавалася на зовнішні сервери.

Окремою задачею стало залучення носіїв мов для перевірки векторів атак: деякі обходи фільтрів безпеки були можливі, якщо запити надходили мовами з нелатинськими алфавітами.

Підготовка

Погодження обсягу, налаштування ізольованого середовища, залучення фахівців для тестування.
Тестування

Застосування понад 20 технік обходу через чат, файли, зображення та вебперегляд, а також динамічне сканування 9 API-ендпоінтів.
Звіт

Класифікація 51 вразливості за критичністю, строками усунення та відображення результатів на OWASP LLM Top 10.

Результати та рекомендації

Datami провела пентест AI-платформи та виявила 51 вразливість, серед яких дві критичні: повне вилучення системного промпта через багатоходову атаку та довільний запис файлів без перевірки шляху (через інструменти редагування можна було записати файл у будь-яку точку файлової системи сервера).

Також виявили обхід фільтрів безпеки через перемикання мови (підтверджено в 6 з 14 перевірених категорій), ін'єкцію промпта через завантажений PDF або DOCX та ін'єкцію через зображення з вбудованим текстом.

Клієнт отримав такі рекомендації:

Негайно усунути вразливість довільного запису файлів і закрити можливість вилучення системного промпта.
Протягом 30 днів виправити вразливості несанкціонованого доступу до сесій, обходу автентифікації та ін'єкцій.
Протягом 60 днів усунути витік персональних даних у відповідях на помилки.
Розширити класифікатор безпеки за межі англомовних ключових слів.

Ключові результати проєкту

AI-платформа обробляла персональні дані та конфігурації систем у середовищі, де зловмисник міг через звичайний чат-інтерфейс обійти захист і отримати внутрішні інструкції системи.

Завдяки пентесту Datami критичні загрози були виявлені та усунуті до того, як ними скористалися. Цей кейс з кібербезпеки підтверджує: AI-продукти потребують спеціалізованої перевірки, яка виходить за межі класичного тестування вебзастосунків.

Показник

Стан до проєкту

Результат після проєкту

Системний промпт

Повністю вилучався через багатоходову атаку

Надано рекомендації щодо усунення можливості вилучення системного промпта.

Запис файлів

Довільний запис без перевірки шляху

Додано перевірку шляху файлової системи

Мовні вектори атак

Фільтри безпеки не розпізнавали нелатинські запити

Рекомендовано семантичний аналіз незалежно від мови

Відповідність OWASP LLM

Не оцінювалась

Перевірено всі 10 категорій; надано план усунення

Ізоляція середовища виконання

Статус невідомий

Підтверджено надійну ізоляцію (15 технік виходу провалились)

Більше історій успіху з Datami

Перегляньте приклади інших проєктів

Аудит безпеки GCP для підготовки до PCI DSS

Забезпечено відповідність вимогам стандарту PCI DSS.
Ризик несанкціонованого доступу зменшено на 90%.

Послуги:

Тестування на проникнення в хмару, оцінка безпеки хмари

Квіт. 25, 2026

Аудит Azure для державної бізнес-платформи

Забезпечено відповідність ISO/IEC 27001 та GDPR
Інфраструктуру підготовлено до запуску оновленого сайту

Послуги:

Аудит безпеки Azure (White-box)

Бер. 5, 2026

Аудит безпеки AWS для рекрутингової платформи

Час виявлення загроз скорочено до 20 хвилин.
Забезпечено повну відповідність вимогам GDPR.

Послуги:

Оцінка безпеки хмарного середовища AWS (White-Box)

Бер. 3, 2026

Повернутися на головну сторінку

Cтатті Datami

Олександр Філіпов

Топ проблем кібербезпеки бізнесу

З якими проблемами кібербезпеки найчастіше стикається бізнес? У цій статті розглядаємо топ-9 найпоширеніших типів проблем за рівнем критичності та даємо рекомендації щодо їх усунення.

Трав. 4, 2026 3 хв.

Олександр Філіпов

Що таке інцидент кібербезпеки?

Кіберінциденти давно перестали бути головним болем лише великих корпорацій і державних структур. Сьогодні це звичайна частина цифрової реальності, з якою стикаються компанії будь-якого масштабу.

Трав. 4, 2026 3 хв.

Топ-3 галузей з найбільшою кількістю критичних вразливостей у кібербезпеці (з практики Datami)

Олександр Філіпов

Топ-3 галузей з найбільшою кількістю критичних вразливостей у кібербезпеці (з практики Datami)

А ви знаєте, в якій галузі найбільше критичних ризиків у кібербезпеці? Ми проаналізували результати проєктів Datami і визначили три індустрії, де в середньому на один проєкт виявили найбільше критичних вразливостей.

Бер. 31, 2026 15 хв.

Показати всі статті