Стаття 15
чиннаСИСТЕМИ ШТУЧНОГО ІНТЕЛЕКТУ З ВИСОКИМ РИЗИКОМ
1. Системи штучного інтелекту з високим рівнем ризику проектуються та розробляються таким чином, щоб вони забезпечували належний рівень точності, надійності та кібербезпеки, а також стабільні показники протягом усього терміну експлуатації стосовно цих аспектів.
2. З метою роз’яснення технічних аспектів вимірювання належного рівня точності та надійності, як це передбачено в частині 1, а також інших відповідних показників ефективності, Комісія, у співпраці з відповідними заінтересованими сторонами та організаціями, такими як органи метрології та бенчмаркінгу, за необхідності, сприяє розробці еталонів та методів вимірювання.
3. Рівні точності та відповідні критерії точності для систем штучного інтелекту з високим рівнем ризику зазначаються у відповідних інструкціях із застосування.
4. Системи штучного інтелекту з високим рівнем ризику повинні бути максимально стійкими до помилок та невідповідностей, що можуть виникнути в межах системи або середовища, у якому використовується ця система, зокрема внаслідок її взаємодії з фізичними особами або іншими системами. З огляду на це вживаються технічні та організаційні заходи.
Надійність систем штучного інтелекту з високим рівнем ризику може бути забезпечена за допомогою технічних рішень для резервування, які можуть включати плани щодо резервного копіювання або забезпечення безпеки у разі виникнення несправностей.
Високоризикові системи штучного інтелекту, які продовжують навчатися після введення в обіг або введення в експлуатацію, розробляються таким чином, щоб ризик впливу на майбутні операції через використання упереджених результатів як вхідних даних («зворотні зв’язки» / feedback loops) був усунутий або максимально обмежений, а будь-який такий зворотний зв’язок належним чином усувався за допомогою відповідних заходів обмеження ризиків.
5. Високоризикові системи штучного інтелекту повинні бути стійкими до спроб несанкціонованих третіх осіб змінити їхнє використання, результати або функціонування шляхом використання вразливостей системи.
Технічні рішення, спрямовані на забезпечення кібербезпеки систем штучного інтелекту з високим рівнем ризику, відповідають відповідним обставинам та ризикам.
Технічні рішення для усунення вразливостей, специфічних для ШІ, включають, де це доречно, заходи із запобігання, відстеження, реагування, вирішення та контролю атак, спрямованих на маніпулювання набором даних для навчання (так зване «забруднення даних»), попередньо навчених компонентів, використаних під час навчання (так зване «забруднення моделі»), вхідних даних, створених для спричинення помилок моделі (так звані «ворожі приклади» або «обхід моделі»), атак з метою отримання конфіденційних даних або недоліків моделі.
1. AI-systemen met een hoog risico worden op zodanige wijze ontworpen en ontwikkeld dat deze een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging bieden, alsook consistente prestaties gedurende de levensduur met betrekking tot deze aspecten.
2. Ter verduidelijking van de technische aspecten van de meting van het passende niveau van nauwkeurigheid en robuustheid als bedoeld in lid 1 en andere relevante prestatiestatistieken, moedigt de Commissie, in samenwerking met relevante belanghebbenden en organisaties, zoals metrologie- en benchmarkingautoriteiten, waar passend, de ontwikkeling van benchmarks en meetmethoden aan.
3. De niveaus van nauwkeurigheid en de relevante maatstaven voor de nauwkeurigheid van AI-systemen met een hoog risico worden vermeld in de bijbehorende gebruiksaanwijzingen.
4. AI-systemen met een hoog risico zijn zo goed mogelijk bestand tegen fouten en onregelmatigheden die zich binnen het systeem of de omgeving waarin het systeem wordt gebruikt, kunnen voordoen, met name als gevolg van de interactie ervan met natuurlijke personen of andere systemen. In dat opzicht worden technische en organisatorische maatregelen genomen.
De robuustheid van AI-systemen met een hoog risico kan worden gerealiseerd door middel van technische oplossingen voor redundantie, die plannen voor de back-up of de veiligheid bij defecten kunnen omvatten.
AI-systemen met een hoog risico die blijven leren nadat ze in de handel zijn gebracht of in gebruik zijn gesteld, worden op zodanige wijze ontwikkeld dat het risico op beïnvloeding van toekomstige operaties door gebruik van vertekende outputs als input (“feedback loops”) wordt weggenomen of zo veel mogelijk worden beperkt en dat elke dergelijke feedback loop naar behoren wordt aangepakt met behulp van passende beperkende maatregelen.
5. AI-systemen met een hoog risico zijn bestand tegen pogingen van ongeautoriseerde derden om het gebruik, de outputs of de prestaties ervan te wijzigen door gebruik te maken van de kwetsbaarheden van het systeem.
De technische oplossingen die gericht zijn op het waarborgen van de cyberbeveiliging van AI-systemen met een hoog risico sluiten aan op de relevante omstandigheden en risico’s.
De technische oplossingen voor het aanpakken van AI-specifieke kwetsbaarheden omvatten, waar passend, maatregelen voor het voorkomen, traceren, reageren op, oplossen en beheersen van aanvallen waarmee een poging wordt gedaan tot het manipuleren van de dataset voor de training (de zogenaamde “datavervuiling”), van vooraf getrainde componenten die in de training zijn gebruikt (de zogenaamde “modelvervuiling”), van input die is gecreëerd om fouten van het model te veroorzaken (zogenaamde “vijandige voorbeelden” of “modelontwijking”), van aanvallen om vertrouwelijke gegevens te bemachtigen of van tekortkomingen van het model.