Статья 9
действуетСИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА С ВЫСОКИМ УРОВНЕМ РИСКА
1. В отношении систем искусственного интеллекта с высоким уровнем риска устанавливается, внедряется, документируется и поддерживается система управления рисками.
2. Под системой управления рисками понимается непрерывный и плановый итерационный процесс, осуществляемый в течение всего жизненного цикла высокорисковой системы искусственного интеллекта, который требует периодической систематической проверки и актуализации. Он включает в себя следующие этапы:
а) установление и анализ известных и разумно предвидимых рисков, которые система искусственного интеллекта с высоким уровнем риска может представлять для здоровья, безопасности или основных прав, если система искусственного интеллекта с высоким уровнем риска используется в соответствии с её предполагаемым назначением;
b) оценка и анализ рисков, которые могут возникнуть при использовании высокорисковой системы ИИ в соответствии с её предполагаемым назначением, а также в ситуации разумно предвидимого неправомерного использования;
c) оценка иных рисков, которые могут возникнуть на основании анализа данных, собранных системой мониторинга после выпуска в обращение, как указано в статье 72;
d) установление надлежащих и целенаправленных мер по управлению рисками для устранения рисков, выявленных на основании пункта a).
3. Риски, упомянутые в настоящей статье, включают исключительно риски, которые могут быть разумно ограничены или устранены посредством разработки или проектирования системы искусственного интеллекта с высоким уровнем риска либо предоставления надлежащей технической информации.
4. В отношении мер по управлению рисками, указанных в пункте d) части 2, надлежащим образом учитываются последствия и возможное взаимодействие, вытекающие из совокупного применения требований, изложенных в настоящем разделе, с целью более эффективного сведения рисков к минимуму при одновременном достижении надлежащего баланса при осуществлении мер по выполнению предписаний.
5. Меры по управлению рисками, указанные в пункте d) части 2, должны быть таковыми, чтобы остаточный риск, связанный с каждой опасностью, а также совокупный остаточный риск систем искусственного интеллекта с высоким уровнем риска считались приемлемыми.
При определении наиболее подходящих мер по управлению рисками обеспечивается соблюдение следующего:
а) исключение или ограничение рисков, установленных и оцененных на основании части 2, в той мере, в какой это технически осуществимо посредством надлежащего проектирования и разработки системы ИИ с высоким уровнем риска;
b) в соответствующих случаях принимаются адекватные меры по ограничению и контролю для устранения рисков, которые не могут быть исключены;
c) предоставление информации, требуемой на основании статьи 13, и, при необходимости, обучение для лиц, ответственных за использование.
С целью устранения или ограничения рисков, связанных с использованием системы искусственного интеллекта с высоким уровнем риска, должное внимание уделяется ожидаемым техническим знаниям, опыту, подготовке и обучению ответственного пользователя, а также предполагаемому контексту, в котором система должна использоваться.
6. Высокорисковые системы ИИ подлежат тестированию с целью определения наиболее подходящих и целенаправленных мер по управлению рисками. Тестирование обеспечивает соответствие высокорисковых систем ИИ их целевому назначению при стабильном функционировании, а также их соответствие требованиям настоящего раздела.
7. Процедуры тестирования могут, в частности, состоять из испытаний в реальных условиях в соответствии со статьей 60.
8. Тестирование высокорисковых систем искусственного интеллекта проводится, по мере необходимости, в ходе процесса разработки и в любом случае до того, как система будет введена в гражданский оборот или введена в эксплуатацию. Тестирование осуществляется на основе заранее установленных критериев оценки и вероятностных пороговых значений, соответствующих целевому назначению высокорисковой системы искусственного интеллекта.
9. При реализации системы управления рисками, предусмотренной частями 1–7, поставщики учитывают вопрос о том, будет ли предполагаемая цель использования системы искусственного интеллекта с высоким уровнем риска вероятно иметь негативные последствия для лиц моложе 18 лет и, в соответствующих случаях, для других уязвимых групп.
10. Для поставщиков систем искусственного интеллекта с высоким уровнем риска, на которых распространяются требования в отношении процессов внутреннего управления рисками согласно иным применимым положениям права Союза, аспекты, определенные в частях 1–9, могут являться частью или быть объединены с процедурами управления рисками, установленными на основании указанного права.
1. Met betrekking tot AI-systemen met een hoog risico wordt een systeem voor risicobeheer vastgesteld, uitgevoerd, gedocumenteerd en in stand gehouden.
2. Onder het systeem voor risicobeheer wordt verstaan een tijdens de gehele levensduur van een AI-systeem met een hoog risico doorlopend en gepland iteratief proces, dat periodieke systematische toetsing en actualisering vereist. Het omvat de volgende stappen:
a) het vaststellen en analyseren van de bekende en de redelijkerwijs te voorziene risico’s die het AI-systeem met een hoog risico kan inhouden voor de gezondheid, veiligheid of grondrechten indien het AI-systeem met een hoog risico in overeenstemming met het beoogde doel ervan wordt gebruikt;
b) het inschatten en evalueren van de risico’s die zich kunnen voordoen wanneer het AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan en in een situatie van redelijkerwijs te voorzien misbruik;
c) het evalueren van andere risico’s die zich kunnen voordoen op basis van de analyse van de data die zijn verzameld door het systeem voor monitoring na het in de handel brengen, als bedoeld in artikel 72;
d) het vaststellen van gepaste en gerichte risicobeheersmaatregelen om de op grond van punt a) vastgestelde risico’s aan te pakken.
3. De in dit artikel bedoelde risico’s omvatten uitsluitend risico’s die redelijkerwijs kunnen worden beperkt of weggenomen via het ontwikkelen of ontwerpen van het AI-systeem met een hoog risico of de verstrekking van adequate technische informatie.
4. Ten aanzien van de in lid 2, punt d), bedoelde risicobeheersmaatregelen wordt naar behoren rekening gehouden met de effecten en mogelijke wisselwerking die voortvloeien uit de gecombineerde toepassing van de in deze afdeling uiteengezette eisen, teneinde de risico’s doeltreffender tot een minimum te beperken en tegelijkertijd een passend evenwicht te bereiken bij de uitvoering van de maatregelen ter vervulling van de voorschriften.
5. De in lid 2, punt d), bedoelde risicobeheersmaatregelen zijn zodanig dat het desbetreffende restrisico in verband met elk gevaar en het totale restrisico van de AI-systemen met een hoog risico aanvaardbaar wordt geacht.
Bij het vaststellen van de passendste risicobeheersmaatregelen wordt het volgende gewaarborgd:
a) uitsluiting of beperking van op grond van lid 2 vastgestelde en geëvalueerde risico’s voor zover technisch haalbaar door middel van een adequaat ontwerp en ontwikkeling van het AI-systeem met een hoog risico;
b) waar passend worden adequate maatregelen voor beperking en controle genomen voor het aanpakken van risico’s die niet kunnen worden uitgesloten;
c) verstrekking van op grond van artikel 13 vereiste informatie en waar passend opleiding voor gebruiksverantwoordelijken.
Teneinde de risico’s in verband met het gebruik van het AI-systeem met een hoog risico weg te nemen of te beperken, wordt naar behoren aandacht besteed aan de te verwachten technische kennis, ervaring, scholing en opleiding van de gebruiksverantwoordelijke en de vermoedelijke context waarin het systeem dient te worden gebruikt.
6. AI-systemen met een hoog risico worden getest met het oog op het vaststellen van de passendste en gerichte risicobeheersmaatregelen. De tests zorgen ervoor dat AI-systemen met een hoog risico consistent presteren ten aanzien van het beoogde doel ervan en in overeenstemming zijn met de eisen van deze afdeling.
7. De testprocedures kunnen onder meer bestaan in testen onder reële omstandigheden overeenkomstig artikel 60.
8. Het testen van AI-systemen met een hoog risico vindt, zoals passend, in de loop van het ontwikkelingsproces plaats en in ieder geval voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld. Er wordt getest aan de hand van vooraf vastgestelde beoordelingsmaatstaven en probabilistische drempels die passend zijn voor het beoogde doel van het AI-systeem met een hoog risico.
9. Bij de uitvoering van het in de leden 1 tot en met 7 bepaalde systeem voor risicobeheer houden aanbieders rekening met de vraag of het beoogde doel van het AI-systeem met een hoog risico waarschijnlijk negatieve gevolgen zal hebben voor personen jonger dan 18 jaar en, in voorkomend geval, voor andere kwetsbare groepen.
10. Voor aanbieders van AI-systemen met een hoog risico die onderworpen zijn aan eisen met betrekking tot interne risicobeheerprocessen uit hoofde van andere relevante bepalingen van het Unierecht, kunnen de in de leden 1 tot en met 9 bepaalde aspecten deel uitmaken van of gecombineerd worden met de op grond van dat recht vastgestelde risicobeheerprocedures.