Статья 14
действуетСИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА С ВЫСОКИМ УРОВНЕМ РИСКА
1. Высокорисковые системы ИИ проектируются и разрабатываются таким образом, включая соответствующие инструменты человеко-машинного интерфейса, чтобы в период их использования физические лица могли осуществлять за ними эффективный надзор.
2. Человеческий надзор направлен на предотвращение или ограничение рисков для здоровья, безопасности или основных прав, которые могут возникнуть при использовании высокорисковой системы искусственного интеллекта в соответствии с ее предполагаемым назначением или в ситуации разумно предвидимого неправомерного использования, в частности, когда такие риски сохраняются, несмотря на применение иных требований настоящего раздела.
3. Меры надзора соразмерны рискам, степени автономности и контексту использования системы искусственного интеллекта с высоким уровнем риска и обеспечиваются посредством одного или всех следующих видов мер:
а) меры, определенные поставщиком, которые, насколько это технически осуществимо, встраиваются в систему искусственного интеллекта с высоким уровнем риска до того, как данная система будет выпущена в гражданский оборот или введена в эксплуатацию;
b) меры, определенные поставщиком до того, как высокорискованная система ИИ будет введена в гражданский оборот или введена в эксплуатацию, и которые являются надлежащими для выполнения лицом, ответственным за использование.
4. В целях исполнения положений частей 1, 2 и 3 система искусственного интеллекта с высоким уровнем риска предоставляется лицу, ответственному за использование, таким образом, чтобы физические лица, ответственные за осуществление контроля со стороны человека, имели возможность, в соответствующих и соразмерных случаях:
а) надлежащим образом понимать соответствующие возможности и ограничения высокорисковой системы ИИ и быть в состоянии должным образом контролировать ее функционирование, в том числе с целью выявления и устранения нарушений, сбоев и непредвиденных результатов;
b) сохранять осведомленность о возможной склонности к автоматическому или чрезмерному доверию к выходным данным системы ИИ с высоким риском (так называемая «предвзятость автоматизации»), в частности в отношении систем ИИ с высоким риском, используемых для предоставления информации или рекомендаций для принятия решений, которые должны приниматься физическими лицами;
c) правильно интерпретировать выходные данные системы искусственного интеллекта с высоким уровнем риска, например, используя доступные инструменты и методы для интерпретации;
d) во всех конкретных ситуациях иметь возможность принять решение не использовать систему искусственного интеллекта с высоким уровнем риска либо иным образом игнорировать результаты работы системы искусственного интеллекта с высоким уровнем риска, заменить их иным решением или отменить их;
e) вмешиваться в работу системы искусственного интеллекта с высоким уровнем риска или прерывать работу системы посредством кнопки остановки или аналогичной процедуры, позволяющей безопасно остановить систему.
5. В отношении систем ИИ с высоким уровнем риска, указанных в приложении III, пункт 1, подпункт а), меры, предусмотренные в части 3 настоящей статьи, должны гарантировать, что в дополнение к этому ответственным пользователем не будут приняты меры или решения на основании идентификации, произведенной системой, за исключением случаев, когда такая идентификация была отдельно проверена и подтверждена как минимум двумя физическими лицами, обладающими необходимой квалификацией, подготовкой и полномочиями.
Требование об отдельной верификации как минимум двумя физическими лицами не применяется к высокорисковым системам искусственного интеллекта, используемым в целях обеспечения правопорядка, миграции, пограничного контроля или предоставления убежища, в случаях, когда право Союза или национальное право признает применение данного требования несоразмерным.
1. AI-systemen met een hoog risico worden zodanig ontworpen en ontwikkeld, met inbegrip van passende mens-machine-interface-instrumenten, dat hierop tijdens de periode dat zij worden gebruikt, op doeltreffende wijze toezicht kan worden uitgeoefend door natuurlijke personen.
2. Het menselijk toezicht is gericht op het voorkomen of beperken van de risico’s voor de gezondheid, veiligheid of grondrechten die zich kunnen voordoen wanneer een AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik, met name wanneer dergelijke risico’s blijven bestaan ondanks de toepassing van andere eisen van deze afdeling.
3. De toezichtmaatregelen staan in verhouding met de risico’s, de mate van autonomie en de gebruikscontext van het AI-systeem met een hoog risico en worden gewaarborgd door middel van een of alle van de volgende soorten maatregelen:
a) door de aanbieder bepaalde maatregelen die waar technisch haalbaar in het AI-systeem met een hoog risico worden ingebouwd voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld;
b) door de aanbieder bepaalde maatregelen voordat het AI-systeem met een hoog risico in de handel wordt gebracht of in gebruik wordt gesteld en die passend zijn om door de gebruiksverantwoordelijke te worden uitgevoerd.
4. Met het oog op de uitvoering van de leden 1, 2 en 3 wordt het AI-systeem met een hoog risico zodanig aan de gebruiksverantwoordelijke verstrekt dat natuurlijke personen die verantwoordelijk zijn voor het menselijk toezicht, in staat worden gesteld om waar passend en evenredig:
a) de relevante capaciteiten en beperkingen van het AI-systeem met een hoog risico goed te begrijpen en de werking ervan naar behoren te kunnen monitoren, onder meer met het oog op het opsporen en aanpakken van onregelmatigheden, storingen en onverwachte prestaties;
b) zich bewust te blijven van de mogelijke neiging om automatisch of te veel te vertrouwen op de output van een AI-systeem met een hoog risico (de zogenaamde “automation bias”), met name voor AI-systemen met een hoog risico die worden gebruikt om informatie of aanbevelingen te verstrekken voor beslissingen die door natuurlijke personen moeten worden genomen;
c) de output van het AI-systeem met een hoog risico juist te interpreteren, bijvoorbeeld de beschikbare instrumenten en methoden voor interpretatie;
d) in alle specifieke situaties te kunnen besluiten om het AI-systeem met een hoog risico niet te gebruiken of de output van het AI-systeem met een hoog risico op andere wijze te negeren, door een andere beslissing te vervangen of terug te draaien;
e) in te grijpen in de werking van het AI-systeem met een hoog risico of het systeem te onderbreken door middel van een stopknop of een vergelijkbare procedure waarmee het systeem op veilige wijze kan worden stopgezet.
5. Voor AI-systemen met een hoog risico als bedoeld in bijlage III, punt 1, a), zijn de maatregelen als bedoeld in lid 3 van dit artikel zodanig dat zij waarborgen dat daarnaast door de gebruiksverantwoordelijke geen maatregelen worden getroffen of beslissingen worden genomen op basis van de identificatie door het systeem, tenzij deze identificatie door ten minste twee natuurlijke personen met de nodige bekwaamheid, opleiding en bevoegdheid apart zijn geverifieerd en bevestigd.
Het vereiste van een afzonderlijke verificatie door ten minste twee natuurlijke personen is niet van toepassing op AI-systemen met een hoog risico die gebruikt worden voor rechtshandhaving, migratie, grenstoezicht of asiel, in gevallen waarin het Unierecht of het nationale recht de toepassing van dit vereiste onevenredig acht.