Quando o questionário de segurança não enxerga a IA

Nos últimos meses conversei com fornecedores de IA que vendem para bancos e com as pessoas que, do lado do banco, aprovam essas contratações. Os dois lados reclamam do mesmo objeto: o questionário de segurança de terceiros. O fornecedor gasta semanas respondendo. O comprador recebe centenas de "sim" e nenhuma certeza. E, quando o sistema contratado tem IA dentro, o questionário costuma não ter uma pergunta sequer sobre como o modelo decide.

A resposta curta deste artigo: o questionário tradicional continua necessário, mas é insuficiente para IA. Ele mede o ambiente. Não mede o modelo, os dados, a autonomia nem a supervisão. E são exatamente esses quatro pontos que aparecem nos incidentes públicos e nas novas obrigações regulatórias. Vamos por partes.

1. Um sistema de IA falha de um jeito que o questionário não prevê

O questionário clássico (SIG, CAIQ e as centenas de variações internas) nasceu para responder a uma pergunta: o ambiente do fornecedor é seguro? Senhas, MFA, backup, criptografia, segregação de rede, resposta a incidentes. Tudo isso continua valendo para um fornecedor de IA, porque o modelo roda em algum lugar.

O problema é que os incidentes com IA raramente começam por uma senha fraca. Começam por um modelo que afirma uma regra que não existe, por dados de treino que ninguém inventariou, por uma decisão automatizada sem revisão humana ou por um agente com permissão para fazer mais do que deveria. Nenhum desses quatro aparece em um questionário de infraestrutura. Em uma análise que fizemos dos domínios de segurança de um questionário SIG tradicional, nada cobre proveniência de dados de treino, viés, supervisão humana ou injeção de prompt. A Shared Assessments acrescentou um domínio de IA recentemente, o que confirma a lacuna, não a resolve: a maioria dos questionários em circulação nas empresas brasileiras ainda é a versão antiga.

2. O que os casos públicos ensinam

Quatro casos, todos documentados, todos fora da zona de "pentest".

O chatbot que inventou uma política. Em fevereiro de 2024, um tribunal canadense responsabilizou a Air Canada por uma informação errada que o chatbot do site deu a um cliente sobre tarifas de luto. A companhia argumentou que o chatbot era "uma entidade separada, responsável pelas próprias ações". O tribunal não aceitou [1]. O valor foi pequeno; o precedente, não. Para quem compra: o fornecedor de IA responde pelo que o modelo diz em seu nome. Para quem fornece: validação de saída e revisão humana deixaram de ser "boas práticas" e viraram defesa jurídica.

A triagem que discriminava por idade. Em 2023, a iTutorGroup pagou US$ 365 mil para encerrar uma ação da EEOC: o software de recrutamento rejeitava automaticamente candidatas acima de 55 anos e candidatos acima de 60 [2]. O sistema não foi invadido. Ele fez exatamente o que foi configurado para fazer. Nenhum controle de segurança do ambiente teria detectado isso; um teste de viés por grupo, sim.

A ação coletiva contra a triagem por IA. Mobley v. Workday discute se um fornecedor de software de RH pode ser responsabilizado pela discriminação produzida pelo sistema que ele fornece aos empregadores. Em 2025 a coletiva foi certificada em caráter condicional [3]. O mérito ainda não foi julgado, e é por isso que o caso importa: o risco já está no contrato, antes da decisão.

O algoritmo de risco que derrubou um governo. No caso dos benefícios infantis na Holanda, um sistema de pontuação de risco da administração tributária marcou dezenas de milhares de famílias como suspeitas de fraude, com peso para dupla nacionalidade. O governo caiu em 2021. A autoridade de proteção de dados multou a administração duas vezes [4]. A lição para a due diligence: um modelo pode ser "seguro" em todos os controles de infraestrutura e ainda assim ser o maior risco operacional e de imagem da organização.

O padrão nos quatro: ninguém perguntou ao fornecedor como o modelo decide, com que dados, quem revisa e o que acontece quando erra.

3. O que os números dizem, com as ressalvas devidas

Os relatórios de mercado apontam na mesma direção, e cada um tem um viés que vale conhecer.

• O estudo anual de custo de violações da IBM, edição 2025, passou a medir "IA sombra" e falta de controles de acesso a sistemas de IA, e associa a eles um custo adicional por incidente [9]. É uma amostra de empresas violadas, patrocinada por um fornecedor: use a direção, não o centavo.
• O AI Index de Stanford registra crescimento expressivo dos incidentes de IA reportados em 2024, a partir do AI Incident Database [10]. Depende de cobertura de imprensa: mede o que foi noticiado, não o que aconteceu.
• A pesquisa da McKinsey de 2025 mostra adoção de IA em larga maioria das organizações consultadas, com governança correndo atrás [11]. É autodeclarado por executivos.

Mesmo descontando os vieses, o retrato é consistente: mais sistemas de IA em produção, mais incidentes, e um instrumento de avaliação de terceiros que não mudou.

4. O que a regulação vai cobrar em 2026 e 2027

Três movimentos tornam a lacuna cara.

EU AI Act. As obrigações para sistemas de alto risco entram em aplicação a partir de agosto de 2026, com transições até 2027. O artigo 25 estende responsabilidades ao longo da cadeia de valor, e o artigo 26 exige do implantador supervisão humana e monitoramento [8]. Um fornecedor brasileiro que vende para uma empresa europeia vai receber essas perguntas, queira ou não.

Bacen. A Resolução CMN 4.893/2021 já obriga instituições financeiras a fazer due diligence em serviços relevantes de processamento e armazenamento de dados [12]. Um sistema de IA que toma ou influencia decisões de crédito, fraude ou atendimento é serviço relevante por definição, e a auditoria vai pedir a evidência.

Frameworks que viraram linguagem comum. O NIST AI RMF [5] e a ISO/IEC 42001 [6] deram ao mercado um vocabulário para governança de IA. O OWASP Top 10 for LLM [7] fez o mesmo para segurança de aplicações com modelos de linguagem. Quando o comprador pergunta "vocês testam injeção de prompt?" ou "existe supervisão humana proporcional ao risco?", ele está citando esses documentos, mesmo sem saber.

5. Por que "evidência" é a palavra, e não "resposta"

Um questionário coleta respostas. Uma due diligence coleta evidências. A diferença parece semântica até o primeiro incidente.

Na nossa experiência, a taxa de "sim" em questionários autodeclarados é alta e a taxa de "sim com evidência" é bem menor. Não por má-fé: por otimismo e por pressa. Pedir a evidência muda três coisas. O fornecedor descobre o que não tem antes do comprador. O comprador consegue defender a decisão diante da auditoria. E a certificação, quando existe, pode ser conferida no registro do organismo emissor, em vez de aceita em PDF, o que elimina a certificação vencida ou fora de escopo que todo mundo já viu passar.

Seja cético também com quem vende avaliação, inclusive conosco. Pergunte quem revisa a evidência, se o resultado depende de quem paga, se a metodologia é pública e se o selo pode ser verificado por qualquer pessoa. Uma avaliação que não responde a essas quatro perguntas é só um questionário mais caro.

6. As seis perguntas que um comprador deve fazer a qualquer fornecedor de IA

1. De onde vêm os dados de treino e ajuste, e com que base legal? Se a resposta for "do provedor do modelo", peça o contrato que garante que os seus dados não serão usados para treinar.
2. Que decisões sobre pessoas o sistema toma ou influencia, e quem revisa antes de valer? Peça o fluxo, não a política.
3. Como o sistema foi testado contra injeção de prompt, vazamento e viés, e quando foi a última vez? Peça o relatório do teste, com data.
4. Que ações o sistema executa sozinho e quais exigem confirmação humana? Agentes com ferramentas são o risco que mais cresce.
5. O que acontece quando o modelo erra ou o provedor sai do ar? Plano de incidentes com cenários de IA e plano de continuidade com modelo alternativo.
6. Que certificações existem e onde posso verificá-las na fonte? Se a resposta for um PDF, verifique você mesmo.

Nenhuma dessas perguntas exige conhecimento de aprendizado de máquina. Exige disposição para perguntar e insistência para receber evidência, não resposta.

A versão curta

• O questionário de segurança tradicional mede o ambiente. Sistemas de IA falham no modelo, nos dados, na autonomia e na supervisão.
• Os casos públicos (Air Canada, iTutorGroup, Workday, benefícios na Holanda) não envolveram invasão. Envolveram decisões que ninguém revisou.
• EU AI Act, Bacen e os frameworks NIST e ISO transformaram essas perguntas em exigência, não em preferência.
• Evidência verificada vale mais do que resposta. Inclusive a nossa.
• Comece pelas seis perguntas. Elas cabem em uma reunião de 30 minutos.

A SoAITrust avalia a segurança e a governança de sistemas de IA com metodologia pública, evidências revisadas por pessoas e certificações verificadas na fonte. Quem quiser saber onde o próprio sistema está hoje pode começar pela pré-avaliação gratuita. Os controles e o mapeamento para EU AI Act, SIG e CSA CCM estão no mapeamento público.

Referências

1. Moffatt v. Air Canada, 2024 BCCRT 149. Tribunal de Resolução Civil da Colúmbia Britânica, 14 de fevereiro de 2024. Decisão pública; caso de pequeno valor, mas o raciocínio sobre responsabilidade pelo chatbot é o que importa. decisions.civilresolutionbc.ca/crt/crtd/en/item/525448/index
2. EEOC v. iTutorGroup, acordo de agosto de 2023 (US$ 365 mil): software de recrutamento rejeitava automaticamente candidatas acima de 55 anos e candidatos acima de 60. Fonte: comunicado da EEOC. Acordo, sem admissão de culpa. www.eeoc.gov/newsroom/itutorgroup-pay-365000-settle-eeoc-dis
3. Mobley v. Workday, N.D. Cal. Ação coletiva sobre triagem de currículos por IA; certificação condicional da coletiva sob a ADEA em maio de 2025. Processo em andamento: nada decidido sobre o mérito. Consultar o docket antes de citar números. www.courtlistener.com/?q=Mobley+v.+Workday
4. Autoriteit Persoonsgegevens (Holanda), multas à administração tributária pelo uso de algoritmo de risco no caso dos benefícios infantis (toeslagenaffaire): 2,75 milhões de euros em 2021 e 3,7 milhões em 2022. Fonte: comunicados da autoridade. www.autoriteitpersoonsgegevens.nl/en
5. NIST AI Risk Management Framework 1.0, janeiro de 2023, e o perfil para IA generativa (NIST AI 600-1), julho de 2024. Documentos oficiais, voluntários. www.nist.gov/itl/ai-risk-management-framework
6. ISO/IEC 42001:2023, Sistema de gestão de inteligência artificial. Norma certificável; texto pago. A SoAITrust avalia com base nela e não certifica. www.iso.org/standard/42001
7. OWASP Top 10 for LLM Applications 2025. Projeto comunitário, revisado por pares da indústria, não acadêmico. genai.owasp.org/llm-top-10/
8. Regulamento (UE) 2024/1689 (EU AI Act), artigos 25 (cadeia de valor), 26 (implantadores) e 73 (incidentes graves). Obrigações de alto risco em aplicação a partir de agosto de 2026, com transições até 2027. eur-lex.europa.eu/eli/reg/2024/1689/oj
9. IBM, Cost of a Data Breach Report 2025. Estudo anual conduzido pelo Ponemon Institute com patrocínio da IBM: amostra de empresas violadas, não representativa de todo o mercado. Os números sobre IA sombra e controles de acesso a IA vêm desta edição; confira as tabelas antes de citar. www.ibm.com/reports/data-breach
10. Stanford HAI, AI Index Report 2025, capítulo de IA responsável, com base no AI Incident Database. Contagem de incidentes reportados, sujeita a viés de cobertura da imprensa. aiindex.stanford.edu/report/
11. McKinsey, The State of AI, março de 2025. Pesquisa de opinião com executivos; percentuais de adoção são autodeclarados. www.mckinsey.com/capabilities/quantumblack/our-insights/the-
12. Banco Central do Brasil, Resolução CMN 4.893/2021 (política de segurança cibernética e contratação de serviços relevantes) e Resolução BCB 85/2021. Textos oficiais. www.bcb.gov.br/estabilidadefinanceira/exibenormativo?tipo=Re

Anotações de método: as referências a processos judiciais apontam para decisões e comunicados oficiais; casos em andamento são descritos sem conclusão sobre o mérito. Relatórios de mercado estão marcados com a natureza da amostra. Nenhum cliente da SoAITrust é citado.