OpenAI reforça política de segurança de IA e cria órgão consultivo para avaliar riscos da tecnologia

Além da criação do novo órgão, plano atualizado permite ao conselho da empresa vetar decisões dos executivos, incluindo do CEO Sam Altman

A OpenAI, desenvolvedora do ChatGPT e considerada uma das empresas mais bem sucedidas na corrida pelo desenvolvimento de inteligências artificiais generativas, estabeleceu uma nova política de segurança para suas tecnologias.

Na política atualizada, a OpenAI criou um novo “grupo consultivo de segurança” que ficará acima das equipes técnicas, e fará recomendações à liderança e ao conselho sobre os riscos de novos modelos desenvolvidos pela companhia. Os executivos, liderados pelo CEO Sam Altman, tomarão decisões baseadas nisso; e o conselho da empresa poderá vetar tais decisões.

A OpenAI postou suas novas medidas de segurança, englobadas sob um “Quadro de Prontidão” (Preparedness Framework), em seu blog no início desta semana.

“O estudo dos riscos da IA de fronteira ficou muito aquém do que é possível e onde precisamos estar. Para preencher essa lacuna e sistematizar nosso pensamento de segurança, estamos adotando a versão inicial de nosso Quadro de Prontidão. Ele descreve os processos da OpenAI para rastrear, avaliar, prever e proteger contra riscos catastróficos representados por modelos cada vez mais poderosos”, diz a empresa na introdução de seu novo plano de segurança.

O principal objetivo da atualização é mostrar um caminho claro para identificar, analisar e decidir o que fazer sobre os riscos “catastróficos” inerentes aos modelos que estão desenvolvendo.

“Por risco catastrófico, entendemos qualquer risco que possa resultar em centenas de bilhões de dólares em danos econômicos ou levar ao dano grave ou morte de muitos indivíduos – isso inclui, mas não se limita, ao risco existencial”, diz a empresa.

Como funcionam os processos de segurança

Em sua explicação sobre o novo plano, a OpenAI diz que quaisquer decisões para avançar ou frear avanços com a inteligência artificial deverão ser “guiadas pela ciência e baseadas em fatos”. Isto é, menos calcadas em cenários hipotéticos inexplorados, e mais em previsões guiadas por dados e medições concretas.

Para isso, a empresa promete avaliar seus modelos de IA e seus efeitos frequentemente, e “levá-los ao seu limite” para notar possíveis riscos que eles apresentem – o que também dirá se as medidas de mitigação de riscos já colocadas em prática estão sendo efetivas.

Para avaliar a segurança de seus modelos com o passar do tempo, a OpenAI terá “cartões de pontuação” (“scorecards”) para os riscos desses modelos em diversos aspectos: cibersegurança, ameaças químicas, biológicas, radiológicas e nucleares (reunidas pela sigla CBRN); persuasão, e autonomia do modelo. A pontuação em cada quesito será de risco baixo, médio, alto e crítico – e a pontuação mais alta obtida em qualquer um dos quesitos será a definitiva para aquele modelo.

Apenas modelos com classificação até “média” poderão ser lançados ao público, e apenas aqueles que não chegarem ao risco “crítico” poderão continuar a ser desenvolvidos.

Como os próprios desenvolvedores podem ser considerados suspeitos para avaliar o risco de suas criações, o novo grupo consultivo de segurança irá avaliar essas análises feitas sobre os modelos em desenvolvimento. Quaisquer recomendações que esse órgão fizer serão enviadas para as lideranças executivas do conselho – e essas últimas poderão vetar qualquer decisão do time executivo.

Polêmicas recentes

As mudanças na política de segurança da OpenAI acontecem pouco tempo depois do CEO Sam Altman ter sido, no período de uma semana, demitido da empresa e depois readmitido. Embora justificativas oficiais para o vai e vem não tenham sido divulgadas, especulou-se que o episódio foi motivado por questões de segurança envolvendo novos modelos de IA da empresa, que estariam sendo ignoradas por Altman.

Quando o CEO retornou à empresa, houve mudanças no conselho da OpenAI, com a saída dos membros que eram considerados mais preocupados com questões de segurança envolvendo inteligência artificial – incluindo Ilya Sutskever, que foi apontado como principal responsável pela demissão de Altman. Novos membros incluem o ex-secretário do Tesouro dos Estados Unidos, Larry Summers, e o ex-CEO da Salesforcee, Bret Taylor, que são considerados por especialistas pessoas mais guiadas pelos lucros.

Assim, sites especializados como TechCrunch e Gizmodo colocam em dúvida se, apesar da política renovada de segurança, o conselho da OpenAI exercerá de fato seu poder de veto a decisões de Sam Altman.

“Se um painel de especialistas faz uma recomendação, e o CEO toma decisões baseado nessa informação, este conselho amigável [a Altman] realmente se sente autorizado a contradizê-lo e apertar os freios? E, se fizerem isso, iremos ficar sabendo? A transparência não é realmente abordada no processo, a não ser por uma promessa que a OpenAI vai solicitar auditorias de partes independentes”, questiona Devin Coldewey no TechCrunch.

Texto: Epoca Negocios