Dan Milmo Global technology editor
Um pioneiro em inteligência artificial Lançou uma organização sem fins lucrativos dedicada ao desenvolvimento de uma IA “honesta” que identificará sistemas desonestos tentando enganar os seres humanos.
Yoshua Bengio, um renomado cientista da computação descrito como um dos “padrinhos” da IA, será presidente da LawZero, uma organização comprometida com o design seguro da tecnologia de ponta que possui desencadeou uma corrida armamentista de US $ 1TN (£ 740 bilhões).
Começando com financiamento de aproximadamente US $ 30 milhões e mais de uma dúzia de pesquisadores, o Bengio está desenvolvendo um sistema chamado cientista IA que atuará como um corrimão contra os agentes da IA - que realizam tarefas sem intervenção humana -Mostrar comportamento enganoso ou auto-predominante, como tentar evitar ser desligado.
Descrevendo o conjunto atual de agentes de IA como “atores” que buscam imitar humanos e por favor, ele disse que o sistema de IA do cientista seria mais como um “psicólogo” que pode entender e prever o mau comportamento.
“Queremos construir AIS que seja honesto e não enganador”, disse Bengio.
Ele acrescentou: “É teoricamente possível imaginar máquinas que não tenham eu, nenhum objetivo para si mesmas, que são apenas máquinas de conhecimento puras – como um cientista que conhece muitas coisas”.
No entanto, diferentemente das ferramentas generativas de IA atuais, o sistema do Bengio não fornecerá respostas definitivas e, em vez disso, fornecerá probabilidades para saber se uma resposta está correta.
“Tem um senso de humildade que não tem certeza da resposta”, disse ele.
Implantado ao lado de um agente de IA, o modelo de Bengio sinalizaria um comportamento potencialmente prejudicial por um sistema autônomo – tendo medido a probabilidade de suas ações causando danos.
A IA do cientista “preverá a probabilidade de que as ações de um agente levem a danos” e, se essa probabilidade estiver acima de um certo limite, essa ação proposta pelo agente será bloqueada.
Os apoiadores iniciais da LawZero incluem o órgão de segurança da IA The Future of Life Institute, Jaan Tallinn, engenheiro fundador da Skype e Schmidt Sciences, um órgão de pesquisa fundado pelo ex -executivo -chefe do Google, Eric Schmidt.
Após a promoção do boletim informativo
Bengio disse que o primeiro passo para LawZero demonstra que a metodologia por trás das obras conceituais – e depois convencendo empresas ou governos a apoiar versões maiores e mais poderosas. Os modelos de IA de código aberto, que estão disponíveis gratuitamente para implantar e adaptar, seria o ponto de partida para o treinamento de sistemas da LawZero, acrescentou Bengio.
“O objetivo é demonstrar a metodologia para que possamos convencer doadores ou governos ou laboratórios de IA a colocar os recursos necessários para treiná -lo na mesma escala que o atual AIS da fronteira. É realmente importante que o guarda -cor de guarda seja pelo menos tão inteligente quanto o agente de IA que está tentando monitorar e controlar”, disse ele.
Bengio, professor da Universidade de Montreal, ganhou o apelido de “padrinho” depois de compartilhar o prêmio Turing 2018 – visto como o equivalente a um Prêmio Nobel de Computação – com Geoffrey Hinton, um vencedor do Nobel subsequente e Yann Lecun, o chefe da Ai Scientist no meta de Mark Zuckerberg.
Uma voz líder na segurança da IA, ele presidiu o recente Relatório Internacional de Segurança da IAque alertou que agentes autônomos poderiam causar interrupções “graves” se se tornarem “capazes de concluir sequências mais longas de tarefas sem supervisão humana”.
Bengio disse que estava preocupado com a recente admissão do Anthropic que seu último sistema poderia Tente chantagear os engenheiros tentando desligá -lo. Ele também apontou para pesquisas mostrando que os modelos de IA são capazes de esconder suas verdadeiras capacidades e objetivos. Esses exemplos mostraram que o mundo está indo para “um território cada vez mais perigoso” com AIS que são capazes de raciocinar melhor, disse Bengo.
