Um ataque direcionado
✅ Receba as notícias do tecArtificial no WhatsApp e siga o canal tecArtificial.
Uma nova ferramenta chamada Nightshade permite que artistas adicionem mudanças invisíveis aos pixels em suas artes antes de carregá-las online. Dessa forma, se a arte for capturada em um conjunto de treinamento de IA, ela pode causar a quebra do modelo resultante de maneira caótica e imprevisível.
Principais Pontos:
- O artigo trata sobre o projeto “Nightshade” e seu papel no campo de IA generativa.
- Aborda questões éticas em relação à IA generativa e destaca como ela pode ser usada de maneira prejudicial.
- Destaca a importância de dados de treinamento para IA generativa.
- Menciona o uso de estilos artísticos diversos para treinar IA.
- A discussão inclui exemplos de como Nightshade pode ser usado na prática.
A Nightshade é uma maneira de combater as empresas de IA que usam o trabalho dos artistas para treinar seus modelos sem permissão do criador. Usar a ferramenta para “envenenar” esses dados de treinamento pode danificar futuras iterações de modelos de IA generativas de imagens, como DALL-E, Midjourney e Stable Diffusion, tornando alguns de seus resultados inúteis – cães se tornam gatos, carros se tornam vacas e assim por diante.
A equipe liderada pelo professor da Universidade de Chicago, Ben Zhao, criou a Nightshade, que explora uma vulnerabilidade de segurança em modelos de IA generativas, decorrente do fato de que eles são treinados em vastas quantidades de dados – neste caso, imagens que foram coletadas da internet. A Nightshade manipula essas imagens.
Você pode ter acesso a uma prévia exclusiva da pesquisa.
Os cientistas testaram um ataque em duas situações: nos modelos mais recentes do Stable Diffusion e em um modelo de inteligência artificial que eles desenvolveram desde o início. Eles forneceram ao Stable Diffusion apenas 50 imagens alteradas de cães e, em seguida, o instruíram a criar imagens de cães. O resultado começou a ficar peculiar, com criaturas que tinham muitos membros e rostos que pareciam saídos de desenhos animados. Com 300 exemplos de imagens alteradas, um invasor pode manipular o Stable Diffusion para gerar imagens de cães que se assemelham a gatos.

Os modelos gerativos de inteligência artificial têm uma habilidade notável em estabelecer associações entre palavras, o que facilita a disseminação do conteúdo malicioso. A técnica Nightshade não se limita a afetar apenas a palavra “cachorro”, mas se espalha para todos os conceitos relacionados, como “cachorrinho”, “husky” e “lobo”. Esse tipo de ataque também é eficaz em imagens que tenham alguma relação tangencial. Por exemplo, se o modelo for exposto a uma imagem envenenada ao inserir o prompt “arte de fantasia”, outros prompts, como “dragão” e “um castelo em O Senhor dos Anéis”, também seriam igualmente alterados para significados diferentes.

Alternativa
Os artistas que desejam carregar seu trabalho online, mas não querem que suas imagens sejam capturadas pelas empresas de IA, podem carregá-las no Glaze e optar por mascará-las com um estilo de arte diferente do deles. Eles também podem optar por usar a Nightshade. Uma vez que os desenvolvedores de IA buscam a internet para obter mais dados para ajustar um modelo de IA existente ou construir um novo, essas amostras “envenenadas” fazem parte do conjunto de dados do modelo e fazem com que ele funcione mal.
As amostras de dados envenenadas podem manipular modelos para aprender, por exemplo, que imagens de chapéus são bolos e imagens de bolsas são torradeiras. Os dados envenenados são muito difíceis de remover, pois exigem que as empresas de tecnologia encontrem e excluam cada amostra corrompida.

Um poderoso impedimento
A equipe de Zhao é que desenvolveu o Glaze, para que que artistas possam “mascarar” seu próprio estilo pessoal para impedir que ele seja capturada por empresas de IA. Funciona de maneira semelhante à Nightshade: mudando os pixels das imagens de maneiras sutis que são invisíveis ao olho humano, mas manipulam modelos de aprendizado de máquina para interpretar a imagem como algo diferente do que ela realmente mostra.
A equipe pretende integrar a Nightshade ao Glaze, e os artistas podem escolher se desejam usar a ferramenta de envenenamento de dados ou não. A equipe também está tornando a Nightshade de código aberto, o que permitiria que outras pessoas a modificassem e fizessem suas próprias versões. Quanto mais pessoas a usarem e fizerem suas próprias versões, mais poderosa a ferramenta se torna, diz Zhao. Os conjuntos de dados para grandes modelos de IA podem consistir em bilhões de imagens, portanto, quanto mais imagens envenenadas puderem ser raspadas no modelo, mais danos a técnica causará.
Zhao admite que existe o risco de as pessoas abusarem da técnica de envenenamento de dados para fins maliciosos. No entanto, ele diz que os atacantes precisariam de milhares de amostras envenenadas para causar danos reais a modelos maiores e mais poderosos, já que eles são treinados em bilhões de amostras de dados.
A Nightshade pode ter um grande impacto se fizer com que as empresas de IA respeitem mais os direitos dos artistas, por exemplo, sendo mais dispostas a pagar royalties. As empresas de IA que desenvolveram modelos geradores de texto para imagem, como Stability AI e OpenAI, ofereceram permitir que os artistas optem por não ter suas imagens usadas para treinar futuras versões dos modelos. Mas os artistas dizem que isso não é suficiente.
Ferramentas como Nightshade e Glaze deram à artista Autumn Beverly a confiança para postar seu trabalho online novamente. Ela o removeu anteriormente da internet
A IA Generativa

A IA generativa está evoluindo rapidamente, e a tecnologia veio para ficar. Com o uso de redes neurais, a IA generativa é capaz de criar novas imagens e sons que nunca foram vistos ou ouvidos antes. Isso tem um enorme potencial em áreas como a arte, a música e o design, onde a criatividade é altamente valorizada.
A tecnologia usa uma abordagem baseada em aprendizado de máquina para criar novas imagens a partir de um conjunto de dados existente. Isso significa que a IA é capaz de aprender a partir de exemplos e criar novas imagens que são semelhantes ao conjunto de dados original.
O futuro da IA generativa é promissor. Com a evolução contínua da tecnologia, a IA generativa será capaz de criar imagens cada vez mais realistas e detalhadas. Isso pode ter implicações significativas em áreas como o cinema e os jogos, onde a criação de mundos virtuais é uma parte importante do processo de produção.
Além disso, a IA generativa também pode ser usada em áreas como a moda, onde a criação de novos designs é fundamental. Com a ajuda de ferramentas como Virtual Try-On, os designers poderão criar novas roupas e acessórios que nunca foram vistos antes.
Conclusão
Em síntese, a ferramenta Nightshade representa uma revolução na forma como os artistas podem proteger seu trabalho contra a exploração não autorizada por empresas de IA. Ao permitir que artistas “envenenem” seus dados de treinamento, essa inovação revela-se uma forma eficaz de defender os direitos dos criadores. O ataque direcionado à IA generativa, como demonstrado pela equipe liderada pelo professor Ben Zhao, destaca a vulnerabilidade das técnicas de treinamento de modelos em larga escala. Essa estratégia pode alterar de maneira imprevisível os resultados da IA, forçando-a a produzir imagens distorcidas e, muitas vezes, cômicas.
No entanto, é importante notar que essa tecnologia não está isenta de riscos. Há o perigo de sua utilização para fins maliciosos, embora seu impacto seja limitado em modelos mais robustos, que utilizam vastos conjuntos de dados. O verdadeiro potencial da Nightshade reside na possibilidade de sensibilizar empresas de IA e estimular práticas mais justas, como o pagamento de royalties aos artistas. Ferramentas como Nightshade e Glaze oferecem aos artistas a confiança necessária para compartilhar seu trabalho online, criando um ambiente mais equitativo e respeitoso.
À medida que a IA generativa continua a evoluir e transformar diversas áreas, da arte à moda e ao cinema, ferramentas como Nightshade têm o potencial de influenciar positivamente o tratamento dos direitos autorais e a valorização do trabalho criativo. O futuro da IA generativa é promissor, e a conscientização sobre o seu uso ético é fundamental para garantir que artistas e criadores continuem a desfrutar dos benefícios dessa tecnologia inovadora.
[…] Nightshade envenena dados e permite que os artistas lutem contra a IA generativa […]