Migliaia di hacker modificheranno, distorceranno e sonderanno le ultime piattaforme di IA generativa questa settimana a Las Vegas come parte di uno sforzo per costruire un’IA più affidabile e inclusiva.
Collaborando con la comunità degli hacker per stabilire le migliori pratiche per testare l’IA di nuova generazione, NVIDIA sta partecipando a un primo test nel suo genere di soluzioni LLM leader del settore, tra cui NVIDIA NeMo e NeMo Guardrails .
La Generative Red Team Challenge, ospitata da AI Village , SeedAI e Humane Intelligence , farà parte di una serie di workshop, sessioni di formazione e presenze dei leader NVIDIA alle conferenze sulla sicurezza Black Hat e DEF CON a Las Vegas.
La sfida, che offre agli hacker una serie di vulnerabilità da sfruttare, promette di essere la prima di molte opportunità per verificare la realtà delle tecnologie di intelligenza artificiale emergenti.
“L’intelligenza artificiale consente alle persone di creare e costruire cose precedentemente impossibili”, ha affermato Austin Carson, fondatore di SeedAI e co-organizzatore della Generative Red Team Challenge. “Ma senza una comunità ampia e diversificata per testare e valutare la tecnologia, l’IA rispecchierà solo i suoi creatori, lasciando dietro di sé grandi porzioni della società”.
La collaborazione con la comunità degli hacker arriva nel mezzo di una spinta concertata per la sicurezza dell’IA che fa notizia in tutto il mondo, con l’amministrazione Biden-Harris che si assicura l’impegno volontario delle principali società di intelligenza artificiale che lavorano su modelli generativi all’avanguardia.
“AI Village attira la comunità preoccupata per le implicazioni dei sistemi di intelligenza artificiale, sia per l’uso dannoso che per l’impatto sulla società”, ha affermato Sven Cattell, fondatore di AI Village e co-organizzatore della Generative Red Team Challenge. “A DEFCON 29, abbiamo ospitato il primo Algorithmic Bias Bounty con l’ex team di Rumman Chowdhury su Twitter. Questo ha segnato la prima volta che un’azienda ha consentito l’accesso pubblico al proprio modello per il controllo.
La sfida di questa settimana è un passo fondamentale nell’evoluzione dell’IA, grazie al ruolo di primo piano svolto dalla comunità degli hacker — con la sua etica di scetticismo, indipendenza e trasparenza — nella creazione e nella sperimentazione sul campo degli standard di sicurezza emergenti.
Le tecnologie di NVIDIA sono fondamentali per l’IA e NVIDIA era presente all’inizio della rivoluzione dell’IA generativa. Nel 2016, il fondatore e CEO di NVIDIA, Jensen Huang , ha consegnato a mano a OpenAI il primo supercomputer NVIDIA DGX AI, il motore alla base del rivoluzionario modello di linguaggio di grandi dimensioni che alimenta ChatGPT.
I sistemi NVIDIA DGX, originariamente utilizzati come strumento di ricerca AI, sono ora in esecuzione 24 ore su 24, 7 giorni su 7 presso le aziende di tutto il mondo per perfezionare i dati ed elaborare l’AI.
La società di consulenza gestionale McKinsey stima che l’IA generativa potrebbe aggiungere l’equivalente di $ 2,6 trilioni a $ 4,4 trilioni all’anno all’economia globale in 63 casi d’uso.
Questo rende la sicurezza e la fiducia una preoccupazione a livello di settore.
Ecco perché i dipendenti NVIDIA si stanno impegnando con i partecipanti alla conferenza Black Hat della scorsa settimana per i professionisti della sicurezza e al raduno DEF CON di questa settimana.
Al Black Hat, NVIDIA ha ospitato una sessione di formazione di due giorni sull’utilizzo dell’apprendimento automatico e un briefing sui rischi dell’avvelenamento dei set di dati di formazione su scala Web. Ha inoltre sponsorizzato una tavola rotonda sui potenziali vantaggi dell’intelligenza artificiale per la sicurezza.
Al DEF CON, NVIDIA sta sponsorizzando un discorso sui rischi di irrompere nei controller di gestione baseboard. Questi processori di servizio specializzati monitorano lo stato fisico di un computer, server di rete o altri dispositivi hardware.
E attraverso la Generative Red Team Challenge , parte del workshop AI Village Prompt Detective, migliaia di partecipanti al DEF CON potranno dimostrare l’iniezione tempestiva, tentare di suscitare comportamenti non etici e testare altre tecniche per ottenere risposte inappropriate.
I modelli costruiti da Anthropic, Cohere, Google, Hugging Face, Meta, NVIDIA, OpenAI e Stability, con la partecipazione di Microsoft, saranno testati su una piattaforma di valutazione sviluppata da Scale AI.
Di conseguenza, tutti diventano più intelligenti.
“Stiamo promuovendo lo scambio di idee e informazioni affrontando contemporaneamente rischi e opportunità”, ha affermato Rumman Chowdhury, membro del team dirigenziale di AI Village e co-fondatore di Humane Intelligence, l’organizzazione no profit che progetta le sfide. “La comunità degli hacker è esposta a idee diverse e i partner della comunità acquisiscono nuove competenze che li posizionano per il futuro”.
Rilasciato ad aprile come software open source, NeMo Guardrails può aiutare gli sviluppatori a guidare le applicazioni di intelligenza artificiale generativa per creare risposte di testo impressionanti che possono rimanere in pista, garantendo che le applicazioni intelligenti basate su LLM siano accurate, appropriate, pertinenti e sicure.
Per garantire la trasparenza e la capacità di far funzionare la tecnologia in molti ambienti, NeMo Guardrails, il prodotto di diversi anni di ricerca, è open source, con gran parte del framework AI conversazionale di NeMo già disponibile come codice open source su GitHub , contribuendo all’enorme energia della comunità degli sviluppatori e al lavoro sulla sicurezza dell’IA.
L’impegno con la comunità DEF CON si basa su questo, consentendo a NVIDIA di condividere ciò che ha appreso con NeMo Guardrails e, a sua volta, imparare dalla comunità.
Gli organizzatori dell’evento – che includono SeedAI, Humane Intelligence e AI Village – hanno in programma di analizzare i dati e pubblicare i loro risultati, inclusi processi e apprendimenti, per aiutare altre organizzazioni a condurre esercizi simili.
La scorsa settimana, gli organizzatori hanno anche pubblicato un invito a presentare proposte di ricerca e hanno ricevuto diverse proposte da importanti ricercatori entro le prime 24 ore.
“Poiché questo è il primo caso di un evento di hacking dal vivo di un sistema di intelligenza artificiale generativa su larga scala, impareremo insieme”, ha affermato Chowdhury. “La capacità di replicare questo esercizio e mettere i test dell’IA nelle mani di migliaia di persone è la chiave del suo successo”.
