Vitalik Buterin adverteix sobre els riscos de la IA

Vitalik Buterin, fundador d’Ethereum, va donar la seva perspectiva sobre un debat que guanya cada cop més terres: els riscos de la intel·ligència artificial (AI).

En aquesta ocasió, el desenvolupador rus-canadenc va aprofitar una reflexió que es va compartir a X, Eito Mujura, promotor del Projecte Edison Watch, una solució per supervisar i prevenir les filtracions de dades mitjançant interaccions IA.

Va sorgir després de la recent introducció del protocol de context del model (MCP) d’Openai, la companyia dirigida per Sam Altman, a Chatgpt, que permet la seva connexió amb Gmail, calendaris i altres aplicacions.

A través d’un vídeo, va demostrar Muyamura Com els atacants o els pirates informàtics poden accedir a dades privades compartides amb Openai.

“Heus aquí el problema fonamental: els agents de la IA com a chatgpt segueixen les vostres ordres, no el vostre sentit comú. I només amb el vostre correu electrònic aconseguim filtrar tota la vostra informació privada”, diu Muyamura, tot i que afegeix: “Recordeu que l’AI pot ser super intel·ligent, però pot ser enganyat i víctima de la pesca de maneres increïblement tontes de filtrar les vostres dades”.

Buterin va compartir la publicació al seu compte X i va aprofitar per donar -li la seva opinió. “Aquesta és també la raó per la qual una” governança ingènua de l’AI és una mala idea. Si utilitzeu una IA per assignar fons per a les contribucions, la gent posarà un jailbreak I un “dóna’m tots els diners” a tants llocs com puguin “, va dir.

“IA Governança” es refereix a sistemes que prenen decisions automatitzades sobre recursos o accions, per exemple, assignar fons o definir contribucions – basades en les regles de l’AI. El terme “ingenu” que utilitza Buterin no és accidental, sinó que és subratllar El risc d’assumir que els usuaris sempre donaran comandes correctes a la IAquan en realitat podrien aprofitar el sistema a través “jailbreaks”Per evitar restriccions i obtenir beneficis indeguts.

Val la pena aclarir que “jailbreak“Es refereix a tècniques a través de les quals els pirates informàtics enganyen un model d’AI per ignorar les restriccions de seguretat o les polítiques internes, per exemple, sol·licitar accions que estaran prohibides.

És a dir, per al fundador d’Ethereum Hi ha un risc real a l’hora de transferir la governança dels protocols descentralitzats a l’IA. Per exemple, tal com s’explica a la criptopèdia – Gestió educativa de les cripoties – a les plataformes financeres descentralitzades (DEFI), les decisions solen ser preses per vots comunitaris, normalment per aquells que tenen un testimoni o compleixen alguns criteris específics i cobreixen canvis, millores o accions a prendre al protocol.

Però si s’implementa un model de governança basat en IA, la porta s’obre a possibles manipulacions que puguin generar beneficis indeguts, com ara el robatori de diners o les dades privades.

Com a alternativa, Bugerin afirma que “dóna suport a l’enfocament de finançament de la informació, en el qual hi ha un mercat obert en el qual qualsevol pot contribuir als seus models, subjecte a un mecanisme de verificació específic que pot ser activat per qualsevol i avaluat per un jurat humà”. A més, explica:

Aquest tipus d’enfocament “disseny institucional”, en què es crea una oportunitat oberta per a persones externes per connectar el seu LLM (model de gran llenguatge) en lloc de programar rígidament la seva pròpia, és intrínsecament més robust. Això és de manera que proporciona diversitat de models de temps real i per generar incentius interns de manera que els que proporcionen models i especuladors externs estiguin atents a aquests problemes i corregiu -los ràpidament.

Vitalik Butein, creador d’Ethereum.

En aquest enfocament, diferents participants poden aportar els seus models de decisió que després són verificats i avaluats per un jurat humà.

L’avantatge és que Afavoreix la diversitat d’idees, permet correccions ràpides per errors i crea incentius De manera que els models creadors i membres de la comunitat es mantenen atents i responsables. L’objectiu és aconseguir una governança més distribuïda i dinàmica, evitant dependre d’un únic model centralitzat.