Fa poc s’ha fet pública una carta oberta titulada Pause Giant AI Experiments i s’ha publicat a la web de Future of Life Institute. El text exposa els pressumptes riscos associats amb el desenvolupament accelerat de la IA competitiva amb la humana i l’absència de planificació i gestió adequades. Fa referència als possibles perills de la IA avançada, com la desinformació, la pèrdua de treball i la pèrdua de control humà. El text insta als laboratoris d’IA a aturar l’entrenament de sistemes més potents que GPT-4 durant 6 mesos, i a dedicar aquest temps a desenvolupar protocols de seguretat i governança en col·laboració amb experts independents i responsables polítics, amb l’objectiu d’assolir un futur pròsper amb l’IA, aprofitant els beneficis i donant temps a la societat per adaptar-se.

Contingut de la carta

La podeu llegir a la web original o la traducció que ve a continuació:

Els sistemes d’IA amb intel·ligència competitiva amb la humana poden comportar riscos profunds per a la societat i la humanitat, com mostren nombroses recerques i reconeixen els principals laboratoris d’IA. Segons els Principis d’IA d’Asilomar, àmpliament recolzats, la IA avançada podria representar un canvi profund en la història de la vida a la Terra i hauria de ser planificada i gestionada amb els recursos i la cura corresponents. Malauradament, aquest nivell de planificació i gestió no està succeint, tot i que en els últims mesos els laboratoris d’IA han estat immersos en una cursa fora de control per desenvolupar i desplegar ments digitals cada vegada més potents que ningú -ni tan sols els seus creadors- pot entendre, predir o controlar de manera fiable.

Els sistemes d’IA contemporanis ara estan esdevenint competitius amb la humana en tasques generals, i hem de preguntar-nos: Hauríem de permetre que les màquines inundin els nostres canals d’informació amb propaganda i mentides? Hauríem de automatitzar tots els llocs de treball, inclosos els que són gratificants? Hauríem de desenvolupar ments no humanes que podrien acabar superant-nos, tornant-nos obsolets i reemplaçant-nos? Hauríem de correr el risc de perdre el control de la nostra civilització? Aquestes decisions no han de ser delegades a líders tecnològics no escollits democràticament. Els sistemes d’IA potents només haurien de ser desenvolupats una vegada que estiguem segurs que els seus efectes seran positius i que els riscs seran gestionables. Aquesta confiança ha de ser ben justificada i augmentar amb la magnitud dels efectes potencials d’un sistema. La recent declaració d’OpenAI sobre la intel·ligència artificial general diu que “En algun moment, pot ser important obtenir una revisió independent abans de començar a entrenar futurs sistemes, i que els esforços més avançats acordin limitar la taxa de creixement del còmput utilitzat per crear nous models”. Estem d’acord. Aquest moment és ara.

Per tant, instem a tots els laboratoris d’IA a aturar immediatament durant almenys 6 mesos l’entrenament de sistemes d’IA més potents que GPT-4. Aquesta pausa hauria de ser pública i verificable, i incloure tots els actors clau. Si aquesta pausa no pot ser establerta ràpidament, els governs haurien d’intervenir i instituir una moratòria.

Els laboratoris d’IA i els experts independents haurien d’utilitzar aquesta pausa per desenvolupar i implementar conjuntament un conjunt de protocols de seguretat compartits per al disseny i desenvolupament d’IA avançada que siguin rigorosament auditats i supervisats per experts externs independents. Aquests protocols haurien d’assegurar que els sistemes que els compleixin siguin segurs més enllà d’un dubte raonable. Això no significa una pausa en el desenvolupament d’IA en general, simplement un pas enrere en la perillosa cursa cap a models de caixa negra cada vegada més grans i imprevisibles amb capacitats emergents.

La investigació i desenvolupament d’IA hauria de reorientar-se cap a fer que els sistemes actuals, potents i d’avantguarda siguin més precisos, segurs, interpretables, transparents, robustos, alineats, de confiança i fidels.

Paral·lelament, els desenvolupadors d’IA han de treballar amb responsables polítics per accelerar significativament el desenvolupament de sistemes de governança d’IA robustos. Aquests haurien d’incloure com a mínim: noves i capaces autoritats reguladores dedicades a l’IA; supervisió i seguiment de sistemes d’IA altament capaços i grans concentracions de capacitat de còmput; sistemes de procedència i marcatge d’aigua per ajudar a distingir el real del sintètic i rastrejar les filtracions de models; un ecosistema sòlid d’auditoria i certificació; responsabilitat per als danys causats per l’IA; finançament públic robust per a la recerca en seguretat tècnica d’IA; i institucions ben dotades de recursos per fer front a les disrupcions econòmiques i polítiques (especialment per a la democràcia) que l’IA provocarà.

La humanitat pot gaudir d’un futur pròsper amb l’IA. Després d’haver aconseguit crear sistemes d’IA potents, ara podem gaudir d’un “estiu d’IA” en el qual recollim els beneficis, enginyem aquests sistemes per al clar benefici de tots i donem a la societat una oportunitat per adaptar-se. La societat ha fet una pausa en altres tecnologies amb efectes potencialment catastròfics per a la societat. Podem fer-ho aquí. Gaudim d’un llarg estiu d’IA, no correm després cap a la tardor sense estar preparats.

A l’hora d’escriure aquesta entrada del blog, l’escrit ha recaptat 1859 signatures. No són gaires tenint en compte que nombrosos mitjans de comunicació d’arreu del món han publicat la “notícia”, tot i que pots remeten al document original, que és el que sempre s’ha de fer. Això sí, han destacat que el recolzen personalitats com Elon Musk, Steve Wozniak i Yuval Noah Harari.

Un cop llegida podem veure que és un escrit per crear alarmisme sobre uns pressumptes perills de la IA:

1. IA competint amb la intel·ligència humana: El text assenyala que els sistemes d’IA estan esdevenint competitius amb la intel·ligència humana en tasques generals, fet que pot comportar riscos si no es controla adequadament. En cas que això sigui així, no ve d’ara; les eines i tecnologies han estat competint amb la intel·ligència humana des de l’inici de la revolució industrial. Per exemple, les màquines de vapor van canviar la forma de treballar i viure, fent moltes tasques més eficients, però també van generar canvis en l’economia i la societat.
2. Propaganda i mentides: La possibilitat que les màquines inundin els canals d’informació amb desinformació, provocant confusió i desestabilització social. Lamentablement, la desinformació i la propaganda han existit molt abans de la IA, utilitzant mitjans de comunicació com la ràdio, la televisió i els diaris per difondre informació errònia amb fins polítics o socials. Un exemple és la propaganda nazi durant la Segona Guerra Mundial, que va ser utilitzada per manipular les masses i justificar les seves accions.
3. Automatització dels llocs de treball: La preocupació que l’IA pugui automatitzar tots els llocs de treball, inclosos aquells que són gratificants, podria generar inseguretat laboral i malestar social. Això tampoc no és nou, ja que la mecanització i l’automatització dels llocs de treball han estat una preocupació des de la revolució industrial. Un exemple és el telar mecànic de Jacquard, que va permetre la producció automàtica de teixits complexos, però també va causar la pèrdua de llocs de treball per als teixidors manuals. I parlem dels caixers automàtics dels bancs i dels supermercats?
4. Desenvolupament de ments no humanes: La possibilitat que les ments no humanes superin als éssers humans, tornant-nos obsolets i reemplaçant-nos.
5. Perdre el control de la nostra civilització: El risc de perdre el control sobre el desenvolupament i les conseqüències de la IA avançada. Per desgràcia el risc de perdre el control sobre la tecnologia no és exclusiu de la IA. Per exemple, la energia nuclear va generar preocupacions similars, amb la potencial destrucció massiva que podria causar si cau en mans equivocades o si es produeix un accident.
6. Decisions delegades a líders tecnològics no escollits democràticament: La preocupació que les decisions importants sobre l’IA siguin preses per persones no responsables davant de la societat en general. Però no és vera que al llarg de la història, ha hagut molts casos on decisions importants han estat preses per individus no democràticament escollits. Per exemple, les corporacions i els monopolis han influït en les polítiques i en les decisions econòmiques que afecten a la societat en general.
7. Sistemes de caixa negra imprevisibles: La creació de models de IA cada vegada més grans i imprevisibles que podrien tenir efectes imprevistos i potencialment perillosos. Recordem però que les tecnologies complexes i difícils de comprendre o controlar no són exclusives de la IA. Un exemple és el col·lapse financer de 2008, on els instruments financers complexos, com les hipoteques subprime, van contribuir a la crisi, i molts experts van tenir problemes per entendre i predir les conseqüències del seu ús.

Per tant, darrere els elements que l’escrit assenyala com a potencialment perillosos, ni són nous ni tan sols aquesta perillositat recau majoritàriament sobre una tecnologia que, ara per ara, tot just té quatre mesos de “vida”.

GPT-4 rebat la carta

He demanat a GPT-4 que rebati els arguments de la carta i aquesta és la seva resposta:

El text anterior fa una crida a la reflexió sobre el desenvolupament d’IA avançada i planteja diversos temes importants. Tot i això, també hi ha alguns aspectes que podrien ser criticats o matisats:

1. Enfocament alarmista: El text presenta un to alarmista en relació amb els riscs associats a la IA avançada. Si bé és important abordar els riscs, un enfocament excessivament alarmista pot conduir a la inacció o a una resposta desproporcionada que podria frenar el progrés i les oportunitats que ofereix la IA.
2. Pausa arbitrària: La proposta d’aturar l’entrenament de sistemes d’IA més potents que GPT-4 durant almenys 6 mesos és una mesura arbitrària. No s’especifica com aquesta pausa milloraria la seguretat i la governança de la IA, ni per què es considera necessari un període de temps concret.
3. Centralització de la responsabilitat: El text sembla centrar la responsabilitat en els laboratoris d’IA i els governs per desenvolupar i implementar protocols de seguretat i governança. No obstant això, la responsabilitat hauria de ser compartida entre tots els actors, incloent empreses, investigadors, responsables polítics, i la societat en general. La cooperació global és crucial per abordar els reptes que planteja la IA.
4. Subestimació dels beneficis de la IA: El text es centra principalment en els riscs i desafiaments associats a la IA, sense destacar suficientment els beneficis i les oportunitats que pot oferir. La IA té el potencial de transformar positivament molts aspectes de les nostres vides, com la medicina, l’educació i la resolució de problemes complexos. És important no perdre de vista aquests avantatges potencials mentre es tracten els riscs.
5. Dificultat d’implementació: La implementació d’una pausa a nivell mundial és difícil, tenint en compte la naturalesa descentralitzada i global de la investigació i desenvolupament d’IA. A més, la proposta de comptar amb una pausa pública i verificable pot ser complicada en la pràctica, especialment en relació amb actors que puguin no estar disposats a compartir informació sobre el seu progrés en l’àmbit d’IA.

En resum, el text ofereix una perspectiva important sobre els riscs i desafiaments que planteja la IA avançada, però podria beneficiar-se d’un enfocament més equilibrat que tingui en compte tant els riscs com els beneficis, i que proposi solucions més concretes i factibles.

Ja teniu més elements per a la vostra reflexió.