NEOMA. (2023, February 13). ChatGPT or CheatGPT: how to manage assignments and exams? NEOMA. https://neoma-bs.com/news/chatgpt-or-cheatgpt-how-to-manage-assignments-and-exams/

Publicat originalment el 13 de febrer de 2023

Durant les darreres setmanes, ChatGPT, la IA generativa, ha provocat moltes discussions que van des de la fascinació fins a la preocupació, especialment en el que fa referència a tasques i exàmens. Alain Goudey, Cap d’Oficina Digital, parla de prohibir o permetre l’ús de ChatGPT.

Regular l’ús de ChatGPT

La primera resposta pot ser prohibir l’ús de ChatGPT, com ho han fet centres a Nova York.

Tècnicament, prohibir l’accés a la xarxa al domini OpenAI.com (i a tots els altres dominis que ofereixen IA generativa basada en GPT-3) és una possibilitat. Aquesta solució no és particularment efectiva perquè es pot circumvenir fàcilment i, sobretot, és virtualment impossible de gestionar perquè el fenomen segurament s’expandirà i els punts d’entrada es multiplicaran. Quan aquesta eina s’inclogui a Office 365 de Microsoft, serà completament inútil considerar aquest enfocament. També és possible utilitzar un enfocament de supervisió, que només permet als estudiants accedir a finestres autoritzades al seu ordinador. No obstant això, l’eina és accessible a través del telèfon mòbil, de manera que aquest enfocament només és relativament efectiu.

La segona possibilitat és traslladar les tasques o els exàmens a l’aula, on es fan a mà i es pot controlar l’ús de dispositius connectats (evitant així el frau durant un examen). Aquesta tècnica molt senzilla és molt efectiva per limitar l’ús de ChatGPT.

Cal definir clarament la posició sobre l’ús de la IA generativa: el que està permès i el que no ho està i en quin context.

No obstant això, crec que és més important establir una posició clara sobre l’ús de les IA generatives com ChatGPT a la institució o durant els exàmens: el que està permès i el que no ho està i en quin context? Per tant, és necessari definir clarament el que està permès i el que no ho està amb aquesta eina per evitar el plagi assistit per IA (o iagiarisme) i en quines condicions. Això implica que s’informi els estudiants sobre una política clara en la qual es detallen les sancions per plagi (generalment les mateixes que per frau).

Si s’autoritza l’ús de la IA, és igualment important proporcionar un marc clar per al seu ús, demanant que s’indiquin explícitament els passatges on s’ha utilitzat l’IA i, evidentment, no posar simplement “ChatGPT” a la bibliografia, que és tan precís com indicar “internet” com a font bibliogràfica! Podria ser una bona idea que l’estudiant indiqui les preguntes utilitzades en relació amb els passatges corresponents i que el resultat proporcionat per l’eina s’afegeixi com a annex, aquesta ha de ser una exigència mínima per citar ChatGPT correctament.

Cal que els estudiants indiquin la pregunta utilitzada i el resultat proporcionat per ChatGPT com a requisit mínim.

Quan se li demana a ChatGPT que proporcioni una política clara (i restrictiva) per a l’ús en exàmens universitaris, aquest és el resultat:

I quan se li demana una política autoritzada i apropiada sobre l’ús de ChatGPT, les suggerències són:

Estic segur que cada institució escriurà la seva pròpia política per assegurar i garantir la integritat acadèmica, però sobretot, la formació adequada per als estudiants en el món d’avui.

A més, entre les recomanacions, és clar que s’ha de fer més treball en l’examen mateix. I aquest article continua amb aquesta qüestió!

Canviant la forma de les tasques o l’examen

Encara que pugui semblar espantós, hi ha diverses coses que ChatGPT no pot fer. Treballar en la forma és per tant important perquè l’eina simplement no sigui capaç de respondre. A continuació es llisten algunes possibilitats:

-Fer que els estudiants escriguin a mà: això sembla bàsic, però els obligarà a pensar una mica en el que estan escrivint (i és molt més avorrit que fer un copiar-enganxar)

-Utilitzar preguntes de resposta múltiple, de vertader/fals o de lògica: és molt fàcil enganyar una eina que no entén el que està escrivint. Qualsevol forma de raonament per tant el superarà molt ràpidament. Un exemple trivial aquí:

-Utilitza gràfics, mapes mentals o qualsevol forma d’expressió diferent de text simple: personalment utilitzo aquesta tècnica per ensenyar als meus estudiants com transmetre conceptes amb més impacte, ignorant el format de PowerPoint o textos llargs i poc interessants.

-Utilitza vídeos: els vídeos són omnipresents a les vides dels nostres estudiants i sovint tenen un autèntic talent per explicar històries. És un mitjà d’expressió que s’ha tornat molt senzill, efectiu i pertinent. I és molt útil perquè saben com expressar-se amb intel·ligència a través del vídeo!

Canviant les tasques o l’examen per confondre ChatGPT (i fer que els estudiants pensin)

Com s’ha mencionat anteriorment, en molts casos, ChatGPT tindrà gran dificultat per respondre amb precisió. Això es deu a que ChatGPT funciona “preveient la següent paraula” per construir el text sense entendre el que s’ha escrit. Per tant, quan falten informació, inventarà el text més plausible per “degradació poc elegant”: que no és realment un problema en un procés creatiu, però sí que ho és quan es tracta de respondre a una pregunta o fer una síntesi. Gràcies a Yves Caseau per aquest exemple hilarant dels metges i la seva irracional jornada laboral de 24 minuts (a causa de l’eina que confon minuts amb hores):

Això demostra que en casos no creatius pot ser útil tenir la habilitat d’utilitzar ChatGPT com a ajuda cognitiva i formular preguntes amplies perquè les dades d’aprenentatge hagin de ser pertinents. Així, qualsevol pregunta específica (amb poques dades) o qualsevol pregunta que requereixi lògica o anàlisi original farà que l’eina sigui inútil. Per tant, hi ha moltes possibilitats disponibles:

-Aplicar els conceptes a un cas específic: per disseny, si el cas és més específic i “poc conegut”, és a dir, el corpus de casos GPT-3 és feble, llavors l’eina no serà d’una gran ajuda. Això implica la necessitat d’utilitzar el concepte en lloc de memoritzar-lo.

-En general, qualsevol tema menys comú o més recent (les dades de ChatGPT només arriben fins a novembre de 2021 per ara) no pot ser tractat eficaçment per ChatGPT a causa d’una absència parcial o total del seu corpus.

-Deixar de seguir un enfocament de “una única resposta correcta” a favor d’un enfocament que requereix reflexió individual: per exemple, fent que els estudiants analitzin els canvis en les versions dels documents presentats (si es tracta d’una tesi), demanant-los que analitzin un text o document des de diferents punts de vista (i que els comparin) i treballant sobre les nuances dels punts de vista. Això és més sobre reflexionar sobre l’estratègia de resposta que sobre la resposta en si mateixa.

-Centrar-se en les habilitats més que en el coneixement, centrar-se en el significat més que en l’execució simple, centrar-se en l’anàlisi crítica més que en la memorització: és millor saber com clavar un clau o saber què és un clau? Definir un clau o preguntar per què el clau? Proposar alternatives rellevants al clau (el cargol)? O tots aquests alhora?

-Desenvolupar estratègies de monitorització, curació i reflexió: una vegada més, això implica que els nostres estudiants desenvolupin pràctiques genuïnes per a la recopilació d’informació, però sobretot per a l’anàlisi d’aquesta informació. Aquesta és una habilitat que esdevindrà essencial en una era de generació de contingut continu i automatitzat.

Després de les tasques o l’examen: identificar i contrarestar ChatGPT

Avui en dia hi ha moltes eines “anti-ChatGPT”, com ara GPTZero, AI Content Detector, Giant Language Model Test Room, Opportunity i Open AI GPT-2 Output detector. No obstant, això encara és molt complex i les eines de detecció sovint es confonen… No obstant, el millor és OpenAI, que aviat podrà vendre l’eina i el seu antídot… de fet, només ells tenen el coneixement a fons dels textos i les estructures de vocabulari més comuns de ChatGPT i només ells es troben en posició d’introduir algun tipus de “marcatge d’aigua”, una autèntica signatura d’autenticació per al contingut generat per la seva IA.

No obstant, un cervell humà pot identificar fàcilment el contingut generat per ChatGPT: les estructures de frases, l’assertivitat, la estructura de la resposta és més o menys regular i recurrent (especialment si la indicació inicial és bàsica). Hi ha una falta de to o èmfasi, un estil d’escriptura “mecànic”. D’altra banda, un altre element hauria de despertar sospites: l’absència de faltes d’ortografia, la precisió gramatical constant, un estil d’escriptura massa regular i la similitud entre diferents còpies són tots senyals d’alarma.

Una altra possibilitat és elevar el nivell d’una tasca “mitjana” i atorgar un bonus a qualsevol expressió d’un punt de vista original, contrastant o crític… o fomentar la “presa de riscos”, la “innovació” o la veritable “creativitat” en la resposta i la forma de la resposta. Pel que fa a l’avaluació, és imprescindible tenir claredat el que està permès o no autoritzat en l’ús de l’eina.

Utilitzant l’eina per a les tasques o l’examen

ChatGPT també pot ser un gran aliat per als professors. Per exemple, és fàcil crear qüestionaris, preguntes tipus test i dictats utilitzant l’eina OpenAI.

Més enllà d’això, suggeriria invertir els papers i col·locar l’estudiant com a “corrector” de les respostes de ChatGPT perquè puguin pensar en les indicacions i els elements o arguments proporcionats per ChatGPT:

Aquí és fàcil demanar un exemple de les propostes de ChatGPT en certs passatges del text, per exemple, per verificar la data, per preguntar per l’origen del text… Aquest enfocament estudiant-corrector, trobo que és extremadament rellevant perquè són obligats a treballar amb els diferents conceptes que han après, al mateix temps que adopten una postura crítica davant els conceptes i les eines que tenen a la seva disposició.

En conclusió: ChatGPT i el seu impacte en el pensament

Com qualsevol eina o avenç tecnològic, la intel·ligència artificial generativa, tindrà un impacte en el nostre pensament, la nostra forma de veure el món i el nostre cervell.

L’ús de ChatGPT també podria tenir un impacte en la llibertat de pensament. D’una banda, ChatGPT pot facilitar l’accés a la informació i les idees generant textos ràpidament i eficientment. Això pot ajudar els usuaris a explorar noves idees i descobrir noves perspectives.

D’altra banda, l’ús de ChatGPT també pot portar a cert grau de dependència en la generació automàtica de textos (només cal veure els nivells actuals d’ús quan els servidors estan caiguts) i pot reduir la capacitat dels usuaris de pensar per ells mateixos i formular les seves pròpies idees. A més, ChatGPT s’executa en un vast corpus de dades textuals, de manera que és segur que reproduirà els prejudicis i estereotips presents en aquestes dades, cosa que podria limitar les perspectives i les idees suggerides pel model. De fet, és una eina excel·lent per revelar el pensament dominant (dins del corpus, del qual no es coneix tot a aquesta etapa).

Per tant, és important utilitzar aquestes eines d’intel·ligència artificial generativa de manera conscient i crítica, sabent que poden ajudar a explorar noves idees, però no haurien de substituir el pensament independent i la reflexió personal. Per tant, és important ser conscients de les limitacions d’aquestes eines per evitar caure en un patró estadísticament dominant!

En l’era de la intel·ligència artificial, necessitem cultivar la intel·ligència humana (i col·lectiva)! Uneix-te al grup de LinkedIn “AI Generations & Education”, si aquests temes t’interessen.