O congreso internacional EPIA2024 premia 'Carvalho_pt-gl', un innovador modelo xerativo de linguaxe bilingüe para galego e portugués deseñado no CiTIUS

O congreso internacional de intelixencia artificial EPIA2024, celebrado as pasadas semanas na localidade portuguesa de Viana do Castelo, recoñeceu co Best Application Paper Award o artigo 'A Galician-Portuguese Generative Model', un traballo liderado desde a USC polo investigador Pablo Gamallo no marco do Proxecto Nós, financiado pola Consellaría de Cultura, Lingua e Xuventude da Xunta de Galicia e desenvolvido polo CiTIUS e o Instituto da Lingua Galega da USC (ILG).

Trátase dun innovador modelo de linguaxe xerativo baseado nas variantes galega e portuguesa, o que supón un avance significativo na integración destas linguas nos modelos de intelixencia artificial. Coñecido como Carvalho_pt-gl, o modelo está dispoñible en libre descarga desde a rede, e foi deseñado especificamente para procesar e xerar contido en galego e portugués europeo, dúas variedades lingüísticas  estreitamente relacionadas, pero pouco representadas nos actuais modelos multilingües.

O equipo de investigación, composto por persoal experto do CiTIUS da USC, da Universidade de Évora e da Universitat Pompeu Fabra, utilizou unha arquitectura de GPT con 1.300 millóns de parámetros e máis de 6.000 millóns de palabras balanceadas entre ambas as dúas linguas. Todo un desafío enmarcado tamén dentro do proxecto ILENIA (Impulso das Linguas na Intelixencia Artificial) do PERTE 'Nova Economía da Lingua' financiado polo Ministerio para a Transformación Dixital e a Función Pública do Goberno de España.

Solucións innovadoras para linguas minorizadas
O modelo foi adestrado no supercomputador Finisterrae III do Centro de Supercomputación de Galicia (CESGA) “usando unha estratexia de preadestramento continuo que permitiu adaptar un modelo multilingüe preexistente, o que axudou moito a superar as limitacións de datos que terían xurdido se o adestramento comezase desde cero”, explica Pablo Gamallo. O máximo responsable de Carvalho_pt-gl salienta así mesmo que «tras avaliar os resultados obtidos con benchmarks estandarizados -un conxunto de probas e referencias que se utilizan para avaliar e comparar o rendemento dos modelos de linguaxe- vemos que mostran un rendemento prometedor, ao tempo que reforzan a importancia de promover a diversidade lingüística nos modelos xerativos».

A concesión do Best Application Paper Award nun congreso da magnitude do EPIA2024 subliña o impacto e a relevancia deste traballo no panorama da intelixencia artificial. O artigo pon en evidencia a necesidade de desenvolver tecnoloxías inclusivas e multiculturais que respecten a diversidade lingüística, achegando solucións innovadoras para linguas minoritarias ou menos representadas como o galego e o portugués.

Xunto a Pablo Gamallo, no equipo de Carvalho_pt-gl participaron tamén Pablo Rodríguez, Susana Sotelo, Silvia Paniagua, Daniel Bardanca, José Ramom Pichel e Senén Barro, todas e todos eles do CiTIUS do Proxecto Nós; Daniel Santos, Nuno Miquelina, Daniela Schmidt, Vítor Nogueira e Paulo Quaresma, da Universidade de Évora; e Iria de-Dios-Flores, da Pompeu Fabra.

Últimas aplicacións en intelixencia artificial
Consolidado como un dos encontros máis importantes do ámbito no sur de Europa, o EPIA (Encontro Português de Intelixência Artificial) é un congreso científico internacional de carácter anual que centra os seus esforzos nos últimos avances e aplicacións da intelixencia artificial. Organizado pola Asociación Portuguesa para a Intelixencia Artificial (APPIA), o evento reúne persoal investigador e experto de todo o mundo para compartir coñecementos, discutir investigacións innovadoras e promover colaboracións en diversas áreas da IA.