Inteligencia Artificial generativa: «Lo de GPT-3 da miedo»

Madrid, 24 de julio del 2020.– Esta es la valoración de una profesional experta en desarrollo de software cuando ha leído esta mañana la siguiente información del diario El Confidencial. GPT-3 es un nuevo modelo informático creado por la startup californiana OpenAI (impulsado por Elon Musk (Tesla) y Microsoft). Fue presentado hace unas semanas, capaz de programar código básico como un desarrollador más o traducir textos en inglés común a lenguaje jurídico, entre otras numerosas y sorprendentes funcionalidades.

A continuación publicamos un resumen del reportaje publicado hoy por El Confidencial:

GPT es la tercera versión del modelo de procesamiento de lenguaje natural (NLP) de OpenAI, un tipo de inteligencia artificial que se centra, básicamente, en estudiar y aprender lenguaje natural para luego poder crear textos complejos y, como explica el experto, divulgador y ‘youtuber’ centrado en ‘machine learning’ Carlos Santana, ser capaz de «adivinar la siguiente palabra». Vale, esta es la definición básica y rápida que podríamos asemejar a lo que hacen los asistentes como Alexa o Siri, pero detrás de este caso hay muchísimo más. «Se trata del modelo más grande de este tipo creado hasta la fecha. Su punto más interesante es que ha sido preentrenado con más de 175.000 millones de parámetros».

Carlos Santana, Experto en Machine Learning.

A lo que se refiere Santana con esto (y solo tocando de forma superficial las partes más técnicas del detallado proyecto que se cuenta en este ‘paper’) es que la clave de esta máquina ‘mágica’ está en que cuenta con 175.000 millones de parámetros conseguidos de una pantagruélica base de datos de textos de internet que ayudan a aprender y desarrollarse a este modelo. Lo hace a tal nivel que ni siquiera se sabe todo lo que es capaz de hacer ni casi cómo lo hace, y son los propios usuarios los que al probar y testar el modelo en una consola lo van descubriendo. Una versión de los citados asistentes o el ‘autocompletar’ de nuestros móviles, pero a un nivel brutalmente mayor.

«Tú creas estos programas con la idea del lenguaje natural, de que sean capaces de escribir textos como un humano, de conversar con personas de manera natural en ‘chatbots’ o desarrollar ideas de forma comprensible y compleja aprovechando todo el conocimiento adquirido y analizando los ‘imputs’ que recibe. Pero lo cierto es que no sabemos lo que está aprendiendo ahora mismo, cómo razona exactamente para elegir un término u otro y ni siquiera conocemos su límite», apunta el experto.

Con la única directriz de tener que adivinar la siguiente palabra procesando lenguaje natural y la incontable cantidad de datos adherida al modelo, se ha comprobado que este programa es capaz de desarrollar en poco tiempo una idea de un tuit en un largo texto de forma original y que el propio autor humano del mensaje dé su aprobación, pero también es capaz de traducir textos, realizar sumas (a pesar de que no debería saber sumar ni está preparado para ello) o aprender parámetros con uno, dos o ningún ejemplo. «Es normal que a la gente le sorprenda porque a los propios expertos nos pasa. Digamos que una explicación rápida a estos descubrimientos es que como el programa sabe que tiene que dar una respuesta a todo lo que se le plantea, busca entre los parámetros hasta encontrarla, aunque no sea una palabra».

Como a Santana, los resultados también sorprenden a Julio Gonzalo, investigador de la UNED especializado en ciencias computacionales y NLP, que, aunque asegura que hay bastante ‘hype’ entorno a este último desarrollo y que estamos lejos de llegar a los límites de la teórica inteligencia artificial, esto da muestras de hasta dónde puede llegar. «Este es el primer sistema capaz de resolver tareas en las que se dan unos pocos ejemplos, un único ejemplo, o incluso ningún ejemplo, solo una descripción de la tarea. Curiosamente la arquitectura es muy parecida a la de GPT-2, la mayor diferencia está en la escala tiene 10 veces más parámetros que lo que se había probado hasta ahora».

Según Gonzalo, la escala es fundamental en los resultados. «Al evaluarlo con tareas en las que apenas hay datos de ejemplo han comprobado que es a esta escala a la que pueden empezar a abordarse tareas para las que existen cero, uno o muy pocos ejemplos de entrenamiento. De hecho, hay tareas en las que, entrenando con unos pocos ejemplos, son capaces de igualar el rendimiento de sistemas que han sido entrenados con decenas de miles de ejemplos». Y aquí empieza lo que ambos expertos comentan como la gran revolución bajo el GPT-3 y que puede cambiar la sociedad de forma profunda: el ‘deep learning’.

Tanto para Santana como para Gonzalo, el GPT-3 es un nuevo ejemplo de una revolución más profunda y compleja que lleva años despuntando, aunque normalmente no se conozca demasiado sobre ella. «Es un paso más en el proceso de aplicación del ‘deep learning’ al procesamiento del lenguaje natural, que es ciertamente una revolución en nuestro campo. Lo ha cambiado todo: el rendimiento de los sistemas, el enfoque unificado para casi cualquier problema de NLP, que es un paso firme hacia la comprensión del lenguaje, más allá de aprender correlaciones entre palabras y clases de un problema determinado», apunta Gonzalo.

Santana, por su lado, señala que lo ocurrido con las posibilidades de realizar cálculos o programar de GPT-3 es lo que se conoce en esta rama de conocimiento como ‘one shoot learning’. El razonamiento es que si las redes neuronales son similares al cerebro humano deberían poder, como hace el ser humano, aprender a clasificar un objeto sin verlo miles de veces, incluso cuando lo ve por primera vez, usando la memoria de aprendizaje anterior. El GPT-3 muestra que cuando recibe un ‘imput’ que no conoce acude a su mastodóntica memoria para encontrar una respuesta acorde, aunque nunca lo hayan programado para ello. Pero ¿es este desarrollo algo definitivo y puede incluso competir con el cerebro humano? Todo apunta a que de momento no.

«Todavía necesita de ‘imputs’ humanos que dirijan sus acciones y razonamientos por lo que todavía está lejos de algo así, pero está claro que es un ejemplo más del camino que se puede llegar a andar. No sé si por ejemplo nos quitarán empleos en el corto plazo, pero seguro que estos modelos cambiarán nuestra forma de trabajar acabando con ciertos procesos. Quién sabe, lo mismo en unos años un periodista ya no tiene que escribir sus artículos o no completamente, sino que puede pensar una idea, comentársela a la máquina, que esta desarrolle un texto original centrado en los conceptos dados y el redactor solo tenga que pulirlo», reflexiona Santana. Sin embargo, la evolución no para y no se conoce el límite.

Gonzalo es algo más escéptico, aunque no duda de que instaurarán cambios. «No conocemos su límite, pero sí está claro que, por increíbles que sean los resultados en determinadas tareas de GPT, estos sistemas no se están ni acercando al concepto de inteligencia artificial general. Están imitando lo que han visto; es una imitación muy sofisticada, pero no conectan lenguaje y significado ni razonan realmente. GPT-3, por ejemplo, fracasa estrepitosamente en problemas de comprensión de textos. En general los sistemas como GPT son capaces de general textos muy fluidos y naturales, pero al leerlos con detenimiento no suelen tener mucho sentido».

Sea o no así, las grandes corporaciones como Microsoft ya han comenzado a sustituir empleados humanos por IA, como es el caso de los periodistas del portal de Microsoft MSN. La misma compañía que financia GPT con más de 1.000 millonespara crear IA ‘fuerte’ anunciaba hace justo un mes que despediría a 27 de sus redactores y que sus portales de noticias empezarían a llenarse de contenido generado por una IA. Y hay quien incluso habla de que podrían sustituir hasta a consultores o analistas. Un futuro por el que se pelean las grandes tecnológicas y que también genera ciertas dudas por las implicaciones morales y éticas de estos conocimientos.

Como explica Santana, tanto se han disparado estas tecnologías que es muy posible que en unos meses ya sea Facebook o Google (a través de su filial Deepmind) superen las capacidades de GPT-3. Las grandes tecnológicas se han puesto al frente de estos desarrollos y cada año gastan millones en sus mejoras. Esto ayuda al progreso de las mismas, pero también genera dudas en torno a cómo debería evolucionar esta tecnología. «Ahora mismo digamos que la estructura de estos modelos está hecha, o sea todo el mundo puede hacer uno porque además los patrones se han ido liberando, pero lo que diferencia a unos de otros es el dinero que tienes para poder escalarlos con capacidad de computación».

Por ejemplo, según detalla Gonzalo, OpenAI se ha gastado casi 5 millones de dólares en entrenar GPT-3. «Se estima que para optimizar los 175.000 millones de parámetros de GPT-3 hay que gastar en capacidad de cómputo unos 4,6 millones de dólares. Además del coste económico, imagínate la huella ecológica». Porque ese es otro problema, para el desarrollo de estas herramientas se necesita una gran cantidad energía que acaba impactando en el medio ambiente. A nivel general, la consultora McKensey calcula que para el año 2020, el mercado de las tecnologías de la información producirá en torno al 3 o 4% de todas las emisiones de CO2 del mundo.

Fuente de Información: El Confidencial.

Imágenes: Web OpenAI

Inteligencia Artificial

Vídeos relacionados:

Publicado

en

, , , , ,

por

transformaciondigitalgruporeputacioncorporativa

Etiquetas:

, , , , , , , , , , , , , , ,

Comentarios

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *