La construcción del reactor de fusión experimental ITER en Cadarache (Francia) debería finalizar en 2027. Mientras, se usan reactores más pequeños, como el reactor DIII-D del Centro Nacional de Fusión en San Diego, EEUU, para estudiar cómo optimizar los plasmas en ITER. Se publica en Nature un algoritmo de control inteligente basado en aprendizaje profundo por refuerzo para evitar la inestabilidad del plasma por el modo de rasgado neoclásico (NTM). Se ha controlado la inestabilidad asociada a la resonancia poloidal/toroidal 2/1 en un estado de DIII-D análogo al escenario de referencia de ITER (IBS); en este estado se producirá en ITER una potencia de fusión de 500 MW con una ganancia Q=10 durante 300 segundos. Este tipo de estudios podrían acelerar la operación de ITER para que alcance sus objetivos con éxito cuanto antes.

La ventaja del control mediante una inteligencia artificial es que se actúa antes de que ocurra la inestabilidad, en lugar de intentar mitigar su efecto una vez se ha producido. Para ello hay que predecir en tiempo real cuándo va a ocurrir, lo que raya lo imposible usando modelos teóricos (las simulaciones de los plasmas requieren supercomputadores). El aprendizaje con refuerzo descubre patrones en los datos de diagnóstico experimentales (obtenidos por espectroscopia magnética, de dispersión de Thomson y de recombinación por intercambio de carga, como muestra la figura a la izquierda), que permiten detectar la inestabilidad de rasgado 2/1 unos 300 milisegundos antes de que se produzca . Mediante un bucle realimentado (figura a la derecha) con un retraso de 25 milisegundos se controlan los actuadores que calientan el plasma con haces de átomos neutros y con ondas de radiofrecuencia usando la resonancia electrón-ciclotrón para evitar que se produzca la inestabilidad (figura en el centro).

La inestabilidad NTM es una de las más relevantes en la operación de un tokamak; sin embargo, hay muchas otras, cuyo control inteligente también será necesario estudiar en DIII-D. Además, el aprendizaje se ha basado en datos experimentales históricos de DIII-D, con lo que tendrá que ser repetido en otros reactores de fusión y con los datos futuros de ITER. El nuevo controlador es una prueba de concepto y queda mucho trabajo por hacer, pero todo apunta a que el control inteligente será usado en todos los futuros reactores de fusión comerciales. El artículo es Jaemin Seo, SangKyeun Kim, …, Egemen Kolemen, «Avoiding fusion plasma tearing instability with deep reinforcement learning,» Nature 626: 746-751 (21 Feb 2024), doi: https://doi.org/10.1038/s41586-024-07024-9. A nivel divulgativo recomiendo la nota de prensa de «Engineers use AI to wrangle fusion power for the grid,» Princeton Plasma Physics Laboratory (PPPL), 21 Feb 2024.

[PS 01 mar 2024] Por cierto, no se trata de la primera vez que el control inteligente se usa en reactores de fusión. Gracias, Masgüel, por el comentario. Ya se publicó en 2022 en Nature un artículo de DeepMind (Google) que usaba control inteligente con aprendizaje con refuerzo para controlar un reactor de fusión (el pequeño reactor suizo llamado TCV (Tokamak à configuration variable), que tiene un radio mayor de 0.88 m, un radio menor de 0.25 m, un campo magnético máximo de 1.43 T y una potencia calórica de 4.3 MW. El entrenamiento se realizó con un simulador 2D de dicho reactor, pero se demostró su buen funcionamiento con experimentos reales (Jonas Degrave, …, Demis Hassabis, Martin Riedmiller, «Magnetic control of tokamak plasmas through deep reinforcement learning,» Nature 602: 414-419 (16 Feb 2022), doi: https://doi.org/10.1038/s41586-021-04301-9). Una estrategia similar (aprendizaje con un simulador) también se ha usado con el reactor coreano KSTAR (Korea Superconducting Tokamak Advanced Research), cuyo tamaño es similar a DIII-D (1.8 m, 0.5 m, 3.5 T y 14 MW), como se publicó en J. Seo, Y.-S. Na, …, Y.H. Lee, «Development of an operation trajectory design algorithm for control of multiple 0D parameters using deep reinforcement learning in KSTAR,» Nuclear Fusion 62: 086049 (07 Jul 2022), doi: https://doi.org/10.1088/1741-4326/ac79be).

Y ya que estamos citando los antecedentes (que como siempre se adentran mucho en el pasado), también se publicó en Nature el uso de una inteligencia artificial con aprendizaje con refuerzo para predecir las inestabilidades del plasma (aunque sin control para evitar su aparición posterior). El aprendizaje se basó en datos experimentales de los reactores DIII-D (EEUU) y JET (Reino Unido): Julian Kates-Harbeck, Alexey Svyatkovskiy, William Tang, «Predicting disruptive instabilities in controlled fusion plasmas through deep learning,» Nature 568: 526-531 (17 Apr 2019), doi: https://doi.org/10.1038/s41586-019-1116-4. Com es bien conocido, todo avance tiene gran número de antecedentes. Una revisión más profunda de la bibliografía está más allá de mis objetivos en esta pieza divulgativa. [/PS]

El plasma de deuterio en los reactores de fusión está sometido a gran número de inestabilidades magnetohidrodinámicas. En el caso de ITER, estudiarlas con todo detalle requerirá unos diez años (entre 2027 y 2037) antes de que se pueda pasar a los estudios de la fusión inyectando tritio. Muchas de estas inestabilidades conducen a la disrupción del plasma, que provoca una pérdida rápida de energía y la terminación brusca de la descarga. Esta energía perdida del plasma se disipa en las paredes, bobinas, etc., del tokamak, lo que puede producir daños. Para minimizarlos, hay que limitar la densidad, la presión y la corriente máximas del plasma. Su control inteligente permitirá relajar estos límites, garantizar una presión óptima del plasma y maximizar la producción de energía útil.

En el nuevo artículo se ha estudiado a nivel experimental el control inteligente usando el pequeño reactor de fusión DIII-D, el mayor de EEUU; este tokamak tiene un radio mayor de 1.67 m, un radio menor de 0.67 m, un campo magnético toroidal máximo de 2.2 T y una potencia calórica de 23 MW. Estos valores se pueden comparar con el británico JET (2.96 m, 1.25 m, 3.45 T y 38 MW) o el futuro ITER (6.20 m, 2.00 m, 12 T y 320 MW). Estos pequeños reactores experimentales son muy útiles para muchos estudios de plasmas, mientras no funcione ITER. Cuando ITER inyecte su primer plasma, muchos de estos pequeños reactores empezarán a ir finalizando su periodo de funcionamiento y acabarán siendo desmantelados. Por ejemplo, el británico JET (Joint European Torus) finalizó sus operaciones en diciembre de 2023; hay una movilización científica para que continúe en funcionamiento, pero el gobierno británico hace oídos sordos.

El algoritmo de aprendizaje por refuerzo recuerda a los que usan en robótica móvil para evitar obstáculos (la inestabilidad de rasgado sería el obstáculo a evitar). Las inestabilidades de rasgado m/n están asociadas a la resonancia entre modos poloidales y toroidales con números m y n, respectivamente; las más relevantes son el rasgado resistivo 1/1 (RTM) y el neoclásico 2/1 (NTM). Esta última limita la presión del plasma porque su origen es la llamada corriente de bootstrap, que se produce de forma espontánea cuando existe un gradiente de presión.

La arquitectura de la red de neuronas artificiales profunda (DNN) usada se muestra en la figura. La entrada comprende los datos de diagnóstico experimentales (curvas unidimensionales asociadas a la espectroscopia magnética, de dispersión de Thomson y de recombinación por intercambio de carga) y el estado de los actuadores (que calientan del plasma). La salida es la presión normalizada del plasma (β_N) y la rasgabilidad T (tearability). Durante el entrenamiento se ha usado una función de recompensa que usa un umbral k de rasgabilidad, que se fija en 0.2, 0.5, o 0.7 en este trabajo. La función de recompensa es R(β_N, T; k) = β_N > 0,  si T<k, para maximizar la presión del plasma (esencial para una generación eficiente de energía de fusión). Para evitar el rasgado se penaliza con una recompensa negativa R(β_N, T; k) = k − T < 0, si k > T. En futuros estudios que consideren otras inestabilidades del plasma habrá que usar una función de recompensa más complicada, que tenga en cuenta otros factores.

El funcionamiento básico del algoritmo de control inteligente se ilustra en esta figura (obtenida mediante simulaciones por ordenador). Sin el algoritmo de control inteligente (curva negra a la izquierda), cuando la presión supera cierto límite se produce la inestabilidad NTM y la disrupción posterior del plasma. Gracias al control inteligente (curva azul) se controla el gradiente de la presión y la rasgabilidad, que oscilan entre ciertos márgenes evitando toda inestabilidad (que también puede aparecer cuando la presión baja demasiado, debido a la presencia de un gradiente de la presión demasiado negativo).

Esta figura muestra datos reales de tres descargas experimentales: 193266 (color amarillo) es una descarga estable como referencia con un algoritmo de control realimentado estándar, 193273 (color negro) es una descarga inestable como referencia también con un algoritmo de control estándar y 193280 (color azul) es una cargada controlada por la inteligencia artificial. Se muestra la corriente del plasma (en MA, megaamperios), la potencia del plasma (en MW, megavatios), la triangularidad poloidal (factor geométrico adimensional que mide la forma triangular de la sección poloidal del plasma), las fluctuaciones magnéticas (en G, gauss) y la presión normalizada del plasma. En la descarga estable 193266 el algoritmo de control convencional tenía por objetivo β_N = 1.7, mientras que en la descarga inestable 193273 el objetivo era β_N = 2.3; demasiado, pues a los 2.6 segundos se produjo la inestabilidad de rasgado que llevó a la disrupción en 3.1 segundos. El control inteligente (con k  = 0.5) logra que la descarga 193280 evite la inestabilidad logrando altas presiones mayores que las obtenidas en la descarga estable.

El umbral k de rasgabilidad tiene que ser suficiente para evitar la inestabilidad. Esta figura muestra que para k = 0.2 (curva negra) el algoritmo de control mantuvo una baja rasgabilidad hasta los 5 segundos, pero se volvió inestable y acabó en una disrupción a los 5.5 s. El análisis posterior mostró que la inteligencia artificial predijo de forma correcta la inestabilidad, pero como la potencia del haz era demasiada baja, el mecanismo de actuación no pudo reducirla más y fue incapaz de evitarla. Para k = 0.5 (curva azul)  y k = 0.7 (curva roja) el algoritmo de control inteligente logró evitar la inestabilidad con éxito. Como muestra la curva de presión normalizada, el mejor resultado se ha obtenido para k = 0.5. Los autores del artículo aclaran que no han intentado determinar el valor óptimo de este umbral, que será objeto de futuros estudios.

En resumen, un artículo muy interesante que nos muestra que el estado del arte en el control de los plasmas en reactores de fusión (experimentales) pasa por usar técnicas de inteligencia artificial y aprendizaje profundo basado en redes de neuronas artificiales. Se ha logrado controlar una sola inestabilidad, pero no parece que haya obstrucciones a extender este control a muchas otras. El uso del control inteligente en ITER nos mostrará si esta tecnología acabará siendo el estándar en los futuros reactores de fusión experimentales (que llegarán en el último cuarto de este siglo). Pero siendo el siglo XXI el siglo de la inteligencia artificial, yo no tengo ninguna duda de ello.