Hackaton '24: Paquetes de R o Python para añadir al JupyterHub

[emiliom]

Añadan aquí los paquetes que utilizen en sus tutoriales, que no se encuentran ya disponibles en los entornos de Python y R en el JupyterHub. Para verificar si el paquete ya está incluído, consulten estos archivos por medio de una simple búsqueda (o pruébenlo directamente en JupyterLab o RStudio):

• Python:
  • conda-forge: https://github.com/oceanhackweek/jupyter-image/blob/main/py-base/pixi.toml (la lista exhaustiva está en este archivo, pero es algo abrumador)
• R:
  • conda-forge: https://github.com/oceanhackweek/jupyter-image/blob/main/r/conda-linux-64.lock
  • CRAN (bloque marcado en amarillo): https://github.com/oceanhackweek/jupyter-image/blob/main/r/Dockerfile#L80-L89
  • GitHub (bloque marcado en amarillo): https://github.com/oceanhackweek/jupyter-image/blob/main/r/Dockerfile#L90-L99

Si no aparece ahí el nombre del paquete, por favor inclúyanlo en este issue lo antes posible. Yo lo añadiré a la "imagen" correspondiente.

Por cada petición de paquetes, incluyan:

• Python o R?
• Nombre del paquete
• Se encuentra en conda-forge? Pueden consultarlo aquí https://conda-forge.org/feedstock-outputs/. Incluir el nombre exacto usado en conda-forge, incluyendo letras mayúsculas o minúsculas
• Si no está en conda-forge, donde se encuentra? CRAN? PyPI? GitHub? Incluir el enlace a la fuente del paquete, y el nombre exacto usado en esa fuente. Si es en GitHub, incluyan el enlace al repositorio
• Una complicación con los paquetes de R que no están en conda-forge es que parece que la resolución de dependencias no funciona bien. Entonces, tenemos que extraer manualmente la lista de dependencias del paquete, para incluirlas explícitamente. Hay más detalles sobre esto en los intercambios del hackatón 2023, aquí: Nuevos paquetes de R o Python para añadir al JupyterHub tutoriales#1 (comment)

Referencia: El issue del 2023, #1

[LauraGomezNavarro]

• python
• parcels
• está en conda-forge

[ctroupin]

Hola Emilio,
me gustaría poder trabajar con

• pyeddytracker (https://github.com/AntSimi/py-eddy-tracker)
  Hay algunas restrictiones con la versión de numpy pero que no se pueda resolver. Luego
• pandas
• xarray
• cmocean
  (que ya tienen Laura y Yeray)
  Y creo que podemos quitar Basemap (solo usaré cartopy).

[emiliom]

Gracias @LauraGomezNavarro y @ctroupin. Todavía estoy lidiando con problemas más básicos de actualización de los entornos de R y Python. Pero en cuanto resuelva eso, añadiré los paquetes que mencionan. De esos paquetes, sólo estos no están presentes en el entorno actual:

• Python
  • parcels. Lo usamos el año pasado, de conda-forge
  • pyeddytracker. No está en conda-forge, pero sí en pypi

[ctroupin]

Gracias @emiliom.

Estuve haciendo pruebas de instalación con pyeddytracker, tuve algunos problemas de compatibilidad, espero que no te va a crear obstáculos a la hora de ponerlo en el Hub.

[juliajaca]

Hola Emilio, Yo necesitaría earthaccess
https://anaconda.org/conda-forge/earthaccess
https://pypi.org/project/earthaccess/

Gracias

[emiliom]

@LauraGomezNavarro y @ctroupin : los paquetes parcels y pyeddytracker ya están disponibles en el hub. No noté problemas de compatibilidad con pyeddytracker, pero no traté de usarlo. Sólo comprobé que import py_eddy_tracker funciona.

@juliajaca : gracias. Añadiré earthaccess en la próxima actualización, probablemente mañana para esperar a recibir más solicitudes de paquetes.

[emiliom]

@MarinaSanzM hoy mientras confirmaba que RStudio funciona en el hub, de casualidad tenía cargado tu cuaderno de Métricas climáticas. Hay un mensaje de Rstudio que dice que los paquetes mapplots y repmis no están instalados en el entorno. Lo he comprobado. Querés que los instale?

[ctroupin]

Hola @emiliom ,

acabo de probar un poco más el paquete,

from py_eddy_tracker.dataset.grid import RegularGridDataset

me da un error:

ImportError                               Traceback (most recent call last)
Cell In[11], line 2
      1 import py_eddy_tracker
----> 2 from py_eddy_tracker.dataset.grid import RegularGridDataset

File [/home/.pixi/envs/default/lib/python3.12/site-packages/py_eddy_tracker/dataset/grid.py:8](https://oceanhackweek.2i2c.cloud/home/.pixi/envs/default/lib/python3.12/site-packages/py_eddy_tracker/dataset/grid.py#line=7)
      5 import logging
      6 from datetime import datetime
----> 8 from cv2 import filter2D
      9 from matplotlib.path import Path as BasePath
     10 from netCDF4 import Dataset

File [/home/.pixi/envs/default/lib/python3.12/site-packages/cv2/__init__.py:181](https://oceanhackweek.2i2c.cloud/home/.pixi/envs/default/lib/python3.12/site-packages/cv2/__init__.py#line=180)
    176             if DEBUG: print("Extra Python code for", submodule, "is loaded")
    178     if DEBUG: print('OpenCV loader: DONE')
--> 181 bootstrap()

File [/home/.pixi/envs/default/lib/python3.12/site-packages/cv2/__init__.py:153](https://oceanhackweek.2i2c.cloud/home/.pixi/envs/default/lib/python3.12/site-packages/cv2/__init__.py#line=152), in bootstrap()
    149 if DEBUG: print("Relink everything from native cv2 module to cv2 package")
    151 py_module = sys.modules.pop("cv2")
--> 153 native_module = importlib.import_module("cv2")
    155 sys.modules["cv2"] = py_module
    156 setattr(py_module, "_native", native_module)

File [/home/.pixi/envs/default/lib/python3.12/importlib/__init__.py:90](https://oceanhackweek.2i2c.cloud/home/.pixi/envs/default/lib/python3.12/importlib/__init__.py#line=89), in import_module(name, package)
     88             break
     89         level += 1
---> 90 return _bootstrap._gcd_import(name[level:], package, level)

ImportError: libGL.so.1: cannot open shared object file: No such file or directory

aunque import pyeddytracker no da ningún error.

Veo que hay sugerencias solución en google, a ver si hay suerte.

[ctroupin]

He podido resolver el problema con eso:

!pip3 install opencv-python-headless
!pip3 install opencv-python

Sin embargo me encontré con otro problema que no deja ningún mensaje de error: el tracking no detecta ningún remolino, aunque sé que tiene que haber (he probado en local, ver figura).

He hablado con el desarrollador de py-eddy-tracker, me comenta que puede venir de la versión de matplotlib.
En el hub tenemos matplotlib 3.8.4, en mi laptop matplotlib 3.5.1.

[emiliom]

@ctroupin qué bueno! Voy a añadir este paquete al entorno:

• opencv-python-headless

opencv-python ya está en el entorno, así que no debería ser necesario instalarlo.

A propósito, vi que el problema original había sido reportado aquí hace un año, pero no habían encontrado una solución.

El problema de matplotlib será más complicado, ya que cambiar la versión a una más vieja puede impactar otros paquetes. Otra opción podría ser instalar el paquete directamente de github en vez de desde pypi. El último release oficial es del 2022, en cambio en el repositorio ha mantenido bastante actividad desde entonces.

[emiliom]

Estos son los paquetes que voy a añadir hoy:

• R
  • mapplots. conda-forge, r-mapplots
  • repmis. conda-forge, r-repmis
• Python
  • earthaccess. conda-forge
  • opencv-python-headless. PyPI
  • pyeddytracker. Cambiar la instalación de PyPI a instalación desde el repo fuente, https://github.com/AntSimi/py-eddy-tracker

[ctroupin]

He vuelto a probar con eddy-tracker, desgraciadamente no detecta nada aunque no da ningún mensaje de error.

Entiendo que es complicado y arriesgado cambiar la versión de matplotlib, hay algo que podría hacer en mi entorno local sin modificar para todo el mundo?

Es una pena porque en paquete functiona bien pero parece que no lo mantienen tanto como antes.

[MarinaSanzM]

@MarinaSanzM hoy mientras confirmaba que RStudio funciona en el hub, de casualidad tenía cargado tu cuaderno de Métricas climáticas. Hay un mensaje de Rstudio que dice que los paquetes mapplots y repmis no están instalados en el entorno. Lo he comprobado. Querés que los instale?

Hola Emilio, sí por favor. He comprobado y el único que me faltaría instalar es el RODBC. El resto parecen que funcionan bien, pero la última vez a mi me salía que estaba todo bien, pero luego daba errores. Tal vez con estos nuevos cambios que has hecho, ya se soluciona.

Estos son los que en principio sí me funcionan:
library(ggplot2)
library(dplyr)
library(maps)
library(gridExtra)
library(data.table)
library(sp)
library(raster)
library(data.table)
library(reshape2)
library(RODBC)
library(geosphere)
library(terra)
library(grid)