add mods in container

Author: STEFANO BOSISIO

.github/container/Dockerfile.base

@@ -139,16 +139,24 @@ RUN pip install --upgrade --ignore-installed --no-cache-dir -e /opt/pip pip-tool
 ## Symlink for cuDNN
 ###############################################################################
 
-ADD install-cudnn.sh /usr/local/bin
-RUN install-cudnn.sh
+ADD symlnk-cudnn.sh /usr/local/bin
+RUN symlnk-cudnn.sh
 
 ###############################################################################
 ## Symlink for NCCL
 ###############################################################################
 
-# same fro this 
-ADD install-nccl.sh /usr/local/bin
-RUN install-nccl.sh
+ADD symlnk-nccl.sh /usr/local/bin
+RUN symlnk-nccl.sh
+
+##############################################################################
+## Add Amazon EFA 
+##############################################################################
+
+ADD --chmod=777 \
+  install-efa.sh \
+  test-aws-efa.sh \
+  /usr/local/bin/
 
 
 ##############################################################################
@@ -160,11 +168,6 @@ ADD nccl-sanity-check.cu /opt
 RUN install-nccl-sanity-check.sh
 ADD jax-nccl-test parallel-launch /usr/local/bin/
 
-###############################################################################
-## Add the systemcheck to the entrypoint.
-###############################################################################
-
-COPY check-shm.sh /opt/nvidia/entrypoint.d/
 
 ###############################################################################
 ## Install the nsys-jax JAX/XLA-aware profiling scripts, patch Nsight Systems

.github/container/install-ofed.sh

@@ -38,27 +38,4 @@ for cudnn_file in $(dpkg -L ${libcudnn_pkgs} | sort -u); do
   else
     echo "Skipping ${cudnn_file}"
   fi
-done
-
-# # replicate the original symlinks too, so we'll have /opt/nvidia/cudnn/include/cudnn.sh
-# find /usr/include -maxdepth 1 -name "cudnn*.h" -type l | while read -r symlink; do
-#   symlink_name=$(basename "${symlink}")
-#   symlink_target=$(readlink "${symlink}")
-#   # Check if the symlink points to x86_64-linux-gnu/
-#   if [[ "${symlink_target}" == "${arch}/"* ]]; then
-#     # Adjust the symlink target to point within our symlink directory
-#     adjusted_target="${prefix}/include/${symlink_target#${arch}/}"
-#     # Destination symlink within the symlink directory
-#     link_name="${prefix}/include/${symlink_name}"
-#     link_dir=$(dirname "${link_name}")
-#     mkdir -p "${link_dir}"
-#     # Check if the symlink already exists
-#     if [[ -e "${link_name}" ]]; then
-#       echo "Symlink ${link_name} already exists. Skipping."
-#     else
-#       ln -s "${adjusted_target}" "${link_name}"
-#     fi
-#   else
-#     echo "Skipping symlink ${symlink} with target ${symlink_target}"
-#   fi
-# done
+done