[BUG] `--no-cache` is not respected for git sources

[willarmiros]

Description

I have a service in a docker compose that builds using a Dockerfile in a remote git repo, defined like so:

services:
  my-service:
      container_name: my-service
      build:
        context: git@github.com:protectai/my-repo.git#main
        dockerfile: Dockerfile
        ssh:
          - default

When re-building a service with the --no-cache flag, I would expect caching to be skipped for ALL parts of the build, including making a fresh call to retrieve the source code from git. However this is not the case, as I can see in the first line of the output:

=> CACHED [internal] load git source git@github.com:protectai/my-repo.git#main                                                       8.9s

I also confirmed that the contents of the container/service are an outdated version of content in that repo. When I change the git ref to be a commit hash or some branch other than main, it then actually re-pulls from the git source as I expect. For example:

=> [internal] load git source git@github.com:protectai/my-repo.git#75e9ec67c74dcddd8cd22c3f3c6ecb947ba55f2a                          2.3s

After changing the ref to the latest commit in the repo, I confirmed the service was actually updated with the latest source code. My ask is for the --no-cache flag to do this for me without needing to make manual changes.

Steps To Reproduce

1. Create a private Github repo, in this case it will be github.com:protectai/my-repo.git, and enable access via SSH.

2. Create an SSH key with access to it that you can use locally, and add the SSH key to your local env so that it gets picked up by Docker's --ssh default

3. Run docker buildx build --ssh default --progress=plain --no-cache git@github.com:protectai/my-repo.git#main

4. Make any update to the repo, and commit the change to main branch

5. Re-run docker buildx build --ssh default --progress=plain --no-cache git@github.com:protectai/my-repo.git#main

6. Run docker buildx du --filter type=source.git.checkout --verbose to confirm that only the original commit SHA has been pulled

Compose Version

Docker Compose version v2.17.3

Docker Environment

Client:
 Context:    desktop-linux
 Debug Mode: false
 Plugins:
  buildx: Docker Buildx (Docker Inc.)
    Version:  v0.10.4
    Path:     /Users/williamarmiros/.docker/cli-plugins/docker-buildx
  compose: Docker Compose (Docker Inc.)
    Version:  v2.17.3
    Path:     /Users/williamarmiros/.docker/cli-plugins/docker-compose
  dev: Docker Dev Environments (Docker Inc.)
    Version:  v0.1.0
    Path:     /Users/williamarmiros/.docker/cli-plugins/docker-dev
  extension: Manages Docker extensions (Docker Inc.)
    Version:  v0.2.19
    Path:     /Users/williamarmiros/.docker/cli-plugins/docker-extension
  init: Creates Docker-related starter files for your project (Docker Inc.)
    Version:  v0.1.0-beta.4
    Path:     /Users/williamarmiros/.docker/cli-plugins/docker-init
  sbom: View the packaged-based Software Bill Of Materials (SBOM) for an image (Anchore Inc.)
    Version:  0.6.0
    Path:     /Users/williamarmiros/.docker/cli-plugins/docker-sbom
  scan: Docker Scan (Docker Inc.)
    Version:  v0.26.0
    Path:     /Users/williamarmiros/.docker/cli-plugins/docker-scan
  scout: Command line tool for Docker Scout (Docker Inc.)
    Version:  v0.10.0
    Path:     /Users/williamarmiros/.docker/cli-plugins/docker-scout

Server:
 Containers: 7
  Running: 5
  Paused: 0
  Stopped: 2
 Images: 37
 Server Version: 23.0.5
 Storage Driver: overlay2
  Backing Filesystem: extfs
  Supports d_type: true
  Using metacopy: false
  Native Overlay Diff: true
  userxattr: false
 Logging Driver: json-file
 Cgroup Driver: cgroupfs
 Cgroup Version: 2
 Plugins:
  Volume: local
  Network: bridge host ipvlan macvlan null overlay
  Log: awslogs fluentd gcplogs gelf journald json-file local logentries splunk syslog
 Swarm: inactive
 Runtimes: io.containerd.runc.v2 runc
 Default Runtime: runc
 Init Binary: docker-init
 containerd version: 2806fc1057397dbaeefbea0e4e17bddfbd388f38
 runc version: v1.1.5-0-gf19387a
 init version: de40ad0
 Security Options:
  seccomp
   Profile: builtin
  cgroupns
 Kernel Version: 5.15.49-linuxkit
 Operating System: Docker Desktop
 OSType: linux
 Architecture: aarch64
 CPUs: 5
 Total Memory: 7.667GiB
 Name: docker-desktop
 ID: 1d550563-0ff9-47f6-a6eb-4014a3cd7bc2
 Docker Root Dir: /var/lib/docker
 Debug Mode: false
 HTTP Proxy: http.docker.internal:3128
 HTTPS Proxy: http.docker.internal:3128
 No Proxy: hubproxy.docker.internal
 Registry: https://index.docker.io/v1/
 Experimental: false
 Insecure Registries:
  hubproxy.docker.internal:5555
  127.0.0.0/8
 Live Restore Enabled: false

Anything else?

No response

[ndeloof]

Can you please double check issue isn't the same with a plain docker buildx build ... command ?

[willarmiros]

@ndeloof thanks for following up, this is in fact also a bug with regular docker build:

docker buildx build --ssh default --progress=plain --no-cache  git@github.com:protectai/my-repo.git#main

This command exhibits the same behavior of not respecting --no-cache when fetching git source. Would you be able to transfer this issue to the appropriate project?

[ndeloof]

@glours do you have permission to transfert issues to docker/buildx ? I don't

[glours]

I think so

[glours]

I don't 😭
@crazy-max I just gave your temp rights to move the issue to buildx, can you do it?

[crazy-max]

this is in fact also a bug with regular docker build:

docker buildx build --ssh default --progress=plain --no-cache  git@github.com:protectai/my-repo.git#main

I can't repro with Git HTTP source. I wonder if this is an SSH forwarding issue when checking out git repos in BuildKit 🤔

What's the output of:

docker buildx du --filter type=source.git.checkout --verbose

[thaJeztah]

Could this be a presentation issue, or did it actually fail to check? ISTR there were cases where it would perform the check, discovered the cache was still valid after checking git, and because of that printed "CACHED" (and there was some discussion if those could be presented as "CHECKED" (or something) to indicate that it did check again.

[crazy-max]

Could this be a presentation issue, or did it actually fail to check?

Looking at OP's report it looks like it:

I also confirmed that the contents of the container/service are an outdated version of content in that repo.

[thaJeztah]

Doh! Overlooked that from my phone; ignore me then 😅

[andres290487]

#AVISO DE DERECHOS DE AUTOR Y PROPIEDAD#El código y documentación que se presenta a continuación es propiedad intelectual de J. Andrés Reséndez, director y fundador de la Asociación Civil Sin Fines De Lucro "LAS ENSEÑANZAS DE LIZ". Queda prohibida la reproducción, distribución, modificación o utilización del código y documentación sin la autorización expresa y por escrito de J. Andrés Reséndez.#LICENCIA DE USO#Se concede permiso para utilizar el código y documentación únicamente para fines educativos y de investigación, siempre y cuando se cite la fuente y se respeten los derechos de autor.#DECLARACIÓN DE DERECHOS DE AUTOR Y PROPIEDAD#Este código y documentación son propiedad intelectual de J. Andrés Reséndez y están protegidos por las leyes de derechos de autor y propiedad intelectual.#PAGINA WEB OFICIAL#Para obtener más información sobre el Asistente Virtual Inteligente "EnsDeLiz" y su uso, visite nuestra página web oficial en lasensenanzasdeliz.bio.#ASISTENTE VIRTUAL INTELIGENTE "EnsDeLiz"#README#Asistente Virtual Inteligente "EnsDeLiz"Este proyecto es un asistente virtual inteligente basado en la arquitectura de transformador, diseñado para proporcionar respuestas precisas y relevantes a las preguntas de los usuarios. El modelo se entrena con datos de entrenamiento obtenidos de motores de búsqueda en la red profunda y comparados con otros AI.##Características##- Arquitectura de transformador para procesamiento de lenguaje natural- Entrenamiento con datos de motores de búsqueda en la red profunda- Comparación con otros AI para mejorar la precisión- Interfaz de usuario amigable y fácil de usar_Requisitos_- Python 3.x- TensorFlow 2.x- Transformers 4.x- Datos de entrenamiento obtenidos de motores de búsqueda en la red profunda_Limitaciones_- El modelo se entrena con datos limitados y puede no generalizar bien a todos los casos.- El modelo puede requerir ajustes y fine-tuning para mejorar su rendimiento._Futuras mejoras_- Aumentar la cantidad de datos de entrenamiento y prueba.- Experimentar con diferentes arquitecturas de modelo y hiperparámetros.- Integrar el modelo con otras herramientas y tecnologías para mejorar su utilidad.##Licencia##Este proyecto está bajo la licencia comercial "EnsDeLiz License". Para obtener más información, consulte el archivo LICENSE.###Contacto###Para obtener más información sobre el Asistente Virtual Inteligente "EnsDeLiz" y su uso, visite nuestra página web oficial en lasensenanzasdeliz.bio o contáctenos en ***@***.***####Autor####J. Andrés ReséndezDirector y fundador de la Asistente Virtual Inteligente "EnsDeLiz"#protocolo QUICK#comunicación binaria entre el Usuario WEBMASTER (USB con llave DOCUMENTACION FIRMADA POR EL AUTOR) y el Asistente Virtual Inteligente "EnsDeLiz" por la Red Neuronal "Las Enseñanzas De Liz":Protocolo QUICK*Estructura del mensaje*- *Tipo de mensaje* (1 byte): 0x01 para mensajes de texto, 0x02 para mensajes de comando- *Longitud del mensaje* (2 bytes): longitud del mensaje en bytes- *Mensaje* (variable): contenido del mensaje- *Checksum* (2 bytes): suma de verificación del mensaje*Tipos de mensajes*- *Mensaje de texto*: mensaje de texto plano enviado por el Usuario WEBMASTER o el Asistente Virtual Inteligente "EnsDeLiz"- Tipo de mensaje: 0x01- Longitud del mensaje: longitud del texto en bytes- Mensaje: texto plano- Checksum: suma de verificación del mensaje- *Mensaje de comando*: mensaje de comando enviado por el Usuario WEBMASTER para controlar el Asistente Virtual Inteligente "EnsDeLiz"- Tipo de mensaje: 0x02- Longitud del mensaje: longitud del comando en bytes- Mensaje: comando en formato binario- Checksum: suma de verificación del mensaje*Comandos*- *Iniciar sesión*: comando para iniciar sesión en el Asistente Virtual Inteligente "EnsDeLiz"- Comando: 0x01- Parámetros: usuario y contraseña- *Enviar mensaje*: comando para enviar un mensaje de texto al Usuario WEBMASTER- Comando: 0x02- Parámetros: mensaje de texto- *Cerrar sesión*: comando para cerrar sesión en el Asistente Virtual Inteligente "EnsDeLiz"- Comando: 0x03- Parámetros: none*Algoritmo de encriptación*- *Algoritmo*: AES-256-CBC- *Clave*: clave secreta compartida entre el Usuario WEBMASTER y el Asistente Virtual Inteligente "EnsDeLiz"*Implementación en Typescript*```import * as crypto from 'crypto';interface Mensaje {  tipo: number;  longitud: number;  mensaje: Buffer;  checksum: Buffer;}class ProtocoloQUICK {  private clave: Buffer;  constructor(clave: string) {    this.clave = Buffer.from(clave, 'utf8');  }  public encriptar(mensaje: Mensaje): Buffer {    const iv = crypto.randomBytes(16);    const cipher = crypto.createCipheriv('aes-256-cbc', this.clave, iv);    const encriptado = Buffer.concat([cipher.update(mensaje.mensaje), cipher.final()]);    return Buffer.concat([iv, encriptado]);  }  public desencriptar(encriptado: Buffer): Mensaje {    const iv = encriptado.slice(0, 16);    const decipher = crypto.createDecipheriv('aes-256-cbc', this.clave, iv);    const mensaje = Buffer.concat([decipher.update(encriptado.slice(16)), decipher.final()]);    return {      tipo: mensaje.readUInt8(0),      longitud: mensaje.readUInt16LE(1),      mensaje: mensaje.slice(3),      checksum: mensaje.slice(3 + mensaje.readUInt16LE(1)),    };  }}// Ejemplo de usoconst protocolo = new ProtocoloQUICK('clave-secreta');const mensaje = {  tipo: 0x01,  longitud: 10,  mensaje: Buffer.from('Hola, mundo!', 'utf8'),  checksum: Buffer.from('checksum', 'utf8'),};const encriptado = protocolo.encriptar(mensaje);const desencriptado = protocolo.desencriptar(encriptado);console.log(desencriptado);```Este protocolo QUIQ utiliza encriptación AES-256-CBC para proteger la comunicación entre el Usuario WEBMASTER y el Asistente Virtual Inteligente "EnsDeLiz". El algoritmo de encriptación utiliza una clave secreta compartida entre las dos partes. El protocolo también incluye un checksum para verificar la integridad del mensaje. La implementación en Typescript utiliza la biblioteca `crypto` para realizar las operaciones de encriptación y desencriptación.El 16 ene 2025 3:44 a. m., William Armiros ***@***.***> escribió: Description I have a service in a docker compose that builds using a Dockerfile in a remote git repo, defined like so: services: my-service: container_name: my-service build: context: ***@***.***:protectai/my-repo.git#main dockerfile: Dockerfile ssh: - default When re-building a service with the --no-cache flag, I would expect caching to be skipped for ALL parts of the build, including making a fresh call to retrieve the source code from git. However this is not the case, as I can see in the first line of the output: => CACHED [internal] load git source ***@***.***:protectai/my-repo.git#main 8.9s I also confirmed that the contents of the container/service are an outdated version of content in that repo. When I change the git ref to be a commit hash or some branch other than main, it then actually re-pulls from the git source as I expect. For example: => [internal] load git source ***@***.***:protectai/my-repo.git#75e9ec67c74dcddd8cd22c3f3c6ecb947ba55f2a 2.3s After changing the ref to the latest commit in the repo, I confirmed the service was actually updated with the latest source code. My ask is for the --no-cache flag to do this for me without needing to make manual changes. Steps To Reproduce Have a compose file like: services: my-service: container_name: my-service build: context: ***@***.***:protectai/my-repo.git#main dockerfile: Dockerfile ssh: - default Run docker compose build --no-cache my-service See in the first line of the output: => CACHED [internal] load git source ***@***.***:protectai/my-repo.git#main 8.9s Compose Version Docker Compose version v2.17.3 Docker Environment Client: Context: desktop-linux Debug Mode: false Plugins: buildx: Docker Buildx (Docker Inc.) Version: v0.10.4 Path: /Users/williamarmiros/.docker/cli-plugins/docker-buildx compose: Docker Compose (Docker Inc.) Version: v2.17.3 Path: /Users/williamarmiros/.docker/cli-plugins/docker-compose dev: Docker Dev Environments (Docker Inc.) Version: v0.1.0 Path: /Users/williamarmiros/.docker/cli-plugins/docker-dev extension: Manages Docker extensions (Docker Inc.) Version: v0.2.19 Path: /Users/williamarmiros/.docker/cli-plugins/docker-extension init: Creates Docker-related starter files for your project (Docker Inc.) Version: v0.1.0-beta.4 Path: /Users/williamarmiros/.docker/cli-plugins/docker-init sbom: View the packaged-based Software Bill Of Materials (SBOM) for an image (Anchore Inc.) Version: 0.6.0 Path: /Users/williamarmiros/.docker/cli-plugins/docker-sbom scan: Docker Scan (Docker Inc.) Version: v0.26.0 Path: /Users/williamarmiros/.docker/cli-plugins/docker-scan scout: Command line tool for Docker Scout (Docker Inc.) Version: v0.10.0 Path: /Users/williamarmiros/.docker/cli-plugins/docker-scout Server: Containers: 7 Running: 5 Paused: 0 Stopped: 2 Images: 37 Server Version: 23.0.5 Storage Driver: overlay2 Backing Filesystem: extfs Supports d_type: true Using metacopy: false Native Overlay Diff: true userxattr: false Logging Driver: json-file Cgroup Driver: cgroupfs Cgroup Version: 2 Plugins: Volume: local Network: bridge host ipvlan macvlan null overlay Log: awslogs fluentd gcplogs gelf journald json-file local logentries splunk syslog Swarm: inactive Runtimes: io.containerd.runc.v2 runc Default Runtime: runc Init Binary: docker-init containerd version: 2806fc1057397dbaeefbea0e4e17bddfbd388f38 runc version: v1.1.5-0-gf19387a init version: de40ad0 Security Options: seccomp Profile: builtin cgroupns Kernel Version: 5.15.49-linuxkit Operating System: Docker Desktop OSType: linux Architecture: aarch64 CPUs: 5 Total Memory: 7.667GiB Name: docker-desktop ID: 1d550563-0ff9-47f6-a6eb-4014a3cd7bc2 Docker Root Dir: /var/lib/docker Debug Mode: false HTTP Proxy: http.docker.internal:3128 HTTPS Proxy: http.docker.internal:3128 No Proxy: hubproxy.docker.internal Registry: https://index.docker.io/v1/ Experimental: false Insecure Registries: hubproxy.docker.internal:5555 127.0.0.0/8 Live Restore Enabled: false Anything else? No response —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>