Prodsette GCP versjon (#1701)

* Bump io.confluent:kafka-avro-serializer from 7.3.1 to 7.5.2 Bumps [io.confluent:kafka-avro-serializer](https://github.com/confluentinc/schema-registry) from 7.3.1 to 7.5.2. - [Commits](confluentinc/schema-registry@v7.3.1...v7.5.2) --- updated-dependencies: - dependency-name: io.confluent:kafka-avro-serializer dependency-type: direct:production update-type: version-update:semver-minor ... Signed-off-by: dependabot[bot] <[email protected]> * Bump org.apache.avro:avro from 1.11.3 to 1.12.0 Bumps org.apache.avro:avro from 1.11.3 to 1.12.0. --- updated-dependencies: - dependency-name: org.apache.avro:avro dependency-type: direct:production update-type: version-update:semver-minor ... Signed-off-by: dependabot[bot] <[email protected]> * Add new workflow for gcp (#1687) * Update main-gcp.yml * Update and rename deploy-opensearch-dev.yaml to deploy-opensearch-prod.yaml * Workflows gcp (#1688) * Update main-gcp.yml * Gjer test av tiltakshendelse til opensearch meir stabil Ved å sikre sorteringa av resultatlista. * Flytt comparator til test-utils * Pdl changes (#1690) * Adjust format to PDL changes --------- * Bump io.micrometer:micrometer-registry-prometheus from 1.13.2 to 1.13.3 Bumps [io.micrometer:micrometer-registry-prometheus](https://github.com/micrometer-metrics/micrometer) from 1.13.2 to 1.13.3. - [Release notes](https://github.com/micrometer-metrics/micrometer/releases) - [Commits](micrometer-metrics/micrometer@v1.13.2...v1.13.3) --- updated-dependencies: - dependency-name: io.micrometer:micrometer-registry-prometheus dependency-type: direct:production update-type: version-update:semver-patch ... Signed-off-by: dependabot[bot] <[email protected]> * Add workflow for feature branch deployement to gcp (#1692) * Flytte til gcp (#1686) * Add gcp workflows and adjust PDL format (#1691) * Add new workflow for gcp (#1687) * Byttet namspace fra pto til obo Co-authored-by: Julie Hill Roa <[email protected]> Co-authored-by: Dragutin Vujovic <[email protected]> Co-authored-by: Ingrid Fosså <[email protected]> * Fjernet ingressen til dev-fss * Fjerner vault og pto-config fra nais.yal * Oppdaterer unleash workflow til gcp i dev * Legg til sql-instans i gcp Co-authored-by: Julie Hill Roa <[email protected]> Co-authored-by: Dragutin Vujovic <[email protected]> Co-authored-by: Sneha Desai <[email protected]> * Update db version * Connect til ny db urlen på gcp Co-authored-by: Julie Hill Roa <[email protected]> Co-authored-by: Dragutin Vujovic <[email protected]> Co-authored-by: Ingrid Fosså <[email protected]> * Dependencies update * Fix huskelapp test * Legg til prefiks for miljøvariablar Co-authored-by: Julie Hill Roa <[email protected]> Co-authored-by: Dragutin Vujovic <[email protected]> Co-authored-by: Sneha Desai <[email protected]> * Remove veilarbPep * Fjenet abac urlen og referense til pep Co-authored-by: Julie Hill Roa <[email protected]> Co-authored-by: Klara Margrethe Helgemo <[email protected]> Co-authored-by: Dragutin Vujovic <[email protected]> Co-authored-by: Ingrid Fosså <[email protected]> * Remove kafka schema url * Update kafka schema registry url * Revert "Fjenet abac urlen og referense til pep" This reverts commit b9ee6b0. * Remove duplicate datasource * Stop kafka consumers * Some small fixes related to db * Change access rules (outbound rules) * Change kodeverk dev address * Use another address for kodeverk * Update endpoint urls * Add poao-tilgang to access rules * Change kodeverk url * Connect til ny db urlen på gcp Co-authored-by: Julie Hill Roa <[email protected]> Co-authored-by: Dragutin Vujovic <[email protected]> Co-authored-by: Ingrid Fosså <[email protected]> * Dependencies update * Remove veilarbPep * Fjenet abac urlen og referense til pep Co-authored-by: Julie Hill Roa <[email protected]> Co-authored-by: Klara Margrethe Helgemo <[email protected]> Co-authored-by: Dragutin Vujovic <[email protected]> Co-authored-by: Ingrid Fosså <[email protected]> * Prepare app for prod * Apply suggestions from code review * Cleanup code * Rebase on master * Rebase on master * Small fixes for unleash * Trigger redeplooy * Trigger redeploy * Rebase on dev * Add opensearch prod config * Fix deploy unleash * Update dependencies * Dependency updates * Dependency update * Debug db connection * Update hikari config * Small fixes for db connection * Add debug log * Debug logs * Remove debug logs * Adjust hikari config * Small changes for db migration * Remove frontendlogger * Remove influx metrics * Update access rules * Update README * Update ingress * Update kodeverk url * Change kodeverk url * Enable kafka consumers * Fiks poao-tilgang scope * Disable kafka consumers * Return event logger for frontend - it needs refactoring * Begin to consume from Kafka * Change arbeidssoekerregisteret address * paw-arbeidssoekerregisteret-api-oppslag url og tilgang * Increse pool size * Øker kapasitet Co-authored-by: Julie Hill Roa <[email protected]> * Add index on brukertiltak_v2 * Adjust little bit enhet tiltak cache * Increase db cpu and memory * Change size of ident in bruker_identer table * Remove bruker_identer table updates * Pdl foedeland can have several rows, usually with same data but different sources * Descrease reporting interval for few metrics * kjøre metrikker kun 1 gang hvert 10 min * opdaterer metrikker til å gå 1 gang hvert 10 min * Report metrics only from leader pod * Update github workflow * Apply suggestions from code review * Update .github/workflows/build-deploy-feature-branch-q1.yaml --------- Co-authored-by: Sneha Desai <[email protected]> Co-authored-by: JulieHillRoa <[email protected]> Co-authored-by: Ingrid Fosså <[email protected]> Co-authored-by: Klara M Helgemo <[email protected]> --------- Signed-off-by: dependabot[bot] <[email protected]> Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com> Co-authored-by: Oda Dahlen <[email protected]> Co-authored-by: Sneha <[email protected]> Co-authored-by: Ingrid Fosså <[email protected]> Co-authored-by: Sneha Desai <[email protected]> Co-authored-by: JulieHillRoa <[email protected]> Co-authored-by: Klara M Helgemo <[email protected]>
navikt · Sep 3, 2024 · f20ea02 · f20ea02
1 parent 93a4c27
commit f20ea02
Show file tree

Hide file tree

Showing 24 changed files with 157 additions and 312 deletions.
diff --git a/.github/workflows/build-deploy-feature-branch-dev-gcp.yaml b/.github/workflows/build-deploy-feature-branch-dev-gcp.yaml
@@ -0,0 +1,55 @@
+name: Deploy til Dev
+on:
+  workflow_dispatch:
+env:
+  IMAGE_TAG: ${{ github.sha }}
+  IMAGE: ghcr.io/${{ github.repository }}/veilarbportefolje
+  PRINT_PAYLOAD: true
+permissions:
+  packages: write
+  contents: write
+  id-token: write
+jobs:
+  build-and-push:
+    name: Build and push
+    runs-on: ubuntu-latest
+    outputs:
+      image: ${{ steps.docker-build-push.outputs.image }}
+    permissions:
+      id-token: write
+    steps:
+      - name: Checkout
+        uses: actions/checkout@v4
+
+      - name: Set up Java
+        uses: actions/setup-java@v4
+        with:
+          java-version: 21
+          distribution: 'temurin'
+          cache: 'maven'
+
+      - name: Build maven artifacts
+        run: mvn -Dgithub.token=${{ secrets.GITHUB_TOKEN }} -B package -D skipTests
+
+      - name: Build and push Docker image
+        uses: nais/docker-build-push@v0
+        id: docker-build-push
+        with:
+          team: obo
+          identity_provider: ${{ secrets.NAIS_WORKLOAD_IDENTITY_PROVIDER }}
+          project_id: ${{ vars.NAIS_MANAGEMENT_PROJECT_ID }}
+
+  deploy-dev:
+    name: Deploy application to dev
+    needs: build-and-push
+    runs-on: ubuntu-latest
+    steps:
+      - name: Checkout
+        uses: actions/checkout@v4
+
+      - name: Deploy application
+        uses: nais/deploy/actions/deploy@v2
+        env:
+          CLUSTER: dev-gcp
+          RESOURCE: .nais/application/gcp/application-config-dev.yaml
+          VAR: image=${{ needs.build-and-push.outputs.image }}
diff --git a/.github/workflows/build-deploy-feature-branch-q1.yaml b/.github/workflows/build-deploy-feature-branch-q1.yaml
@@ -35,7 +35,7 @@ jobs:
         uses: nais/docker-build-push@v0
         id: docker-build-push
         with:
-          team: pto
+          team: obo
           identity_provider: ${{ secrets.NAIS_WORKLOAD_IDENTITY_PROVIDER }}
           project_id: ${{ vars.NAIS_MANAGEMENT_PROJECT_ID }}
 
@@ -50,6 +50,6 @@ jobs:
       - name: Deploy application
         uses: nais/deploy/actions/deploy@v2
         env:
-          CLUSTER: dev-fss
-          RESOURCE: .nais/application/application-config-dev.yaml
+          CLUSTER: dev-gcp
+          RESOURCE: .nais/application/gcp/application-config-dev.yaml
           VAR: image=${{ needs.build-and-push.outputs.image }}
diff --git a/.github/workflows/deploy-unleash-api-token.yaml b/.github/workflows/deploy-unleash-api-token.yaml
@@ -7,8 +7,8 @@ on:
       - master
     paths:
       - '.github/workflows/deploy-unleash-api-token.yaml'
-      - '.nais/application/unleash-apitoken-dev.yaml'
-      - '.nais/application/unleash-apitoken-prod.yaml'
+      - '.nais/application/gcp/unleash-apitoken-dev.yaml'
+      - '.nais/application/gcp/unleash-apitoken-prod.yaml'
 
 permissions:
   id-token: write
@@ -23,8 +23,8 @@ jobs:
       - name: Deploy unleash-apitoken
         uses: nais/deploy/actions/deploy@v2
         env:
-          CLUSTER: dev-fss
-          RESOURCE: .nais/application/unleash-apitoken-dev.yaml
+          CLUSTER: dev-gcp
+          RESOURCE: .nais/application/gcp/unleash-apitoken-dev.yaml
           PRINT_PAYLOAD: true
 
   deploy-prod:
@@ -38,7 +38,7 @@ jobs:
         uses: nais/deploy/actions/deploy@v2
         if: github.ref == 'refs/heads/master'
         env:
-          CLUSTER: prod-fss
-          RESOURCE: .nais/application/unleash-apitoken-prod.yaml
+          CLUSTER: prod-gcp
+          RESOURCE: .nais/application/gcp/unleash-apitoken-prod.yaml
           PRINT_PAYLOAD: true
 
diff --git a/.github/workflows/main-gcp.yml b/.github/workflows/main-gcp.yml
@@ -11,7 +11,7 @@ jobs:
   test:
     name: Run tests
     runs-on: ubuntu-latest
-    if: github.ref != 'refs/heads/flytte-til-gcp'
+    if: github.ref != 'refs/heads/master'
     steps:
       - name: Checkout
         uses: actions/checkout@v4
@@ -32,7 +32,7 @@ jobs:
   build-and-push:
     name: Build and push
     runs-on: ubuntu-latest
-    if: github.ref == 'refs/heads/dev' || github.ref == 'refs/heads/flytte-til-gcp'
+    if: github.ref == 'refs/heads/dev'
     outputs:
       image: ${{ steps.docker-build-push.outputs.image }}
     steps:
@@ -59,7 +59,7 @@ jobs:
 
   deploy-dev:
     name: Deploy application to dev gcp
-    if: github.ref == 'refs/heads/dev' || github.ref == 'refs/heads/flytte-til-gcp'
+    if: github.ref == 'refs/heads/dev'
     needs: build-and-push
     runs-on: ubuntu-latest
     steps:
@@ -75,7 +75,7 @@ jobs:
 
   deploy-prod:
     name: Deploy application to prod gcp
-    if: github.ref == 'refs/heads/flytte-til-gcp'
+    if: github.ref == 'refs/heads/master'
     needs: build-and-push
     runs-on: ubuntu-latest
     steps:

diff --git a/.github/workflows/main.yml b/.github/workflows/main.yml
diff --git a/.nais/application/gcp/application-config-prod.yaml b/.nais/application/gcp/application-config-prod.yaml
@@ -40,7 +40,7 @@ spec:
   gcp:
     sqlInstances:
       - type: POSTGRES_15
-        tier: db-custom-1-4096
+        tier: db-custom-8-53248
         databases:
           - name: veilarbportefolje
             envVarPrefix: DB
@@ -68,25 +68,27 @@ spec:
           namespace: team-rocket
         - application: pdl-api
           namespace: pdl
-          cluster: dev-fss
+          cluster: prod-fss
         - application: veilarbvedtaksstotte
           namespace: pto
-          cluster: dev-fss
+          cluster: prod-fss
         - application: veilarbarena
           namespace: pto
-          cluster: dev-fss
+          cluster: prod-fss
         - application: veilarbveileder
           namespace: pto
-          cluster: dev-fss
+          cluster: prod-fss
         - application: poao-tilgang
           namespace: poao
+        - application: paw-arbeidssoekerregisteret-api-oppslag
+          namespace: paw
       external:
         - host: team-obo-unleash-api.nav.cloud.nais.io
-        - host: pdl-api.dev-fss-pub.nais.io
-        - host: veilarboppfolging.dev-fss-pub.nais.io
-        - host: veilarbvedtaksstotte.dev-fss-pub.nais.io
-        - host: veilarbveileder.dev-fss-pub.nais.io
-        - host: veilarbarena.dev-fss-pub.nais.io
+        - host: pdl-api.prod-fss-pub.nais.io
+        - host: veilarboppfolging.prod-fss-pub.nais.io
+        - host: veilarbvedtaksstotte.prod-fss-pub.nais.io
+        - host: veilarbveileder.prod-fss-pub.nais.io
+        - host: veilarbarena.prod-fss-pub.nais.io
   resources:
     limits:
       cpu: "4"
@@ -120,9 +122,9 @@ spec:
     - name: POAO_TILGANG_URL
       value: "http://poao-tilgang.poao"
     - name: POAO_TILGANG_TOKEN_SCOPE
-      value: "api://prod-fss.poao.poao-tilgang/.default"
+      value: "api://prod-gcp.poao.poao-tilgang/.default"
     - name: KODEVERK_URL
-      value: "https://kodeverk-api.intern.nav.no"
+      value: "http://kodeverk-api.team-rocket"
     - name: KODEVERK_SCOPE
       value: "api://prod-gcp.team-rocket.kodeverk-api/.default"
     - name: OPPSLAG_ARBEIDSSOEKERREGISTERET_URL

diff --git a/README.md b/README.md
@@ -20,7 +20,8 @@ Følgende data aggregeres:
 
 ### Swagger-dokumentasjon
 
-Endepunktene er dokumentert vha. Swagger/OpenAPI. Dokumentasjonen er tilgjengelig på egen sti, som i skrivende stund (08.05.24) er `https://veilarbportefoljeflate.intern.dev.nav.no/veilarbportefolje/internal/swagger-ui/index.html`.
+Endepunktene er dokumentert vha. Swagger/OpenAPI. Dokumentasjonen er tilgjengelig på egen sti, som i skrivende stund (
+08.05.24) er `https://veilarbportefoljeflate.intern.dev.nav.no/veilarbportefolje/internal/swagger-ui/index.html`.
 
 ## Hvordan bygge
 
@@ -36,37 +37,49 @@ Mere info om:
 https://aiven.io/opensearch
 
 Settings for index er definert i filen:
+
 ```
 src/main/resources/opensearch_settings.json
 ```
 
 ### Fremgangsmåte ved endringer i OpenSearch settings
+
 Når det gjøres endringer i `src/main/resources/opensearch_settings.json`, så er oppsettet slik at det må lages en ny
 indeks. Dvs. man oppdaterer ikke den eksisterende indeksen. Den nye indeksen må populeres med data før den kan erstatte
 den gamle.
 
 #### Fremgangsmåte
+
 1. Gjør endringer i `src/main/resources/opensearch_settings.json`, commit, push og deploy
 2. Gå til pto-admin i riktig miljø (dev/prod) og velg "Veilarbportefolje" i dropdown
 3. Utfør en "Hovedindeksering". Bruk referansen i response til å følge med i loggene. Denne jobben gjør oppdatering av
-alle brukere i eksisterende indeks. Formålet er å se hvor lang tid det tar å indeksere alle brukerne.
+   alle brukere i eksisterende indeks. Formålet er å se hvor lang tid det tar å indeksere alle brukerne.
 4. Når man oppretter ny indeks (neste steg), så vil ikke endringer som kommer underveis
-oppdatere den gamle indeksen som fortsatt er i bruk. Endringene vil først bli synlige i Oversikten når den nye indeksen
-er ferdig indeksert, og den gamle indeksen er slettet. Se derfor hvor lang tid indekseringen i steg 3 tok, og vurder
-tidspunktet på dagen neste steg bør gjøres. Normalt sett tar indekseringen 10-15min. Dersom det tar mye lenger tid
-bør det undersøkes om nye endringer har ført til dette, f.eks. manglende databaseindeks.
+   oppdatere den gamle indeksen som fortsatt er i bruk. Endringene vil først bli synlige i Oversikten når den nye
+   indeksen
+   er ferdig indeksert, og den gamle indeksen er slettet. Se derfor hvor lang tid indekseringen i steg 3 tok, og vurder
+   tidspunktet på dagen neste steg bør gjøres. Normalt sett tar indekseringen 10-15min. Dersom det tar mye lenger tid
+   bør det undersøkes om nye endringer har ført til dette, f.eks. manglende databaseindeks.
 5. Utfør "Hovedindeksering: Nytt alias", som oppretter ny indeks og indekserer alle brukere på den. Samtidig blir
-gjeldende indeks satt til read-only. Når indeksering er ferdig tas den nye indeksen i bruk og den gamle slettes.
-Bruk referansen i response til å følge med i loggene. Dersom jobben feiler, så skal den nye indeksen bli slettet, og
-den gamle brukes videre (read-only modus fjernes). Skulle jobben feile, så bør man kjøre en vanlig hovedindeksering
-igjen (steg 3), siden endringer som kom inn mens jobben kjørte, før den feilet, kun blir skrivet til den nye indeksen.
+   gjeldende indeks satt til read-only. Når indeksering er ferdig tas den nye indeksen i bruk og den gamle slettes.
+   Bruk referansen i response til å følge med i loggene. Dersom jobben feiler, så skal den nye indeksen bli slettet, og
+   den gamle brukes videre (read-only modus fjernes). Skulle jobben feile, så bør man kjøre en vanlig hovedindeksering
+   igjen (steg 3), siden endringer som kom inn mens jobben kjørte, før den feilet, kun blir skrivet til den nye
+   indeksen.
 
 ## PostgreSQL
 
 Innloggingsinformasjon til databasen:
 https://vault.adeo.no/
+
 * Dev: `vault read postgresql/preprod-fss/creds/veilarbportefolje-dev-admin`
 * Prod: `vault read postgresql/prod-fss/creds/veilarbportefolje-prod-readonly`
+*
+
+## PostgreSQL GCP
+
+Innloggingsinformasjon til databasen:
+....
 
 ## Plugin til IntelliJ