Flytte til gcp (#1686)

* Add gcp workflows and adjust PDL format (#1691) * Add new workflow for gcp (#1687) * Byttet namspace fra pto til obo Co-authored-by: Julie Hill Roa <[email protected]> Co-authored-by: Dragutin Vujovic <[email protected]> Co-authored-by: Ingrid Fosså <[email protected]> * Fjernet ingressen til dev-fss * Fjerner vault og pto-config fra nais.yal * Oppdaterer unleash workflow til gcp i dev * Legg til sql-instans i gcp Co-authored-by: Julie Hill Roa <[email protected]> Co-authored-by: Dragutin Vujovic <[email protected]> Co-authored-by: Sneha Desai <[email protected]> * Update db version * Connect til ny db urlen på gcp Co-authored-by: Julie Hill Roa <[email protected]> Co-authored-by: Dragutin Vujovic <[email protected]> Co-authored-by: Ingrid Fosså <[email protected]> * Dependencies update * Fix huskelapp test * Legg til prefiks for miljøvariablar Co-authored-by: Julie Hill Roa <[email protected]> Co-authored-by: Dragutin Vujovic <[email protected]> Co-authored-by: Sneha Desai <[email protected]> * Remove veilarbPep * Fjenet abac urlen og referense til pep Co-authored-by: Julie Hill Roa <[email protected]> Co-authored-by: Klara Margrethe Helgemo <[email protected]> Co-authored-by: Dragutin Vujovic <[email protected]> Co-authored-by: Ingrid Fosså <[email protected]> * Remove kafka schema url * Update kafka schema registry url * Revert "Fjenet abac urlen og referense til pep" This reverts commit b9ee6b0. * Remove duplicate datasource * Stop kafka consumers * Some small fixes related to db * Change access rules (outbound rules) * Change kodeverk dev address * Use another address for kodeverk * Update endpoint urls * Add poao-tilgang to access rules * Change kodeverk url * Connect til ny db urlen på gcp Co-authored-by: Julie Hill Roa <[email protected]> Co-authored-by: Dragutin Vujovic <[email protected]> Co-authored-by: Ingrid Fosså <[email protected]> * Dependencies update * Remove veilarbPep * Fjenet abac urlen og referense til pep Co-authored-by: Julie Hill Roa <[email protected]> Co-authored-by: Klara Margrethe Helgemo <[email protected]> Co-authored-by: Dragutin Vujovic <[email protected]> Co-authored-by: Ingrid Fosså <[email protected]> * Prepare app for prod * Apply suggestions from code review * Cleanup code * Rebase on master * Rebase on master * Small fixes for unleash * Trigger redeplooy * Trigger redeploy * Rebase on dev * Add opensearch prod config * Fix deploy unleash * Update dependencies * Dependency updates * Dependency update * Debug db connection * Update hikari config * Small fixes for db connection * Add debug log * Debug logs * Remove debug logs * Adjust hikari config * Small changes for db migration * Remove frontendlogger * Remove influx metrics * Update access rules * Update README * Update ingress * Update kodeverk url * Change kodeverk url * Enable kafka consumers * Fiks poao-tilgang scope * Disable kafka consumers * Return event logger for frontend - it needs refactoring * Begin to consume from Kafka * Change arbeidssoekerregisteret address * paw-arbeidssoekerregisteret-api-oppslag url og tilgang * Increse pool size * Øker kapasitet Co-authored-by: Julie Hill Roa <[email protected]> * Add index on brukertiltak_v2 * Adjust little bit enhet tiltak cache * Increase db cpu and memory * Change size of ident in bruker_identer table * Remove bruker_identer table updates * Pdl foedeland can have several rows, usually with same data but different sources * Descrease reporting interval for few metrics * kjøre metrikker kun 1 gang hvert 10 min * opdaterer metrikker til å gå 1 gang hvert 10 min * Report metrics only from leader pod * Update github workflow * Apply suggestions from code review * Update .github/workflows/build-deploy-feature-branch-q1.yaml --------- Co-authored-by: Sneha Desai <[email protected]> Co-authored-by: JulieHillRoa <[email protected]> Co-authored-by: Ingrid Fosså <[email protected]> Co-authored-by: Klara M Helgemo <[email protected]>
navikt · Sep 3, 2024 · 0500c57 · 0500c57
1 parent a20f52a
commit 0500c57
Show file tree

Hide file tree

Showing 25 changed files with 101 additions and 336 deletions.
diff --git a/.github/workflows/build-deploy-feature-branch-q1.yaml b/.github/workflows/build-deploy-feature-branch-q1.yaml
@@ -35,7 +35,7 @@ jobs:
         uses: nais/docker-build-push@v0
         id: docker-build-push
         with:
-          team: pto
+          team: obo
           identity_provider: ${{ secrets.NAIS_WORKLOAD_IDENTITY_PROVIDER }}
           project_id: ${{ vars.NAIS_MANAGEMENT_PROJECT_ID }}
 
@@ -50,6 +50,6 @@ jobs:
       - name: Deploy application
         uses: nais/deploy/actions/deploy@v2
         env:
-          CLUSTER: dev-fss
-          RESOURCE: .nais/application/application-config-dev.yaml
+          CLUSTER: dev-gcp
+          RESOURCE: .nais/application/gcp/application-config-dev.yaml
           VAR: image=${{ needs.build-and-push.outputs.image }}
diff --git a/.github/workflows/deploy-unleash-api-token.yaml b/.github/workflows/deploy-unleash-api-token.yaml
@@ -7,8 +7,8 @@ on:
       - master
     paths:
       - '.github/workflows/deploy-unleash-api-token.yaml'
-      - '.nais/application/unleash-apitoken-dev.yaml'
-      - '.nais/application/unleash-apitoken-prod.yaml'
+      - '.nais/application/gcp/unleash-apitoken-dev.yaml'
+      - '.nais/application/gcp/unleash-apitoken-prod.yaml'
 
 permissions:
   id-token: write
@@ -23,8 +23,8 @@ jobs:
       - name: Deploy unleash-apitoken
         uses: nais/deploy/actions/deploy@v2
         env:
-          CLUSTER: dev-fss
-          RESOURCE: .nais/application/unleash-apitoken-dev.yaml
+          CLUSTER: dev-gcp
+          RESOURCE: .nais/application/gcp/unleash-apitoken-dev.yaml
           PRINT_PAYLOAD: true
 
   deploy-prod:
@@ -38,7 +38,7 @@ jobs:
         uses: nais/deploy/actions/deploy@v2
         if: github.ref == 'refs/heads/master'
         env:
-          CLUSTER: prod-fss
-          RESOURCE: .nais/application/unleash-apitoken-prod.yaml
+          CLUSTER: prod-gcp
+          RESOURCE: .nais/application/gcp/unleash-apitoken-prod.yaml
           PRINT_PAYLOAD: true
 
diff --git a/.github/workflows/main-gcp.yml b/.github/workflows/main-gcp.yml
@@ -11,7 +11,7 @@ jobs:
   test:
     name: Run tests
     runs-on: ubuntu-latest
-    if: github.ref != 'refs/heads/flytte-til-gcp'
+    if: github.ref != 'refs/heads/master'
     steps:
       - name: Checkout
         uses: actions/checkout@v4
@@ -32,7 +32,7 @@ jobs:
   build-and-push:
     name: Build and push
     runs-on: ubuntu-latest
-    if: github.ref == 'refs/heads/dev' || github.ref == 'refs/heads/flytte-til-gcp'
+    if: github.ref == 'refs/heads/dev'
     outputs:
       image: ${{ steps.docker-build-push.outputs.image }}
     steps:
@@ -59,7 +59,7 @@ jobs:
 
   deploy-dev:
     name: Deploy application to dev gcp
-    if: github.ref == 'refs/heads/dev' || github.ref == 'refs/heads/flytte-til-gcp'
+    if: github.ref == 'refs/heads/dev'
     needs: build-and-push
     runs-on: ubuntu-latest
     steps:
@@ -75,7 +75,7 @@ jobs:
 
   deploy-prod:
     name: Deploy application to prod gcp
-    if: github.ref == 'refs/heads/flytte-til-gcp'
+    if: github.ref == 'refs/heads/master'
     needs: build-and-push
     runs-on: ubuntu-latest
     steps:

diff --git a/.github/workflows/main.yml b/.github/workflows/main.yml
diff --git a/.nais/application/application-config-prod.yaml b/.nais/application/application-config-prod.yaml
@@ -9,8 +9,8 @@ metadata:
 spec:
   image: {{image}}
   replicas:
-    min: 3
-    max: 3
+    min: 0
+    max: 0
     cpuThresholdPercentage: 50
   port: 8080
   ingresses:

diff --git a/.nais/application/gcp/application-config-prod.yaml b/.nais/application/gcp/application-config-prod.yaml
@@ -40,7 +40,7 @@ spec:
   gcp:
     sqlInstances:
       - type: POSTGRES_15
-        tier: db-custom-1-4096
+        tier: db-custom-8-53248
         databases:
           - name: veilarbportefolje
             envVarPrefix: DB
@@ -68,25 +68,27 @@ spec:
           namespace: team-rocket
         - application: pdl-api
           namespace: pdl
-          cluster: dev-fss
+          cluster: prod-fss
         - application: veilarbvedtaksstotte
           namespace: pto
-          cluster: dev-fss
+          cluster: prod-fss
         - application: veilarbarena
           namespace: pto
-          cluster: dev-fss
+          cluster: prod-fss
         - application: veilarbveileder
           namespace: pto
-          cluster: dev-fss
+          cluster: prod-fss
         - application: poao-tilgang
           namespace: poao
+        - application: paw-arbeidssoekerregisteret-api-oppslag
+          namespace: paw
       external:
         - host: team-obo-unleash-api.nav.cloud.nais.io
-        - host: pdl-api.dev-fss-pub.nais.io
-        - host: veilarboppfolging.dev-fss-pub.nais.io
-        - host: veilarbvedtaksstotte.dev-fss-pub.nais.io
-        - host: veilarbveileder.dev-fss-pub.nais.io
-        - host: veilarbarena.dev-fss-pub.nais.io
+        - host: pdl-api.prod-fss-pub.nais.io
+        - host: veilarboppfolging.prod-fss-pub.nais.io
+        - host: veilarbvedtaksstotte.prod-fss-pub.nais.io
+        - host: veilarbveileder.prod-fss-pub.nais.io
+        - host: veilarbarena.prod-fss-pub.nais.io
   resources:
     limits:
       cpu: "4"
@@ -120,9 +122,9 @@ spec:
     - name: POAO_TILGANG_URL
       value: "http://poao-tilgang.poao"
     - name: POAO_TILGANG_TOKEN_SCOPE
-      value: "api://prod-fss.poao.poao-tilgang/.default"
+      value: "api://prod-gcp.poao.poao-tilgang/.default"
     - name: KODEVERK_URL
-      value: "https://kodeverk-api.intern.nav.no"
+      value: "http://kodeverk-api.team-rocket"
     - name: KODEVERK_SCOPE
       value: "api://prod-gcp.team-rocket.kodeverk-api/.default"
     - name: OPPSLAG_ARBEIDSSOEKERREGISTERET_URL

diff --git a/.nais/application/gcp/opensearch-dev.yaml b/.nais/application/gcp/opensearch-dev.yaml
diff --git a/README.md b/README.md
@@ -20,7 +20,8 @@ Følgende data aggregeres:
 
 ### Swagger-dokumentasjon
 
-Endepunktene er dokumentert vha. Swagger/OpenAPI. Dokumentasjonen er tilgjengelig på egen sti, som i skrivende stund (08.05.24) er `https://veilarbportefoljeflate.intern.dev.nav.no/veilarbportefolje/internal/swagger-ui/index.html`.
+Endepunktene er dokumentert vha. Swagger/OpenAPI. Dokumentasjonen er tilgjengelig på egen sti, som i skrivende stund (
+08.05.24) er `https://veilarbportefoljeflate.intern.dev.nav.no/veilarbportefolje/internal/swagger-ui/index.html`.
 
 ## Hvordan bygge
 
@@ -36,37 +37,49 @@ Mere info om:
 https://aiven.io/opensearch
 
 Settings for index er definert i filen:
+
 ```
 src/main/resources/opensearch_settings.json
 ```
 
 ### Fremgangsmåte ved endringer i OpenSearch settings
+
 Når det gjøres endringer i `src/main/resources/opensearch_settings.json`, så er oppsettet slik at det må lages en ny
 indeks. Dvs. man oppdaterer ikke den eksisterende indeksen. Den nye indeksen må populeres med data før den kan erstatte
 den gamle.
 
 #### Fremgangsmåte
+
 1. Gjør endringer i `src/main/resources/opensearch_settings.json`, commit, push og deploy
 2. Gå til pto-admin i riktig miljø (dev/prod) og velg "Veilarbportefolje" i dropdown
 3. Utfør en "Hovedindeksering". Bruk referansen i response til å følge med i loggene. Denne jobben gjør oppdatering av
-alle brukere i eksisterende indeks. Formålet er å se hvor lang tid det tar å indeksere alle brukerne.
+   alle brukere i eksisterende indeks. Formålet er å se hvor lang tid det tar å indeksere alle brukerne.
 4. Når man oppretter ny indeks (neste steg), så vil ikke endringer som kommer underveis
-oppdatere den gamle indeksen som fortsatt er i bruk. Endringene vil først bli synlige i Oversikten når den nye indeksen
-er ferdig indeksert, og den gamle indeksen er slettet. Se derfor hvor lang tid indekseringen i steg 3 tok, og vurder
-tidspunktet på dagen neste steg bør gjøres. Normalt sett tar indekseringen 10-15min. Dersom det tar mye lenger tid
-bør det undersøkes om nye endringer har ført til dette, f.eks. manglende databaseindeks.
+   oppdatere den gamle indeksen som fortsatt er i bruk. Endringene vil først bli synlige i Oversikten når den nye
+   indeksen
+   er ferdig indeksert, og den gamle indeksen er slettet. Se derfor hvor lang tid indekseringen i steg 3 tok, og vurder
+   tidspunktet på dagen neste steg bør gjøres. Normalt sett tar indekseringen 10-15min. Dersom det tar mye lenger tid
+   bør det undersøkes om nye endringer har ført til dette, f.eks. manglende databaseindeks.
 5. Utfør "Hovedindeksering: Nytt alias", som oppretter ny indeks og indekserer alle brukere på den. Samtidig blir
-gjeldende indeks satt til read-only. Når indeksering er ferdig tas den nye indeksen i bruk og den gamle slettes.
-Bruk referansen i response til å følge med i loggene. Dersom jobben feiler, så skal den nye indeksen bli slettet, og
-den gamle brukes videre (read-only modus fjernes). Skulle jobben feile, så bør man kjøre en vanlig hovedindeksering
-igjen (steg 3), siden endringer som kom inn mens jobben kjørte, før den feilet, kun blir skrivet til den nye indeksen.
+   gjeldende indeks satt til read-only. Når indeksering er ferdig tas den nye indeksen i bruk og den gamle slettes.
+   Bruk referansen i response til å følge med i loggene. Dersom jobben feiler, så skal den nye indeksen bli slettet, og
+   den gamle brukes videre (read-only modus fjernes). Skulle jobben feile, så bør man kjøre en vanlig hovedindeksering
+   igjen (steg 3), siden endringer som kom inn mens jobben kjørte, før den feilet, kun blir skrivet til den nye
+   indeksen.
 
 ## PostgreSQL
 
 Innloggingsinformasjon til databasen:
 https://vault.adeo.no/
+
 * Dev: `vault read postgresql/preprod-fss/creds/veilarbportefolje-dev-admin`
 * Prod: `vault read postgresql/prod-fss/creds/veilarbportefolje-prod-readonly`
+*
+
+## PostgreSQL GCP
+
+Innloggingsinformasjon til databasen:
+....
 
 ## Plugin til IntelliJ
 

diff --git a/pom.xml b/pom.xml
@@ -166,22 +166,7 @@
         <dependency>
             <groupId>com.zaxxer</groupId>
             <artifactId>HikariCP</artifactId>
-        </dependency>
-
-        <dependency>
-            <groupId>no.nav</groupId>
-            <artifactId>vault-jdbc</artifactId>
-            <version>1.3.10</version>
-            <exclusions>
-                <exclusion>
-                    <groupId>org.slf4j</groupId>
-                    <artifactId>slf4j-simple</artifactId>
-                </exclusion>
-                <exclusion>
-                    <groupId>org.slf4j</groupId>
-                    <artifactId>slf4j-api</artifactId>
-                </exclusion>
-            </exclusions>
+            <version>5.1.0</version>
         </dependency>
 
         <!-- Kafka -->
@@ -317,12 +302,12 @@
         <dependency>
             <groupId>org.flywaydb</groupId>
             <artifactId>flyway-database-postgresql</artifactId>
-            <version>10.17.0</version>
+            <version>10.17.2</version>
         </dependency>
         <dependency>
             <groupId>org.postgresql</groupId>
             <artifactId>postgresql</artifactId>
-            <version>42.7.3</version>
+            <version>42.7.4</version>
         </dependency>
         <dependency>
             <groupId>net.javacrumbs.shedlock</groupId>