Merge pull request #79 from TAVE-9RP/dev

ETL 추출 코드 추가, 입출고 이력 추가, 일부 에러 대응 (Dev -> Main)

Author: minsubyun1

build.gradle

@@ -1,55 +1,61 @@
 plugins {
-	id 'java'
-	id 'org.springframework.boot' version '3.2.5'
-	id 'io.spring.dependency-management' version '1.1.7'
+    id 'java'
+    id 'org.springframework.boot' version '3.2.5'
+    id 'io.spring.dependency-management' version '1.1.7'
 }
 
 group = 'com'
 version = '0.0.1-SNAPSHOT'
 description = 'nexerp project'
 
 java {
-	toolchain {
-		languageVersion = JavaLanguageVersion.of(17)
-	}
+    toolchain {
+        languageVersion = JavaLanguageVersion.of(17)
+    }
 }
 
 configurations {
-	compileOnly {
-		extendsFrom annotationProcessor
-	}
+    compileOnly {
+        extendsFrom annotationProcessor
+    }
 }
 
 repositories {
-	mavenCentral()
+    mavenCentral()
 }
 
 dependencies {
-	implementation 'org.springframework.boot:spring-boot-starter-data-jpa'
-	 implementation 'org.springframework.boot:spring-boot-starter-security'
-	implementation 'org.springframework.boot:spring-boot-starter-validation'
-	implementation 'org.springframework.boot:spring-boot-starter-web'
+    implementation 'org.springframework.boot:spring-boot-starter-data-jpa'
+    implementation 'org.springframework.boot:spring-boot-starter-security'
+    implementation 'org.springframework.boot:spring-boot-starter-validation'
+    implementation 'org.springframework.boot:spring-boot-starter-web'
 
-	runtimeOnly 'com.mysql:mysql-connector-j'
+    runtimeOnly 'com.mysql:mysql-connector-j'
 
-	compileOnly 'org.projectlombok:lombok'
-	annotationProcessor 'org.projectlombok:lombok'
+    compileOnly 'org.projectlombok:lombok'
+    annotationProcessor 'org.projectlombok:lombok'
 
-	implementation 'org.springdoc:springdoc-openapi-starter-webmvc-ui:2.3.0'
+    implementation 'org.springdoc:springdoc-openapi-starter-webmvc-ui:2.3.0'
 
-	testImplementation 'org.springframework.boot:spring-boot-starter-test'
-	testRuntimeOnly 'org.junit.platform:junit-platform-launcher'
+    testImplementation 'org.springframework.boot:spring-boot-starter-test'
+    testRuntimeOnly 'org.junit.platform:junit-platform-launcher'
     implementation 'io.jsonwebtoken:jjwt-api:0.11.5'
     runtimeOnly 'io.jsonwebtoken:jjwt-impl:0.11.5'
     runtimeOnly 'io.jsonwebtoken:jjwt-jackson:0.11.5'
 
+    implementation 'org.apache.commons:commons-csv:1.10.0'
+
 }
 
 
 tasks.named('test') {
-	useJUnitPlatform()
+    useJUnitPlatform()
 }
 
 bootJar {
-	archiveFileName = 'app.jar'
+    archiveFileName = 'app.jar'
+}
+
+test {
+    useJUnitPlatform()
 }

src/main/java/com/nexerp/NexerpApplication.java

@@ -3,9 +3,11 @@
 import org.springframework.boot.SpringApplication;
 import org.springframework.boot.autoconfigure.SpringBootApplication;
 import org.springframework.data.jpa.repository.config.EnableJpaAuditing;
+import org.springframework.scheduling.annotation.EnableScheduling;
 
 @SpringBootApplication
 @EnableJpaAuditing
+@EnableScheduling
 public class NexerpApplication {
 
   public static void main(String[] args) {

src/main/java/com/nexerp/domain/analytics/application/AnalyticsExportOrchestrator.java

@@ -0,0 +1,192 @@
+package com.nexerp.domain.analytics.application;
+
+import static java.util.concurrent.TimeUnit.NANOSECONDS;
+
+import com.nexerp.domain.analytics.domain.ExportFileName;
+import com.nexerp.domain.analytics.domain.ExportTable;
+import com.nexerp.domain.analytics.port.CsvWriterPort;
+import com.nexerp.domain.analytics.port.ExtractorPort;
+import com.nexerp.domain.analytics.port.StoragePort;
+import java.io.OutputStream;
+import java.time.LocalDate;
+import java.time.YearMonth;
+import java.util.Collections;
+import java.util.EnumMap;
+import java.util.List;
+import java.util.Map;
+import java.util.concurrent.CompletableFuture;
+import java.util.concurrent.CompletionException;
+import java.util.concurrent.CopyOnWriteArrayList;
+import java.util.concurrent.Executor;
+import java.util.concurrent.atomic.AtomicBoolean;
+import java.util.concurrent.atomic.AtomicInteger;
+import lombok.RequiredArgsConstructor;
+import lombok.extern.slf4j.Slf4j;
+import org.springframework.stereotype.Service;
+
+@Slf4j
+@Service
+@RequiredArgsConstructor
+public class AnalyticsExportOrchestrator {
+
+  private final List<ExtractorPort> extractors;
+  private final StoragePort storage;
+  private final CsvWriterPort writer;
+  private final Executor analyticsExportExecutor;
+
+  /**
+   * [Fail-Fast 병렬 내보내기] 1. 하나라도 실패하면 즉시 전체 작업을 중단합니다. 2. 실패 시 이미 성공하여 생성된 파일들도 모두 삭제(Cleanup)합니다.
+   * 3. 원자적 파일 생성을 위해 임시 파일(tmp)에 먼저 쓰고 성공 시 최종 위치로 이동합니다.
+   */
+  public Map<ExportTable, ExportResult> exportAllFailFastParallel(LocalDate date) {
+    // 파일을 저장할 폴더가 있는지 확인하고 없으면 만들기
+    storage.ensureBaseDir();
+
+    long allStart = System.nanoTime();
+    log.info("[AnalyticsExport] Fail-Fast Parallel Export Start");
+
+    Map<ExportTable, ExportResult> results = Collections.synchronizedMap(
+      new EnumMap<>(ExportTable.class));
+
+    // 작성된 파일 이름 리스트 (CopyOnWriteArrayList)
+    List<String> createdFinalFiles = new CopyOnWriteArrayList<>();
+
+    CompletableFuture<Void> firstFailure = new CompletableFuture<>();
+    // completeExceptionally(실패) 를 한번만 전파하기 위한 원자적 블리언
+    AtomicBoolean failureSignaled = new AtomicBoolean(false);
+
+    List<CompletableFuture<ExportResult>> futures = extractors.stream()
+      .map(extractor -> CompletableFuture.supplyAsync(() -> {
+        long start = System.nanoTime();
+
+        // 수정된 원자적 파일 생성 로직 호출
+        ExportResult result = exportByExtractorAtomic(extractor, date, createdFinalFiles);
+
+        long elapsedMs = NANOSECONDS.toMillis(System.nanoTime() - start);
+
+        // 비동기와 동기 비교를 위한 로그
+        log.info("[AnalyticsExport] table={} rows={} elapsedMs={}",
+          result.table(), result.rowCount(), elapsedMs);
+
+        return result;
+
+      }, analyticsExportExecutor).whenComplete((r, e) -> {
+        if (e != null) {
+          // 하나라도 예외 발생 시 firstFailure을 울려 race를 종료시킴
+          if (failureSignaled.compareAndSet(false, true)) {
+            firstFailure.completeExceptionally(e);
+          }
+        } else {
+          results.put(r.table(), r);
+        }
+      }))
+      .toList();
+
+    // 모든 스레드가 작업을 종료 했는지 검사
+    CompletableFuture<Void> allDone = CompletableFuture.allOf(
+      futures.toArray(new CompletableFuture[0]));
+
+    // race는 전체 성공 혹은 실패를 의미
+    CompletableFuture<Object> race = CompletableFuture.anyOf(allDone, firstFailure);
+
+    try {
+      // 전체 성공 시 통과, 하나라도 실패 시 예외가 여기서 터짐
+      race.join();
+
+      long allElapsedMs = NANOSECONDS.toMillis(System.nanoTime() - allStart);
+      log.info("[AnalyticsExport] 전체 테이블 수={} 총 소요 시간={}", results.size(),
+        allElapsedMs);
+      return results;
+
+    } catch (CompletionException e) {
+      Throwable cause = (e.getCause() != null) ? e.getCause() : e;
+      log.error("[AnalyticsExport] FAIL-FAST triggered. Export stopped.", cause);
+
+      //나머지 스레드 모두 중지
+      futures.forEach(f -> f.cancel(true));
+      //성공했던 파일들도 모두 제거
+      cleanupFiles(createdFinalFiles);
+
+      throw new RuntimeException("분석 데이터 내보내기 중 오류가 발생하여 전체 작업을 중단합니다.", cause);
+    }
+  }
+
+  /**
+   * 부분 파일 방지: - tmp 파일에 쓰고 - 성공하면 final 파일로 move - 실패하면 tmp 삭제
+   */
+  private ExportResult exportByExtractorAtomic(
+    ExtractorPort extractor,
+    LocalDate date,
+    List<String> createdFinalFiles
+  ) {
+    //final 파일 경로
+    String finalFileName = ExportFileName.of(extractor.table().filePrefix(), date).toFileName();
+    String finalPath = storage.resolve(finalFileName); // 최종 결과 경로
+    String tmpPath = storage.resolveTemp(finalPath);   // 임시 파일 경로
+
+    try (OutputStream os = storage.openOutputStream(tmpPath)) {
+      // 실제 쓰기는 임시에
+      long rowCount = writer.write(os, extractor.header(), extractor.extractRows(date));
+
+      // 성공하면 최종 파일로 이동
+      storage.moveAtomic(tmpPath, finalPath);
+
+      // 최종 파일 생성 기록 (실패 시 cleanup 용도)
+      createdFinalFiles.add(finalPath);
+
+      return new ExportResult(extractor.table(), date, rowCount);
+
+    } catch (Exception e) {
+      // 실패하면 tmp 파일 삭제
+      try {
+        storage.deleteIfExists(tmpPath);
+      } catch (Exception ignored) {
+        // tmp 삭제 실패는 로깅
+        log.warn("[AnalyticsExport] tmp 삭제 실패 tmp={}", tmpPath);
+      }
+      throw new RuntimeException("테이블 추출 실패: table=" + extractor.table(), e);
+    }
+  }
+
+  /**
+   * 실패 시 이미 만들어진 파일들을 정리
+   */
+  private void cleanupFiles(List<String> createdFinalFiles) {
+    for (String path : createdFinalFiles) {
+      try {
+        storage.deleteIfExists(path);
+        log.info("[AnalyticsExport] cleanup deleted file={}", path);
+      } catch (Exception e) {
+        log.warn("[AnalyticsExport] cleanup failed file={}", path, e);
+      }
+    }
+  }
+
+  public int deleteTwoMonthsAgo(LocalDate now) {
+    YearMonth target = YearMonth.from(now.minusMonths(4)); // 1월이면 9월
+    AtomicInteger deleted = new AtomicInteger();
+
+    storage.listBaseFiles()
+      .forEach(fileName -> {
+        ExportFileName parsed;
+        try {
+          parsed = ExportFileName.parse(fileName);
+        } catch (IllegalArgumentException e) {
+          return;
+        }
+
+        if (YearMonth.from(parsed.date()).equals(target)) {
+          String fullName = storage.resolve(fileName).toString();
+          storage.deleteIfExists(fullName);
+          deleted.incrementAndGet();
+        }
+      });
+
+    return deleted.get();
+  }
+
+  //ExportResult 객체 하나는 데이터베이스의 특정 테이블 하나를 CSV 파일 하나로 추출한 결과
+  public record ExportResult(ExportTable table, LocalDate date, long rowCount) {
+
+  }
+}

src/main/java/com/nexerp/domain/analytics/config/AnalyticsExportAsyncConfig.java

@@ -0,0 +1,27 @@
+package com.nexerp.domain.analytics.config;
+
+import java.util.concurrent.Executor;
+import org.springframework.context.annotation.Bean;
+import org.springframework.context.annotation.Configuration;
+import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
+
+@Configuration
+public class AnalyticsExportAsyncConfig {
+
+  @Bean(name = "analyticsExportExecutor")
+  public Executor analyticsExportExecutor() {
+    ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
+    // 기본 스레드 수
+    executor.setCorePoolSize(6);
+    // 최대 스레드 수
+    executor.setMaxPoolSize(8);
+    // 대기 작업 큐
+    executor.setQueueCapacity(100);
+    // 스레드의 이름 접두사
+    executor.setThreadNamePrefix("analytics-export-");
+
+    executor.initialize();
+
+    return executor;
+  }
+}

src/main/java/com/nexerp/domain/analytics/config/AnalyticsExportConfig.java

@@ -0,0 +1,10 @@
+package com.nexerp.domain.analytics.config;
+
+import org.springframework.boot.context.properties.EnableConfigurationProperties;
+import org.springframework.context.annotation.Configuration;
+
+@Configuration
+@EnableConfigurationProperties(AnalyticsExportProperties.class)
+public class AnalyticsExportConfig {
+
+}

src/main/java/com/nexerp/domain/analytics/config/AnalyticsExportProperties.java

@@ -0,0 +1,13 @@
+package com.nexerp.domain.analytics.config;
+
+import org.springframework.boot.context.properties.ConfigurationProperties;
+
+@ConfigurationProperties(prefix = "analytics.export")
+public record AnalyticsExportProperties(
+  // 로컬 저장 위치 파일 명 제외
+  String localPath,
+  // 제거 주기
+  int retentionMonths
+) {
+
+}

src/main/java/com/nexerp/domain/analytics/domain/ExportFileName.java

@@ -0,0 +1,38 @@
+package com.nexerp.domain.analytics.domain;
+
+import java.time.LocalDate;
+
+// CSV 파일 이름 규칙
+public record ExportFileName(String tableName, LocalDate date) {
+
+  public static ExportFileName of(String tableName, LocalDate date) {
+    return new ExportFileName(tableName, date);
+  }
+
+  public String toFileName() {
+    return tableName + "--" + date + ".csv";
+  }
+
+  // 삭제 스케줄러(매월 1일에 2개월 전 삭제) 만들 때 사용
+  public static ExportFileName parse(String fileName) {
+
+    // csv 파일 아니면 발생
+    if (!fileName.endsWith(".csv")) {
+      throw new IllegalArgumentException("Not csv: " + fileName);
+    }
+
+    // 이름의 .csv 제거
+    String base = fileName.substring(0, fileName.length() - 4);
+
+    // 구분자 -- 찾기
+    int idx = base.lastIndexOf("--");
+    if (idx < 0) {
+      throw new IllegalArgumentException("Invalid format: " + fileName);
+    }
+
+    //테이블명/날짜 문자열 분리
+    String table = base.substring(0, idx);
+    String dateStr = base.substring(idx + 2);
+    return new ExportFileName(table, LocalDate.parse(dateStr));
+  }
+}