update

Author: maxsivkov

.gitignore

@@ -148,4 +148,5 @@ data_old/
 api-src/
 account.json
 venv_old
-_/
+_/
+_maxsivkov

cmdline_arguments.py

@@ -1,9 +1,16 @@
 import argparse, os
+from datadir import  DataDir
 def parser() -> argparse.ArgumentParser:
     parser = argparse.ArgumentParser(description='Command line options')
     parser.add_argument("-v", "--verbose", help="increase output verbosity", action="store_true", default=False)
-    parser.add_argument("-u", "--taxerapi_url", nargs='?', help="set taxer-api URL", default=os.getenv('BSTMT_TAXER_API_URL', 'http://127.0.0.1:7080'))
+    parser.add_argument("-u", "--taxerapi_url", nargs='?', help="TaxerApi URL", default=os.getenv('BSTMT_TAXER_API_URL', 'http://127.0.0.1:7080'))
     parser.add_argument("-a", "--accounts_folder", nargs='?', help="accounts folder", default=os.getenv('BSTMT_ACCOUNTS_DIR', 'data'))
 
-    parser.add_argument('action', help='Action: init - initialize; process - process input files, prepare json output files; push - upload json files to taxer-api')
+    parser.add_argument("-i", "--input_folder", nargs='?', help="input folder",
+                        default=os.getenv('BSTMT_INPUT_DIR', DataDir.default_input_folder))
+    parser.add_argument("-o", "--output_folder", nargs='?', help="output folder",
+                        default=os.getenv('BSTMT_OUTPUT_DIR', DataDir.default_output_folder))
+    parser.add_argument("-r", "--first_row", nargs='?', help="first row",
+                        default=os.getenv('BSTMT_FIRST_ROW', DataDir.default_first_row))
+    parser.add_argument('action', help='Action: init - initialize; process - process input files, prepare json output files; push - upload json files to taxer-api, test')
     return parser

datadir.py

@@ -7,11 +7,11 @@
 from utils import list_files
 import confuse
 import os, re
-import ujson
+import ujson, yaml
 import logging
 from taxerapi import Configuration as TaxerConfig, ApiClient as TaxerClient, AccountApi as TaxerAccountApi, AccountsApi as TaxerAccountsApi, OperationApi as TaxerOperationApi \
     , Profile, User, UserBankAccount as ApiBankAccount
-from utils import get_config_str
+from utils import get_config_str, get_config_int
 
 @dataclass
 class UserAccount:
@@ -56,8 +56,9 @@ class DataDir(object):
     accounts_fn:str = "accounts.json"
     config_fn: str = "config.yaml"
     default_rules_folder:str = 'rules'
-    default_input_folder:str = 'data'
+    default_input_folder:str = 'data_in'
     default_output_folder: str = 'data_out'
+    default_first_row: int = 6
 
     def __init__(self, config:confuse.Configuration):
         self.logger = logging.getLogger(__name__)
@@ -158,6 +159,16 @@ def UpdateUsers(self):
             if not os.path.exists(user_folder):
                 self.logger.debug(f'Creating folder {user_folder}')
                 os.mkdir(user_folder)
+                # Store default config
+                user_config: Dict = {
+                    'datafile': {
+                        'first_row': get_config_int(self.config, 'first_row', DataDir.default_first_row)
+                    },
+                    'input_folder': get_config_str(self.config, 'input_folder', DataDir.default_input_folder),
+                    'output_folder': get_config_str(self.config, 'output_folder', DataDir.default_output_folder),
+                }
+                with open(self.user_config_path(u.id), encoding='utf8', mode='w') as f:
+                    yaml.dump(user_config, f)
             self.create_folder_not_exists(self.user_folder_rules(u.id))
             self.create_folder_not_exists(self.user_folder_input(u.id))
             self.create_folder_not_exists(self.user_folder_output(u.id))

doc/how-to-run-docker-lazy.md

@@ -1,10 +1,37 @@
-## Запуск с использованием Docker
+## Запуск с использованием Docker для ленивых
 
-- Запустить АПИ сервер [Taxer API](https://github.com/maxsivkov/py-taxer-api)
-- Открыть коммандную строку `cmd`
-- Запуск
+- Скачать [docker-compose.,yml](https://raw.githubusercontent.com/maxsivkov/py-pbank-statements/master/bundle/docker-compose.yml)
+
+  ```
+  curl -o docker-compose.yml https://raw.githubusercontent.com/maxsivkov/py-pbank-statements/master/bundle/docker-compose.yml
+  ```
+
+- Создать каталог `data-folder`
+  ```
+  MD data-folder
+  ```
+
+- Получить [taxer cookies](https://github.com/maxsivkov/py-taxer-api/blob/master/doc/howto-run.md#%D0%BA%D0%B0%D0%BA-%D0%BF%D0%BE%D0%BB%D1%83%D1%87%D0%B8%D1%82%D1%8C-cookies)
+- Создать файл `.env` и поместить туда taxer cookies, должно получиться примерно такое
   ```
-  docker run -it --rm maxsivkov/bank-statements test
+  TAXER_COOKIES=_ga=GA1.2.167.......d467a83b53
   ```
-  В результате в выводе должно появиться чтото типа `Action test`
 
+- Запустить
+  ```
+  docker-compose run statements test
+  ```
+  В результате в выводе должно появиться чтото типа `Action test` со списком аккаунтов и пользователей
+  
+
+Теперь можно выполнять комманды
+```
+docker-compose run statements <COMMAND>
+```
+  
+**NOTE**  
+После того как работы с данным аккаунтом завершены, необходить застопить все что связано с сервисом `statements`:
+```
+docker-compose stop
+```
+

main.py

@@ -2,7 +2,7 @@
 import re
 import os
 import logging, logging.config
-import ujson
+import ujson, yaml
 import datetime
 from config import configuration
 from datadir import DataDir
@@ -68,7 +68,7 @@ def setup_logger(filename:str):
             #datafile_parts:str = os.path.splitext(os.path.basename(datafile))
             outputfn = os.path.join(user_data.user_folder_output(userid), os.path.basename(datafile))
 
-            stmt_data = XlsxDriver(filepath=datafile, output_file_path=outputfn, first_row=get_config_int(user_data.config, 'datafile.firstrow', '6'))
+            stmt_data = XlsxDriver(filepath=datafile, output_file_path=outputfn, first_row=get_config_int(user_data.config, 'datafile.first_row'))
             stmt_data.read()
 
             from execution_context import ExecutionContext