feat: Newsfetcher: sistema de plugins para capturas, arquivos e informações básicas; correções diversas

* Reestruturação dos diretórios: lugar próprio para a biblioteca news_fetcher
* Inclusão de vários testes para NewsFetcher e alteração/expansão dos testes existentes
* Sistema de plugins em NewsFetcher:
- utilize plugins para buscar uma versão arquivada da notícia
- utilize plugins para capturar a página da notícia
  - capturador padrão e um especialista (G1) para páginas em PDF (closes #69 e closes #68)
- captura de informações básicas implementada via plugins
* Utilize um hashid como nome de arquivo para um logotipo de jornal
* NPM_FILE_PATTERNS: padrões de caminhos de acordo com a plataforma
* Migração do sistema de testes para o pytest [WIP]

Author: felipelube

.gitignore

@@ -99,7 +99,10 @@ staticfiles/
 
 # ignore a regra para a pasta 'lib' acima para esta pasta
 !xram_memory/lib/
+!xram_memory/**/lib/
 # ignore a pasta usada pelo virtualenv
 .venv
 # ignore components instalados pelo npm
-node_modules
+node_modules
+#ignore pastas do pytest
+.pytest_cache

Pipfile

@@ -20,6 +20,10 @@ greenlet = "*"
 flower = "~=0.9.3"
 coverage = "*"
 factory-boy = "*"
+pytest-django = "*"
+pytest-datadir = "*"
+pytest-cov = "*"
+pytest-mock = "*"
 
 [packages]
 dj-database-url = "~=0.5.0"

Pipfile.lock

@@ -0,0 +1,3 @@
+import sys
+
+collect_ignore_glob = ['.venv/*']

conftest.py

@@ -0,0 +1,6 @@
+# -- FILE: pytest.ini (or tox.ini)
+[pytest]
+#DJANGO_SETTINGS_MODULE = test_settings
+# -- recommended but optional:
+python_files = tests.py test_*.py tests_*.py *_tests.py
+norecursedirs = .git .venv node_modules

pytest.ini

@@ -1,6 +1,6 @@
-from django import forms
 from xram_memory.artifact.models import News
-from xram_memory.artifact.news_fetcher import NewsFetcher
+from xram_memory.lib import NewsFetcher
+from django import forms
 
 
 class NewsPDFCaptureStackedInlineForm(forms.ModelForm):

xram_memory/artifact/admin/forms/news.py

@@ -1,6 +1,6 @@
-from django import forms
 from xram_memory.artifact.models import Newspaper
-from xram_memory.artifact.news_fetcher import NewsFetcher
+from xram_memory.lib import NewsFetcher
+from django import forms
 
 
 class NewspaperAdminForm(forms.ModelForm):

xram_memory/artifact/admin/forms/newspaper.py

@@ -2,21 +2,22 @@
 
 from django.db import migrations
 from django.conf import settings
+from filer.models.foldermodels import Folder
 
 DEFAULT_FOLDERS = settings.DEFAULT_FOLDERS
 
 
 def create_default_folders(apps, schema_editor):
-    Folder = apps.get_model('filer', 'Folder')
-
-    for i, folder in enumerate(DEFAULT_FOLDERS):
+    for folder in [settings.FOLDER_CAPTURES, settings.FOLDER_PHOTO_ALBUMS]:
         Folder.objects.get_or_create(**folder)
 
+    captures_folder = Folder.objects.get(**settings.FOLDER_CAPTURES)
+    for folder in [settings.FOLDER_PDF_CAPTURES, settings.FOLDER_IMAGE_CAPTURES]:
+        Folder.objects.get_or_create(**folder, parent=captures_folder)
 
-def reverse_create_default_folders(apps, schema_editor):
-    Folder = apps.get_model('filer', 'Folder')
 
-    for i, folder in enumerate(DEFAULT_FOLDERS):
+def reverse_create_default_folders(apps, schema_editor):
+    for folder in settings.DEFAULT_FOLDERS:
         try:
             Folder.objects.filter(**folder).delete()
         except Folder.DoesNotExist:

xram_memory/artifact/migrations/0006_auto_20190408_1050.py

@@ -1,6 +1,5 @@
 from xram_memory.artifact.models import Artifact, Document, Newspaper
 from xram_memory.artifact import tasks as background_tasks
-from xram_memory.artifact.news_fetcher import NewsFetcher
 from django.db import models, transaction, IntegrityError
 from xram_memory.logger.decorators import log_process
 from filer.utils.generate_filename import randomized
@@ -14,6 +13,7 @@
 from filer.fields.file import FilerFileField
 from django.db.transaction import on_commit
 from filer.models import File as FilerFile
+from xram_memory.lib import NewsFetcher
 from django.db.models import Prefetch
 from django.utils.timezone import now
 from filer.models import File, Folder
@@ -128,15 +128,19 @@ def set_web_title(self):
         """
         Pega o título para a página desta notícia.
         """
-        self.title = NewsFetcher.fetch_web_title(self.url)[:255]
+        title = NewsFetcher.fetch_web_title(self.url)[:255]
+        if title:
+            self.title = title
 
     @log_process(operation="verificar por uma versão no archive.org")
     def fetch_archived_url(self):
         """
         Verifica se existe e adiciona a URL de uma versão arquivada desta notícia presente no
         `Internet Archive`.
         """
-        self.archived_news_url = NewsFetcher.fetch_archived_url(self.url)
+        archived_news_url = NewsFetcher.fetch_archived_url(self.url)
+        if archived_news_url:
+            self.archived_news_url = archived_news_url
 
     @log_process(operation="buscar informações básicas")
     def set_basic_info(self):