Merge branch 'django-filer' into dev

Author: felipelube

Pipfile

@@ -36,9 +36,15 @@ beautifulsoup4 = "*"
 djangorestframework = "*"
 django-cors-headers = "*"
 boltons = "*"
-retrying = "*"
+django-filer = "*"
+django-mptt = ">=0.6"
+easy_thumbnails = ">=2.6.0"
+django-polymorphic = ">=0.7"
+Pillow = ">=2.3.0"
 tornado = ">=4.2.0,<6.0.0"
 redis = ">=3.2.0"
+retrying = "*"
+django-elasticsearch-dsl = "*"
 
 [packages.pdfkit]
 editable = true
@@ -50,13 +56,8 @@ editable = true
 git = "https://github.com/PaesslerAG/django-currentuser"
 ref = "master"
 
-[packages.easy-thumbnails]
-editable = true
-git = "https://github.com/SmileyChris/easy-thumbnails"
-ref = "master"
-
 [packages.celery]
 editable = true
-git = "https://github.com/PaesslerAG/django-currentuser"
+git = "https://github.com/celery/celery"
 ref = "master"
 extras = [ "redis",]

Pipfile.lock

@@ -1,5 +1,10 @@
 from django.contrib.admin.apps import AdminConfig
+from filer.apps import FilerConfig as OriginalFilerConfig
 
 
 class DefaultAdminConfig(AdminConfig):
     default_site = 'xram_memory.admin.DefaultAdminSite'
+
+
+class FilerConfig(OriginalFilerConfig):
+    verbose_name = "Pastas e arquivos"

xram_memory/apps.py

@@ -1,2 +1,2 @@
 from .models.news import NewsAdmin
-from .models.documents import DocumentAdmin
+from .models.document import DocumentAdmin

xram_memory/artifact/admin/__init__.py

@@ -18,13 +18,12 @@ class NewsAdminForm(forms.ModelForm):
     """
     # TODO: fazer com que os campos abaixo não sejam logados em revisões de conteúdo?
     # TODO: definir os campos que este formulário aceitará: https://docs.djangoproject.com/en/2.1/topics/forms/modelforms/#selecting-the-fields-to-use
-    # TODO: chamar o campo 'slug' de Endereço e gerar uma URL para o endereço da notícia com template no form
 
     # campos para definir operações adicionais para a notícia durante e após o salvamento
     set_basic_info = forms.BooleanField(
         label="Tentar inferir informações sobre essa notícia automaticamente",
         required=False,
-        help_text="Apenas com o endereço da notícia preenchido, o sistema tentará buscar informações básicas sobre esta notícia",
+        help_text="Apenas com o endereço da notícia preenchido, o sistema preencherá os outros campos automaticamente",
     )
     fetch_archived_url = forms.BooleanField(
         label="Procurar uma versão arquivada dessa notícia automaticamente no Internet Archive",
@@ -33,7 +32,7 @@ class NewsAdminForm(forms.ModelForm):
     )
     add_pdf_capture = forms.BooleanField(
         label="Capturar a página dessa notícia em formato PDF",
-        help_text="O sistema tentará capturar uma versão da página dessa notícia em PDF",
+        help_text="Se marcado, o sistema fará uma captura da página dessa notícia em PDF",
         required=False,
     )
 
@@ -49,11 +48,12 @@ def __init__(self, *args, **kwargs):
         self.initial['fetch_archived_url'] = not self.instance.archived_news_url
         self.initial['add_pdf_capture'] = not self.instance.has_pdf_capture
 
-        if self.instance.pk:
-            # altere as descrições para os campos acima de acordo com o estado do modelo
-            # TODO: utilizar a propriedades conforme acima para definir as descrições
-            # TODO: atualizar as descrições abaixo para 'obter as informações automaticamente etc.'
-            self.fields['set_basic_info'].label = 'Tentar inferir informações sobre essa notícia novamente'
+        if self.instance.pk is None:
+            self.fields['set_basic_info'].label = 'Obter informações sobre essa notícia automaticamente'
+            self.fields['fetch_archived_url'].label = 'Procurar por uma versão arquivada dessa notícia no <a href="https://archive.org/">Internet Archive</a>'
+            self.fields['add_pdf_capture'].label = 'Fazer uma captura dessa notícia em formato PDF'
+        else:
+            self.fields['set_basic_info'].label = 'Obter informações sobre essa notícia novamente'
             self.fields['fetch_archived_url'].label = 'Procurar novamente por uma versão arquivada dessa notícia no Internet Archive'
             self.fields['add_pdf_capture'].label = 'Adicionar uma nova captura de página dessa notícia em formato PDF'
 
@@ -73,12 +73,15 @@ def clean(self):
             'add_pdf_capture', False)
 
         url = cleaned_data.get('url', None)
-        # TODO: verificar  slug vazia
         slug = cleaned_data.get('slug', None)
 
-        if not set_basic_info and title == '':
-            self.add_error(
-                'title', 'Se você optou por inserir os dados manualmente, é necessário informar ao menos um título')
+        if not set_basic_info:
+            if not title:
+                self.add_error(
+                    'title', 'Se você optou por inserir os dados manualmente, é necessário informar ao menos um título')
+            if not slug:
+                self.add_error(
+                    'slug', 'Se você optou por inserir os dados manualmente, é informar um endereço')
 
         # define em campos privados do modelo quais operações adicionais o método save() deve
         # realizar
@@ -95,7 +98,7 @@ def clean(self):
                     raise ValueError()
             except ValueError:
                 self.add_error(
-                    'title', "Não foi possível inferir o título automaticamente, preencha ele manualmente.")
+                    'title', "Não foi possível determinar um título automaticamente, preencha ele manualmente.")
             except:
                 self.add_error(None,
                                "Não foi possível determinar automaticamente informações sobre esta notícia no momento, por-favor insira os dados dela manualmente.")

xram_memory/artifact/admin/forms/news.py

@@ -0,0 +1,35 @@
+from django.contrib import admin
+from filer.admin.fileadmin import FileAdmin
+from xram_memory.artifact.models import Document
+from easy_thumbnails.widgets import ImageClearableFileInput
+from easy_thumbnails.fields import ThumbnailerField
+
+
+@admin.register(Document)
+class DocumentAdmin(FileAdmin):
+    list_display = (
+        'id',
+        'folder',
+        'file',
+        'name',
+        'owner',
+        'uploaded_at',
+        'modified_at',
+        'mime_type',
+        'is_user_object',
+    )
+    list_filter = (
+        'folder',
+        'owner',
+        'uploaded_at',
+        'modified_at',
+        'is_public',
+        'is_user_object',
+    )
+    date_hierarchy = 'uploaded_at'
+    search_fields = ('name',)
+
+
+DocumentAdmin.readonly_fields = DocumentAdmin.readonly_fields + ('mime_type',)
+DocumentAdmin.fieldsets = FileAdmin.build_fieldsets(
+    extra_advanced_fields=("mime_type",))

xram_memory/artifact/admin/models/document.py

@@ -1,10 +1,9 @@
-# Generated by Django 2.1.5 on 2019-01-22 20:39
+# Generated by Django 2.1.7 on 2019-03-22 01:52
 
-from django.conf import settings
 import django.core.validators
 from django.db import migrations, models
 import django.db.models.deletion
-import xram_memory.artifact.models.documents
+import easy_thumbnails.fields
 import xram_memory.utils
 
 
@@ -13,35 +12,22 @@ class Migration(migrations.Migration):
     initial = True
 
     dependencies = [
-        migrations.swappable_dependency(settings.AUTH_USER_MODEL),
-        ('taxonomy', '0003_auto_20190121_1210'),
+        ('filer', '0010_auto_20180414_2058'),
     ]
 
     operations = [
         migrations.CreateModel(
             name='Document',
             fields=[
-                ('id', models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID')),
-                ('created_at', models.DateTimeField(auto_now_add=True, verbose_name='Criado em')),
-                ('modified_at', models.DateTimeField(auto_now=True, verbose_name='Modificado em')),
-                ('published', models.BooleanField(default=True, verbose_name='Publicado?')),
-                ('featured', models.BooleanField(default=True, verbose_name='Em destaque na página inicial?')),
-                ('title', models.CharField(blank=True, help_text='Título', max_length=255, verbose_name='Título')),
-                ('teaser', models.TextField(blank=True, help_text='Resumo ou chamada', null=True, verbose_name='Resumo ou chamada')),
-                ('slug', models.SlugField(blank=True, verbose_name='Slug')),
+                ('file_ptr', models.OneToOneField(auto_created=True, on_delete=django.db.models.deletion.CASCADE, parent_link=True, primary_key=True, serialize=False, to='filer.File')),
                 ('mime_type', models.CharField(blank=True, editable=False, help_text='Tipo do arquivo', max_length=255, verbose_name='Tipo')),
-                ('file_size', models.CharField(default='0', editable=False, help_text='Tamanho do arquivo em bytes', max_length=100, verbose_name='Tamanho')),
                 ('is_user_object', models.BooleanField(default=True, editable=False, help_text='Indica se o arquivo foi inserido diretamente por um usuário', verbose_name='Objeto criado pelo usuário?')),
-                ('file', models.FileField(upload_to=xram_memory.artifact.models.documents.get_file_path, validators=[xram_memory.utils.FileValidator(content_types=('image/jpeg', 'image/png', 'image/gif', 'image/webp', 'application/pdf'))], verbose_name='Arquivo')),
-                ('created_by', models.ForeignKey(editable=False, null=True, on_delete=django.db.models.deletion.PROTECT, related_name='document_creator', to=settings.AUTH_USER_MODEL, verbose_name='Criado por')),
-                ('keywords', models.ManyToManyField(blank=True, to='taxonomy.Keyword', verbose_name='Palavras-chave')),
-                ('modified_by', models.ForeignKey(editable=False, null=True, on_delete=django.db.models.deletion.PROTECT, related_name='document_last_modifier', to=settings.AUTH_USER_MODEL, verbose_name='Modificado por')),
-                ('subjects', models.ManyToManyField(blank=True, to='taxonomy.Subject', verbose_name='Assuntos')),
             ],
             options={
                 'verbose_name': 'Documento',
                 'verbose_name_plural': 'Documentos',
             },
+            bases=('filer.file',),
         ),
         migrations.CreateModel(
             name='News',
@@ -53,16 +39,13 @@ class Migration(migrations.Migration):
                 ('featured', models.BooleanField(default=True, verbose_name='Em destaque na página inicial?')),
                 ('title', models.CharField(blank=True, help_text='Título', max_length=255, verbose_name='Título')),
                 ('teaser', models.TextField(blank=True, help_text='Resumo ou chamada', null=True, verbose_name='Resumo ou chamada')),
-                ('slug', models.SlugField(blank=True, verbose_name='Slug')),
+                ('slug', models.SlugField(blank=True, help_text='Parte do endereço pelo qual este artefato poderá ser acessado', verbose_name='Endereço')),
                 ('url', models.URLField(help_text='Endereço original da notícia', max_length=255, unique=True, validators=[django.core.validators.URLValidator], verbose_name='Endereço')),
                 ('archived_news_url', models.URLField(blank=True, help_text="Endereço da notícia no <a href='https://archive.org/'>Archive.org</a>", max_length=255, null=True, verbose_name='Endereço no Internet Archive')),
                 ('authors', models.TextField(blank=True, help_text='Nomes dos autores, separados por vírgula', verbose_name='Autores')),
-                ('body', models.TextField(blank=True, help_text='Texto integral da notícia', verbose_name='Texto da notícia')),
+                ('body', models.TextField(blank=True, help_text='Texto integral da notícia', null=True, verbose_name='Texto da notícia')),
                 ('published_date', models.DateTimeField(blank=True, help_text='Data em que a notícia foi publicada', null=True, verbose_name='Data de publicação')),
-                ('created_by', models.ForeignKey(editable=False, null=True, on_delete=django.db.models.deletion.PROTECT, related_name='news_creator', to=settings.AUTH_USER_MODEL, verbose_name='Criado por')),
-                ('keywords', models.ManyToManyField(blank=True, to='taxonomy.Keyword', verbose_name='Palavras-chave')),
-                ('modified_by', models.ForeignKey(editable=False, null=True, on_delete=django.db.models.deletion.PROTECT, related_name='news_last_modifier', to=settings.AUTH_USER_MODEL, verbose_name='Modificado por')),
-                ('subjects', models.ManyToManyField(blank=True, to='taxonomy.Subject', verbose_name='Assuntos')),
+                ('language', models.CharField(blank=True, default='pt', max_length=2, null=True)),
             ],
             options={
                 'verbose_name': 'Notícia',
@@ -74,22 +57,38 @@ class Migration(migrations.Migration):
             fields=[
                 ('id', models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID')),
                 ('image_capture_date', models.DateTimeField(auto_now_add=True, help_text='Data desta captura', null=True, verbose_name='Data de captura')),
-                ('original_url', models.CharField(max_length=255, unique=True, verbose_name='Endereço original da imagem')),
-                ('image_document', models.OneToOneField(on_delete=django.db.models.deletion.CASCADE, to='artifact.Document', verbose_name='Documento de imagem')),
-                ('news', models.OneToOneField(null=True, on_delete=django.db.models.deletion.SET_NULL, related_name='image_capture', to='artifact.News', verbose_name='Notícia')),
+                ('original_url', models.CharField(max_length=255, verbose_name='Endereço original da imagem')),
             ],
             options={
                 'verbose_name': 'Imagem de Notícia',
                 'verbose_name_plural': 'Imagens de Notícias',
             },
         ),
+        migrations.CreateModel(
+            name='Newspaper',
+            fields=[
+                ('id', models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID')),
+                ('created_at', models.DateTimeField(auto_now_add=True, verbose_name='Criado em')),
+                ('modified_at', models.DateTimeField(auto_now=True, verbose_name='Modificado em')),
+                ('published', models.BooleanField(default=True, verbose_name='Publicado?')),
+                ('featured', models.BooleanField(default=True, verbose_name='Em destaque na página inicial?')),
+                ('title', models.CharField(blank=True, help_text='Título', max_length=255, verbose_name='Título')),
+                ('slug', models.SlugField(blank=True, help_text='Parte do endereço pelo qual este artefato poderá ser acessado', verbose_name='Endereço')),
+                ('url', models.URLField(help_text='Endereço do site', max_length=255, unique=True, validators=[django.core.validators.URLValidator], verbose_name='Endereço')),
+                ('description', models.TextField(blank=True, help_text='A descrição desse veículo/site', verbose_name='Descrição')),
+                ('logo', easy_thumbnails.fields.ThumbnailerField(blank=True, upload_to='news_sources_logos', validators=[xram_memory.utils.FileValidator(content_types=('image/jpeg', 'image/png', 'image/gif', 'image/webp'))], verbose_name='Logotipo')),
+            ],
+            options={
+                'abstract': False,
+            },
+        ),
         migrations.CreateModel(
             name='NewsPDFCapture',
             fields=[
                 ('id', models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID')),
                 ('pdf_capture_date', models.DateTimeField(auto_now_add=True, help_text='Data desta captura', null=True, verbose_name='Data de captura')),
-                ('news', models.ForeignKey(null=True, on_delete=django.db.models.deletion.SET_NULL, related_name='pdf_captures', to='artifact.News', verbose_name='Notícia')),
-                ('pdf_document', models.OneToOneField(on_delete=django.db.models.deletion.CASCADE, to='artifact.Document', verbose_name='Documento PDF')),
+                ('news', models.ForeignKey(null=True, on_delete=django.db.models.deletion.CASCADE, related_name='pdf_captures', to='artifact.News', verbose_name='Notícia')),
+                ('pdf_document', models.OneToOneField(on_delete=django.db.models.deletion.CASCADE, to='filer.File', verbose_name='Documento PDF')),
             ],
             options={
                 'verbose_name': 'Captura de Notícia em PDF',