Desarrollo

.gitignore

@@ -77,6 +77,10 @@ celerybeat-schedule
 
 # dotenv
 .env
+.gems/
+.ruby-version
+.rbenv-gemsets
+
 
 # virtualenv
 venv/
@@ -87,3 +91,17 @@ ENV/
 
 # Rope project settings
 .ropeproject
+
+.vscode/
+.idea/
+.vagrant/
+.rbenv-gemset
+wrks/*
+
+docs/assets/\.DS_Store
+
+docs/assets/images/\.DS_Store
+
+docs/partials/\.DS_Store
+
+docs/partials/language/\.DS_Store

.travis.yml

@@ -0,0 +1,81 @@
+sudo: required
+env:
+  DOCKER_COMPOSE_VERSION: 1.13.0
+
+addons:
+  apt:
+    packages:
+    - net-tools
+    - openvpn
+
+services:
+- docker
+
+before_install:
+- docker info
+- sudo apt-get remove docker docker-engine
+- sudo apt-get update
+- sudo apt-get install linux-image-extra-virtual apt-transport-https ca-certificates curl software-properties-common npm
+- curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
+- sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
+- sudo apt-get update
+- sudo apt-get install docker-ce
+- docker info
+- sudo rm /usr/local/bin/docker-compose
+- curl -L https://github.com/docker/compose/releases/download/${DOCKER_COMPOSE_VERSION}/docker-compose-`uname -s`-`uname -m` > docker-compose
+- chmod +x docker-compose
+- sudo mv docker-compose /usr/local/bin
+- sudo pip install --upgrade pip
+
+before_script:
+- sudo pip install nose
+- sudo apt-get install openssl
+- sudo mkdir -p /tmp/ssl
+- sudo openssl req -x509 -nodes -days 365 -newkey rsa:2048 -subj '/CN=localhost/O=My Company Name LTD./C=AR' -keyout /tmp/ssl/andino.key -out /tmp/ssl/andino.crt
+- echo "Choosing between PR branch ($TRAVIS_PULL_REQUEST_BRANCH), tag version ($TRAVIS_TAG) and branch ($TRAVIS_BRANCH)"
+- if ! [ -z $TRAVIS_PULL_REQUEST_BRANCH ] ; then BRANCH_TO_USE=$TRAVIS_PULL_REQUEST_BRANCH && echo "Using PR branch" ; elif ! [ -z $TRAVIS_TAG ] ; then BRANCH_TO_USE=$TRAVIS_TAG && echo "Using tag" ; else BRANCH_TO_USE=$TRAVIS_BRANCH && echo "Using branch" ; fi
+- echo "Building portal with branch or tag $BRANCH_TO_USE"
+- docker build -t datosgobar/portal-andino:$BRANCH_TO_USE .
+- cd install/
+- [email protected]
+- HOST=localhost
+- DB_USER=ckan
+- DB_PASS=ckan
+- STORE_USER=ckan_store
+- STORE_PASS=ckan_store
+
+script:
+- set -e
+- sudo python ./install.py --error_email "$EMAIL" --site_host="$HOST" --database_user="$DB_USER" --database_password="$DB_PASS" --datastore_user="$STORE_USER" --datastore_password="$STORE_PASS" --andino_version=$BRANCH_TO_USE --branch=$BRANCH_TO_USE
+- cd -
+- cd tests/
+- nosetests tests_portal_with_base_config.py
+- cd -
+- cd install/
+- sudo python ./update.py --andino_version=$BRANCH_TO_USE --branch=$BRANCH_TO_USE --site_host=localhost --ssl_key_path="/tmp/ssl/andino.key" --ssl_crt_path="/tmp/ssl/andino.crt" --nginx_ssl --nginx_ssl_port="7777" --nginx-extended-cache --file_size_limit=1024
+- cd -
+- docker ps
+- docker exec -it andino-nginx bash -c 'ls $NGINX_SSL_CONFIG_DATA'
+- docker exec -it andino-nginx bash -c 'echo $NGINX_CONFIG_FILE'
+- while [[ "200" != $(echo $(curl -k -s -o /dev/null -w "%{http_code}" "https://localhost:7777")) ]]; do sleep 10s ; echo $(curl -k -s -o /dev/null -w "%{http_code}" "https://localhost:7777") ; done
+- cd tests/
+- sudo nosetests configurations/ globals/
+- cd -
+- docker kill $(docker ps -q)
+- env PORTAL_VERSION="${TRAVIS_TAG:-$TRAVIS_COMMIT}" docker-compose -f dev.yml up -d --build portal
+
+deploy:
+- provider: script
+  skip_cleanup: true
+  script: "scripts/run_deploy.sh 'release-$TRAVIS_TAG' 'andino-stg;datosgobar-stg'"
+  on:
+    tags: true
+- provider: script
+  skip_cleanup: true
+  script: "scripts/run_deploy.sh latest 'andino-dev;datosgobar-dev'"
+  on:
+    branch: master
+
+git:
+  depth:
+     1

Dockerfile

@@ -0,0 +1,18 @@
+# Si se lleva a cabo un docker build de portal-andino sin el parámetro "--build-arg IMAGE_VERSION={versión de portal-base}, se usa el ARG IMAGE_VERSION por default
+ARG IMAGE_VERSION=release-2.6.3
+
+
+FROM datosgobar/portal-andino:$IMAGE_VERSION
+MAINTAINER Gonzalo Varela<[email protected]>
+
+WORKDIR /portal
+
+# portal-gcba-theme
+RUN . /usr/lib/ckan/default/bin/activate \
+&& $CKAN_HOME/bin/pip install -e git+https://github.com/datosgcba/ckanext-gcbaandinotheme.git@9fb3077af30c91a5f1223b92ea1a50bcb085a9a7#egg=ckanext-gcbaandinotheme
+
+# persistir la configuracion de ambiente y de portal-gcba-theme
+COPY install/db-ext/i18ln/* /usr/lib/ckan/default/src/ckan/ckan/public/base/i18n/ 
+COPY install/db-ext/init.sh /etc/ckan_init.d/init.sh 
+COPY install/db-ext/start_ckan.sh /etc/ckan_init.d/start_ckan.sh 
+COPY install/db-ext/production.ini /etc/ckan/default/production.ini 

HISTORY.md

@@ -0,0 +1,167 @@
+# Historial de versiones - Andino
+
+## Indice
+
+- [2.6.0](#260---2019-09-03)
+- [2.5.6](#256---2019-04-09)
+- [2.5.5](#255---2019-02-20)
+- [2.5](#25---actual)
+- [2.4](#24---2018-06-14)
+- [2.3](#23---2018-02-21)
+- [2.2](#22---2018-01-09)
+- [2.1](#21---2017-07-13)
+- [2.0](#20---2017-07-03)
+
+
+## 2.6.0 - 2019-09-03
+
+* Actualización a CKAN 2.7.6.
+* Generación automática de un id default para series de tiempo en el formulario de recursos.
+* Implementación de un JSON con los valores a utilizar en el campo _Unidades de medida_.
+* Modificación al script de actualización para obligar al usuario a que haya un sitehost definido.
+* Se agregó "blog" como red social.
+* Actualización del funcionamiento de la búsqueda de datasets destacados.
+* Actualización del diseño de la pantalla de login.
+* Fix del funcionamiento del botón "VOLVER" en el formulario de creación de recursos.
+* Implementación del [plugin ckanext-security](https://github.com/data-govt-nz/ckanext-security).
+* Implementación del [plugin ckanext-xloader](https://github.com/ckan/ckanext-xloader).
+
+
+## 2.5.6 - 2019-04-09
+
+* Mejora de performance en la página de búsqueda de datasets.
+* Implementación de persistencia de cronjobs en la actualización de instancias de Andino.
+* Mejoras en la previsualización de recursos. 
+* Actualización del cronjob de la subida automática diaria de recursos al Datastore para que se cree también una vista.
+* Actualización del formulario de datasets para poder guardar un dataset en borrador sin necesidad de crear un recurso.
+* Implementación de un archivo JSON donde se guardan las licencias a utilizar en el portal, y de un campo en el archivo 
+de configuración donde se especifica su path.
+* Parametrización del tamaño máximo de archivos para recursos en la instalación y actualización de instancias de Andino.
+* Parametrización del nombre de dominio en la actualización de instancias de Andino.
+* Actualización de un header de la configuración SSL de Nginx (X-Forwarded-Protocol -> X-Forwarded-Proto).
+
+
+## 2.5.5 - 2019-02-20
+
+* Implementación de un comando de CKAN que toma todos los recursos locales del portal que cumplan determinadas 	
+condiciones e intenta resubirlos para recuperar los archivos perdidos en versiones anteriores de Andino por el problema 	
+mencionado en el item anterior.	
+* Se eliminaron los plugins `harvest` y `datajson` de la configuración de Andino y se creó una migración para lograr 	
+tal efecto durante la actualización de una instancia debido a posibles problemas al instalar una nueva.   	
+* Correción del comportamiento correspondiente al botón que permite seleccionar y subir un archivo para un recurso en 	
+el formulario de creación/edición de recursos.
+* Utilización de un criterio para decidir en qué casos especificar (o no) el número de puerto de Andino en el archivo 
+de configuración (se evita la especificación de los puertos default: 80 para HTTP y 443 para HTTPS).
+* Implementación de estrategia para decidir la versión a utilizar de portal-base en el Dockerfile de portal-andino; se 
+permite especificar un nombre al realizar un `docker build` y, en caso de no especificar ninguno, se utilizará una 
+versión default.
+* Implementación de comandos en el archivo `dev.sh` para instalar y actualizar una instancia de Andino con fines de 
+desarrollo.
+* Aumento en el tamaño del nombre de la versión mostrada en la interfaz de Andino.
+* Actualización del plugin series-tiempo-ar-explorer a 2.0.2.
+
+
+## 2.5 - Actual
+
+* Corrección del formulario de creación/edición de recursos para mantener guardado un archivo al editar un recurso sin 
+modificar el campo correspondiente.
+* Implementación de sección dentro de la configuración del portal en la interfaz para activar el croneo de la subida 
+automática diaria de recursos al Datastore mediante un comando de Datapusher. 
+* Creación del campo _"Nombre del enlace"_ en las secciones personalizadas del Acerca para que el portal utilice como URL.
+* Modificación de la URL definida para el botón "VOLVER" en el formulario de creación/edición de recursos.
+* Se implementó el reinicio de los workers de supervisor al instalar o actualizar Andino.
+* Modificación en el guardado del campo `ckan.site_url` en el archivo de configuración que especifica el schema y el 
+número de puerto de la URL del portal durante su instalación y actualización.
+* Documentación de comando de Datapusher para subir todos los recursos al Datastore.
+* Testeo de instalación y actualización de Andino durante los builds de Travis.
+* Utilización de GitHub Webhooks para el mecanismo de deploy.
+* Implementación de secciones dentro de la configuración del portal en la interfaz para activar la integración con 
+Google Dataset Search y definir el id de Google Tag Manager.
+* Implementación de certificados SSL en Andino mediante configuraciones en el contenedor de Nginx que corre de forma 
+paralela al contenedor del portal (la implementación anterior queda deprecada).
+* Reinicio de Nginx luego de instalar o actualizar Andino; luego, se espera hasta que el contenedor responda u ocurran 
+5 minutos.
+* Implementación del explorador de series de tiempo en Andino.
+* Creación de suite de tests para portal-andino-theme (datasets, recursos, data.json, configuraciones varias).
+* Se agrega LinkedIn como red social en la configuración del portal.
+* Optimización del manejo y búsqueda en la pantalla de organizaciones.
+* Modificación en la pantalla de organizaciones que le cambia el título a las suborganizaciones de texto puro a una URL.
+* Implementación del plugin `dcat`.
+* Creación de plugin template que sirva como base para añadir funcionalidades a Andino.
+* Corrección de visibilidad del campo _"Nombre del archivo"_ en el formulario de creación/edición de recursos.
+* Corrección de visibilidad del botón que limpia la URL de un recurso.
+* Corrección de visibilidad de la descripción de cada dataset en la pantalla de datasets para casos en los que existan 
+varias líneas de texto.
+* Especificación del timezone en la instalación de Andino.
+* Implementación de caché configurable para el portal.
+* Modificación en la pantalla de inicio de sesión para que aparezca un error si las credenciales son incorrectas en 
+lugar de redirigir a la home sin aviso alguno.
+* Documentación de uso del plugin de CORS para posibilitar la navegación en Andino utilizando la IP sin que existan 
+errores de Javascript.
+* Guardado de información de datasets que se pierde en el proceso de federación.
+* Se agrega la licencia _Creative Commons Attribution 4.0_ y se la utiliza como default.
+* Generación del `data.json` y `catalog.xlsx` al instalar Andino.
+
+
+## 2.4 - 2018-06-14
+
+* Migración a la versión 2.7.4 de CKAN.
+* Implementación de hook para limpieza de la caché
+* Implementación del servicio `supervisor` para la utilización de workers que lleven a cabo tareas asincrónicas.
+* Implementación de lógica para la creación/actualización del `data.json` y `catalog.xlsx` dentro de 
+portal-andino-theme (el plugin ckanext-datajsonar queda deprecado) mediante el uso de los workers de supervisor y 
+tareas de RQ.
+  * La regeneración de dichos archivos se ve disparada ante cada cambio en los metadatos del portal, sus datasets, 
+  recursos, o temas.
+* Parametrización en el archivo de configuración para la opacidad de la portada de Andino (`andino.background_opacity`).
+* Actualización de validaciones para los metadatos de recursos para evitar errores durante la carga.
+* Implementación de certificados SSL mediante un contenedor de Nginx que corre en el host de Andino.
+* Mejoras en la visualización de los botones del header del portal.
+* Implementación de la sección _"Acerca"_ en la configuración del portal.
+  * Nueva funcionalidad: creación de secciones personalizadas.
+* Implementación de la sección _"APIs"_ (landing de APIs) en la configuración del portal.
+  * La landing contendrá todos los recursos de tipo API.
+* Aumento de la robustez de la búsqueda de información perteneciente a datasets y recursos en los templates del portal.
+* Se vuelve a permitir la edición manual del campo _"URL"_ de un recurso en el formulario de creación.
+* Utilización de un archivo de configuración guardado en Redis para evitar problemas cuando los procesos de Apache 
+necesitan leer la configuración del portal.
+* Parametrización del _from_ de los mails enviados por Andino.
+* Mejoras en la visualización de la tabla de metadatos mostrada en la pantalla de recursos.
+
+
+## 2.3 - 2018-02-21
+
+* Correcciones en el guardado de campos en el `data.json`.
+* Correcciones en la pantalla de visualización de datasets y recursos.
+* Creación de una tabla que muestra los metadatos de un recurso en su pantalla de visualización.
+* Agregado de campos faltantes en los datasets, recursos y los metadatos del portal (dentro de su configuración en la 
+interfaz).
+* Implementación de la creación de un archivo Excel con los datos del catálogo (`catalog.xlsx`).
+* Corrección de error provocado al intentar borrar recursos no encontrados en el Datastore.
+* Modificación en el campo _"Página de referencia"_ para que el valor se genere automáticamente.
+* Correcciones en los botones de la página de vistas de los recursos.
+
+
+## 2.2 - 2018-01-09
+
+* Validaciones para campos pertenecientes a la configuración del portal, datasets y recursos.
+* Modificación del formulario de creación/edición de recursos para que no se pueda guardar un recurso sin título.
+
+
+## 2.1 - 2017-07-13
+
+* Integración del plugin de Google Analytics.
+* Corrección de errores al intentar ingresar al formulario de edición de datasets.
+
+
+## 2.0 - 2017-07-03
+
+* Implementación del borrado físico de datasets, recursos, organizaciones y temas.
+* Validaciones para campos de tipo texto en formularios.
+* Implementación del borrado de datasets en borrador.
+* Visualización de la versión del plugin en la interfaz.
+* Mejoras en las traducciones para la interfaz.
+* Corrección de la pérdida de la configuración correspondiente al portal al reiniciar Apache (se guardan los datos en 
+una variable de Pylons en lugar de utilizar variables de entorno).
+* Parametrización de los puertos de Nginx y del Datastore en el host durante la instalación de Andino.
+* Generación de imágenes de Andino desde Travis realizadas sólo si el build fue terminado con éxito.

Makefile

@@ -0,0 +1,28 @@
+SHELL = bash
+
+.PHONY: docs servedocs doctoc
+
+servedocs:
+	mkdocs serve
+
+mkdocsdocs:
+	mkdocs build
+	rsync -vau --remove-source-files site/ docs/
+	rm -rf site
+
+docs: mkdocsdocs
+
+doctoc: ## generate table of contents, doctoc command line tool required
+        ## https://github.com/thlorenz/doctoc
+	doctoc --maxlevel 3 --gitlab --title "## Indice" docs/
+	find docs/ -name "*.md" -exec bash fix_github_links.sh {} \;
+
+pdf:
+	mkdocs_datosgobar md2pdf mkdocs.yml docs/portal-andino-docs.pdf
+
+
+
+
+
+
+