Skip to content

Colunas de tipo inteiro (e outros) devem poder ser buscáveis #492

@turicas

Description

@turicas

Hoje o trigger que popula o vetor search_data só funciona se apenas colunas de texto (TextField e CharField) estiverem como searchable = True; se alguma coluna IntegerField (ou de outro tipo) estiver habilitada para busca, temos um erro durante a importação dos dados:

$ python manage.py import_data --no-input socios-brasil cnae_cnpj data/output/cnae_cnpj.csv.gz
Importing data to new table data_sociosbrasil_cnaecnpj_eujzfrcz
Importing data: 2.53Gbytes [01:07, 37.3Mbytes/s]
ERROR: ERROR:  column "cnae" is not of a character type
CONTEXT:  COPY data_sociosbrasil_cnaecnpj_eujzfrcz, line 2: "00000000000191,6422100,t"

Precisamos alterar o trigger para que ele consiga também indexar colunas não textuais. Essa resposta no stackoverflow parece dar conta do recado (teríamos que criar uma função específica para cada Table), que parece ser baseada na documentação do PostgreSQL (exemplo no fim da seção "12.4.3. Triggers for Automatic Updates").

Exemplo de arquivo para ser importado (cnae_cnpj.csv):

cnpj,cnae,primaria                                                                                                    
00000000000191,6422100,t                                                                                              
00000000000272,6421200,t                                                                                              
00000000000353,6422100,t                                                                                              
00000000000434,6422100,t                                                                                              
00000000000515,6421200,t                                                                                              
00000000000604,6422100,t                                                                                              
00000000000787,6422100,t                                   
00000000000868,6422100,t                                                                                              
00000000000949,6421200,t   

Exemplo de fields.csv (para ser importado com python manage.py update_fields_from_csv):

dataset_slug,description,searchable,frontend_filter,has_choices,link_template,order,null,name,options,obfuscate,show,show_on_frontend,table_name,title,type,version_name
socios-brasil,CNPJ da empresa,True,True,False,/especiais/documento/{{ cnpj|encrypt_if_needed }},1,False,cnpj,"{""max_length"": 14}",False,True,True,cnae_cnpj,CNPJ,string,2020
socios-brasil,CNAE associada à empresa,True,True,False,,2,False,cnae,{},False,True,True,cnae_cnpj,CNAE,integer,2020
socios-brasil,Indicativo se a CNAE é primária (fiscal) para essa empresa,False,True,True,,3,False,primaria,{},False,True,True,cnae_cnpj,CNAE é primária (fiscal)?,bool,2020

Para reproduzir:

python manage.py update_fields_from_csv fields.csv
python manage.py import_data --no-input socios-brasil cnae_cnpj cnae_cnpj.csv

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions