Process 2011 Census of Population

[diegoripley]

Data available as CSV at https://www12.statcan.gc.ca/census-recensement/2011/dp-pd/prof/index.cfm?Lang=E

The CSV or TAB for 2011 only seems to work on Chrome, it doesn't load anything in Firefox.

[diegoripley]

This is what the final Parquet file is going to look like:

pop_ctr_dguid	total_8	male_8	female_8	total_944	male_944	female_944
2011S05100046	10635	5230	5405	0	0	0

Data Quality Flag

The data quality flag seems to be in the *-DQ.CSV file.

This is the English comment on the Parquet column:

• Data quality flags for place of residence
  --
  DIGIT DESCRIPTION
  1st (0XXXX) Incomplete enumeration flag
  2nd (X0XXX) Data quality flag
  3rd (XX0XX) Population and dwelling counts error flag
  4th (XXX0X) Not applicable
  5th (XXXX0) 2006 adjusted population flag
   
  FLAG DESCRIPTION
  Incomplete enumeration flag
  0 = Default.
  1 = Incompletely enumerated Indian reserve or Indian settlement (suppressed).
  2 = Excludes census data for one or more incompletely enumerated Indian reserves or Indian settlements.
   
  Data quality flag
  0 = Default.
  1 = Data quality index showing for the short census questionnaire (100% data) a global non response rate higher than or equal to 5% but lower than 10%.
  2 = Data quality index showing for the short census questionnaire (100% data) a global non response rate higher than or equal to 10% but lower than 25%.
  3 = Data quality index showing for the short census questionnaire (100% data) a global non response rate higher than or equal to 25% (suppressed).
   
  Population and dwelling counts error flag
  0 = Default.
  1 = An error exists in the 2011 population and dwelling counts for this area. For further details please refer to the population and dwelling counts data section of the 'Notes' file.
  2 = In 2006 the population and/or dwelling counts for this census subdivision were found to be incorrect. Since it is not possible to make changes to the 2006 Census data presented in these tables the 2006 data should be used with caution. For further details please refer to the population and dwelling counts data section of the 'Notes' file.
  3 = Both the 2011 and 2006 population and/or dwelling counts for this area were found to be incorrect. Since it is not possible to make changes to the census data presented in these tables these counts should be used with caution. For further details please refer to the population and dwelling counts data section of the 'Notes' file.
   
  Not Applicable
  0 = Default.
   
  2006 adjusted population flag
  0 = Default.
  1 = 2006 adjusted count; most of these are the result of boundary changes.
   
  Notes
  (1) The data quality flag does not apply to the population and dwelling counts.

This is the French comment on the Parquet column:

• Indicateurs relatifs à la qualité des données sur le lieu de résidence
  CARACTÈRE NUMÉRIQUE DESCRIPTION
  1er (0XXXX) Indicateur de dénombrement partiel
  2e (X0XXX) Indicateur relatif à la qualité des données
  3e (XX0XX) Indicateur d'erreur dans les chiffres de population et des logements
  4e (XXX0X) Sans objet
  5e (XXXX0) Indicateur de rajustement des chiffres de population de 2006

DESCRIPTION DES INDICATEURS
Indicateur de dénombrement partiel
0 = Valeur implicite.
1 = Réserve indienne ou établissement indien partiellement dénombré (supprimées).
2 = Ne comprend pas les données du recensement pour une ou plusieurs réserves indiennes ou établissements indiens partiellement dénombrés.

Indicateur relatif à la qualité des données
0 = Valeur implicite.
1 = Indice de la qualité des données indiquant pour le questionnaire du recensement abrégé (données intégrales [100 %]) un taux global de non-réponse supérieur ou égal à 5 % mais inférieur à 10 %.
2 = Indice de la qualité des données indiquant pour le questionnaire du recensement abrégé (données intégrales [100 %]) un taux global de non-réponse supérieur ou égal à 10 % mais inférieur à 25 %.
3 = Indice de la qualité des données indiquant pour le questionnaire du recensement abrégé (données intégrales [100 %]) un taux global de non-réponse supérieur ou égal à 25 % (supprimées).

Indicateur d'erreur dans les chiffres de population et des logements
0 = Valeur implicite.
1 = Il y a une erreur dans les chiffres de population et des logements de 2011 pour cette région. Pour obtenir de plus amples renseignements veuillez consulter la section des données sur les chiffres de population et des logements du fichier « Notes ».
2 = En 2006 les chiffres de population et/ou des logements sont erronés pour cette subdivision de recensement. Étant donné qu'il n'est pas possible d'apporter des changements aux données de 2006 présentées dans ces tableaux les données de 2006 doivent être utilisées avec prudence. Pour obtenir de plus amples renseignements veuillez consulter la section des données sur les chiffres de population et des logements du fichier « Notes ».
3 = Les chiffres de population et/ou des logements de 2011 et de 2006 pour cette région sont erronés. Étant donné qu'il n'est pas possible d'apporter des changements aux données du recensement présentées dans ces tableaux ces données doivent être utilisées avec prudence. Pour obtenir de plus amples renseignements veuillez consulter la section des données sur les chiffres de population et des logements du fichier « Notes ».

Sans Objet
0 = Valeur implicite.

Indicateur de rajustement des chiffres de population de 2006
0 = Valeur implicite.
1 = Chiffre de 2006 rajusté; la plupart de ces rajustements sont le résultat de modifications des limites.

Nota
(1) Les indicateurs de la qualité des données ne s'appliquent pas aux chiffres de population et des logements.

Add Symbol Column and Symbol Comment on Parquet Column

Symbol	Definition
A	adjusted figure due to boundary change
E	use with caution
x	area and data suppression
+	excludes census data for one or more incompletely enumerated Indian reserves and Indian settlements
..	not available for a specific reference period
...	not applicable

I am noticing that there are values outside of these data ranges, for example, the Montreal CMA has a value of A+.