Process 2016 Census of Population

[diegoripley]

Data appears to be at https://www12.statcan.gc.ca/census-recensement/2016/dp-pd/prof/details/download-telecharger/comp/page_dl-tc.cfm?Lang=E

[diegoripley]

This is what the final Parquet file is going to look like:

country_dguid	gnr	gnr_lf	data_quality_flag	total_1	total_symbol_1	male_1	male_symbol_1	female_1	female_symbol_1	total_2247	total_symbol_2247	male_2247	male_symbol_2247	female_2247	female_symbol_2247
2016A000011124	4	5.1	20000	35151728			...		...	305		145		155

TODO

Add Symbol Columns and Add Parquet English and French Comment to Symbol Columns

Symbol	Definition
..	not available for a specific reference period
...	not applicable
F	too unreliable to be published
x	suppressed to meet the confidentiality requirements of the Statistics Act

Symbole	Définition
..	indisponible pour une période de référence précise
...	n'ayant pas lieu de figurer
F	trop peu fiable pour être publié
x	confidentiel en vertu des dispositions de la Loi sur la statistique

Calculate _dguid Column Value

Calculate the _dguid column values by using the GEO_CODE (POR) column and the DGUID rules.

Contact StatCan About DIM* Column Values

Contact StatCan about the DIM* column values (see first image below). Unlike other Census years (see second image below), it does not demonstrate when the other characteristic IDs are children/parents of others.

Add English and French Comment to data_quality_flag Parquet Column

The data_quality_flag Parquet column should have an English and French comment added to it. For the English comment, add the following:

2016 Census: Data quality flags and descriptions

Long-form data quality flags for place of residence

Digit description

First (0XXXX): Incomplete enumeration flag
Second (X0XXX): Short-form data quality flag
Third (XX0XX): Short-form income data quality flag
Fourth (XXX0X): Long-form data quality flag
Fifth (XXXX0): Long-form income data quality flag

Flag description

Incomplete enumeration flag

0 = Default. Not applicable.
1 = Incompletely enumerated Indian reserve or Indian settlement (suppressed).
2 = Excludes census data for one or more incompletely enumerated Indian reserves or Indian settlements.

Short-form data quality flag

0 = Default. Data quality index showing a short-form global non-response rate lower than 10%.
1 = Data quality index showing a short-form global non-response rate higher than or equal to 10%, but lower than 20%.
2 = Data quality index showing a short-form global non-response rate higher than or equal to 20%, but lower than 30%.
3 = Data quality index showing a short-form global non-response rate higher than or equal to 30%, but lower than 40%.
4 = Data quality index showing a short-form global non-response rate higher than or equal to 40%, but lower than 50%.
5 = Data quality index showing a short-form global non-response rate higher than or equal to 50% (suppressed).
9 = Short-form data suppressed to meet the confidentiality requirements of the Statistics Act.

Short-form income data quality flag

0 = Default. Data quality index showing a short-form income non-response rate lower than 10%.
1 = Data quality index showing a short-form income non-response rate higher than or equal to 10%, but lower than 20%.
2 = Data quality index showing a short-form income non-response rate higher than or equal to 20%, but lower than 30%.
3 = Data quality index showing a short-form income non-response rate higher than or equal to 30%.
9 = Short-form income data suppressed to meet the confidentiality requirements of the Statistics Act.

Long-form data quality flag

0 = Default. Data quality index showing a long-form global non-response rate lower than 10%.
1 = Data quality index showing a long-form global non-response rate higher than or equal to 10%, but lower than 20%.
2 = Data quality index showing a long-form global non-response rate higher than or equal to 20%, but lower than 30%.
3 = Data quality index showing a long-form global non-response rate higher than or equal to 30%, but lower than 40%.
4 = Data quality index showing a long-form global non-response rate higher than or equal to 40%, but lower than 50%.
5 = Data quality index showing a long-form global non-response rate higher than or equal to 50% (suppressed).
9 = Long-form data suppressed to meet the confidentiality requirements of the Statistics Act.

Long-form income data quality flag

0 = Default. Data quality index showing a long-form income non-response rate lower than 10%.
1 = Data quality index showing a long-form income non-response rate higher than or equal to 10%, but lower than 20%.
2 = Data quality index showing a long-form income non-response rate higher than or equal to 20%, but lower than 30%.
3 = Data quality index showing a long-form income non-response rate higher than or equal to 30%.
9 = Long-form income data suppressed to meet the confidentiality requirements of the Statistics Act.

For the French comment, add the following:

Recensement de 2016 : Indicateurs relatifs à la qualité des données et leur description

Indicateurs relatifs à la qualité des données sur le lieu de résidence pour le questionnaire détaillé.

Description des caractères numériques

Premier (0XXXX) : Indicateur de dénombrement partiel
Deuxième (X0XXX) : Indicateur relatif à la qualité des données pour le questionnaire abrégé
Troisième (XX0XX) : Indicateur relatif à la qualité des données sur le revenu pour le questionnaire abrégé
Quatrième (XXX0X) : Indicateur relatif à la qualité des données pour le questionnaire détaillé
Cinquième (XXXX0) : Indicateur relatif à la qualité des données sur le revenu pour le questionnaire détaillé

Description des indicateurs

Indicateur de dénombrement partiel

0 = Valeur implicite. Sans objet.
1 = Réserve indienne ou établissement indien partiellement dénombré (supprimé).
2 = Ne comprend pas les données du recensement pour une ou plusieurs réserves indiennes ou établissements indiens partiellement dénombrés.

Indicateur relatif à la qualité des données pour le questionnaire abrégé
0 = Valeur implicite. Indice de la qualité des données indiquant, pour le questionnaire abrégé, un taux global de non-réponse inférieur à 10 %.
1 = Indice de la qualité des données indiquant, pour le questionnaire abrégé, un taux global de non-réponse supérieur ou égal à 10 %, mais inférieur à 20 %.
2 = Indice de la qualité des données indiquant, pour le questionnaire abrégé, un taux global de non-réponse supérieur ou égal à 20 %, mais inférieur à 30 %.
3 = Indice de la qualité des données indiquant, pour le questionnaire abrégé, un taux global de non-réponse supérieur ou égal à 30 %, mais inférieur à 40 %.
4 = Indice de la qualité des données indiquant, pour le questionnaire abrégé, un taux global de non-réponse supérieur ou égal à 40 %, mais inférieur à 50 %.
5 = Indice de la qualité des données indiquant, pour le questionnaire abrégé, un taux global de non-réponse supérieur ou égal à 50 % (supprimé).
9 = Confidentiel en vertu des dispositions de la Loi sur la statistique pour les données relatives au questionnaire abrégé.

Indicateur relatif à la qualité des données sur le revenu pour le questionnaire abrégé.

0 = Valeur implicite. Indice de la qualité des données sur le revenu indiquant, pour le questionnaire abrégé, un taux de non-réponse inférieur à 10 %.
1 = Indice de la qualité des données sur le revenu indiquant, pour le questionnaire abrégé, un taux de non-réponse supérieur ou égal à 10 %, mais inférieur à 20 %.
2 = Indice de la qualité des données sur le revenu indiquant, pour le questionnaire abrégé, un taux de non-réponse supérieur ou égal à 20 %, mais inférieur à 30 %.
3 = Indice de la qualité des données sur le revenu indiquant, pour le questionnaire abrégé, un taux de non-réponse supérieur ou égal à 30 %.
9 = Confidentiel en vertu des dispositions de la Loi sur la statistique pour les données relatives au revenu du questionnaire abrégé.

Indicateur relatif à la qualité des données pour le questionnaire détaillé

0 = Valeur implicite. Indice de la qualité des données indiquant, pour le questionnaire détaillé, un taux global de non-réponse inférieur à 10 %.
1 = Indice de la qualité des données indiquant, pour le questionnaire détaillé, un taux global de non-réponse supérieur ou égal à 10 %, mais inférieur à 20 %.
2 = Indice de la qualité des données indiquant, pour le questionnaire détaillé, un taux global de non-réponse supérieur ou égal à 20 %, mais inférieur à 30 %.
3 = Indice de la qualité des données indiquant, pour le questionnaire détaillé, un taux global de non-réponse supérieur ou égal à 30 %, mais inférieur à 40 %.
4 = Indice de la qualité des données indiquant, pour le questionnaire détaillé, un taux global de non-réponse supérieur ou égal à 40 %, mais inférieur à 50 %.
5 = Indice de la qualité des données indiquant, pour le questionnaire détaillé, un taux global de non-réponse supérieur ou égal à 50 % (supprimé).
9 = Confidentiel en vertu des dispositions de la Loi sur la statistique pour les données relatives au questionnaire détaillé.

Indicateur relatif à la qualité des données sur le revenu pour le questionnaire détaillé

0 = Valeur implicite. Indice de la qualité des données sur le revenu indiquant, pour le questionnaire détaillé, un taux de non-réponse inférieur à 10 %.
1 = Indice de la qualité des données sur le revenu indiquant, pour le questionnaire détaillé, un taux de non-réponse supérieur ou égal à 10 %, mais inférieur à 20 %.
2 = Indice de la qualité des données sur le revenu indiquant, pour le questionnaire détaillé, un taux de non-réponse supérieur ou égal à 20 %, mais inférieur à 30 %.
3 = Indice de la qualité des données sur le revenu indiquant, pour le questionnaire détaillé, un taux de non-réponse supérieur ou égal à 30 %.
9 = Confidentiel en vertu des dispositions de la Loi sur la statistique pour les données relatives au revenu du questionnaire détaillé.