Add more columns to processed 2021 Census of Population file and rename characteristic columns

[diegoripley]

Currently, the 2021 Census of Population file looks like this, for 2631 characteristics.

cd_dguid	count_total_9	count_men_9	count_women_9
2021A00031001	38295	19610	18685
2021A00031002	2190	1145	1045
2021A00031003	1470	735	735

More Concise Column Names

We want to now rename the columns to be more concise, as such

cd_dguid	total_9	men_9	women_9
2021A00031001	38295	19610	18685
2021A00031002	2190	1145	1045
2021A00031003	1470	735	735

Add Confidence Interval Values for 25% Sampled Data

country_dguid	total_128	low_ci_total_128	high_ci_total_128	men_128	low_ci_men_128	high_ci_men_128	women_128	low_ci_women_128	high_ci_women_128
2021A000011124	54450	54367	54533	62650	62487	62813	46560	46508	46612

Add Total Non-Response Rate for Short Form and Long-form Census

pr_dguid	tnr_sf	tnr_lf
2021A000235	3.1	4.3

Add Data Quality Flag

pr_dguid	data_quality_flag
2021A000235	20000

Must add English and French column comments to the data_quality_flag Parquet column. For example, for the English comment, add the following:

2021 Census: Data quality flags and descriptions

Digit description

First (0XXXX): Incomplete enumeration flag
Second (X0XXX): Short-form data quality flag.
Third (XX0XX): Short-form income confidentiality suppression flag.
Fourth (XXX0X): Long-form data quality flag
Fifth (XXXX0): Long-form income confidentiality suppression flag

Flag description

Incomplete enumeration flag
0 Default. Not applicable.
1 Incompletely enumerated reserve or settlement (suppressed).
2 Excludes census data for one or more incompletely enumerated reserves or settlements.

Short-form data quality flag
0 Default. Data quality index showing a short-form total non-response rate lower than 10%.
1 Data quality index showing a short-form total non-response rate higher than or equal to 10%, but lower than 20%.
2 Data quality index showing a short-form total non-response rate higher than or equal to 20%, but lower than 30%.
3 Data quality index showing a short-form total non-response rate higher than or equal to 30%, but lower than 40%.
4 Data quality index showing a short-form total non-response rate higher than or equal to 40%, but lower than 50%.
5 Data quality index showing a short-form total non-response rate higher than or equal to 50% (use with caution).
9 Short-form data suppressed to meet the confidentiality requirements of the Statistics Act.

Short-form income confidentiality suppression flag
0 Default. Short-form income data not suppressed.
9 Short-form income data suppressed to meet the confidentiality requirements of the Statistics Act.

Long-form data quality flag
0 Default. Data quality index showing a long-form total non-response rate lower than 10%.
1 Data quality index showing a long-form total non-response rate higher than or equal to 10%, but lower than 20%.
2 Data quality index showing a long-form total non-response rate higher than or equal to 20%, but lower than 30%.
3 Data quality index showing a long-form total non-response rate higher than or equal to 30%, but lower than 40%.
4 Data quality index showing a long-form total non-response rate higher than or equal to 40%, but lower than 50%.
5 Data quality index showing a long-form total non-response rate higher than or equal to 50% (use with caution).
9 Long-form data suppressed to meet the confidentiality requirements of the Statistics Act.

Long-form income confidentiality suppression flag
0 Default. Long-form income data not suppressed.
9 Long-form income data suppressed to meet the confidentiality requirements of the Statistics Act.

And for the French comment:

Recensement de 2021 : Indicateurs relatifs à la qualité des données et leur description

Description des caractères numériques

Premier (0XXXX) : Indicateur de dénombrement partiel
Deuxième (X0XXX) : Indicateur relatif à la qualité des données pour le questionnaire abrégé.
Troisième (XX0XX) : Indicateur relatif à la suppression liée à la confidentialité des données sur le revenu pour le questionnaire abrégé.
Quatrième (XXX0X) : Indicateur relatif à la qualité des données pour le questionnaire détaillé.
Cinquième (XXXX0) : Indicateur relatif à la suppression liée à la confidentialité des données sur le revenu pour le questionnaire détaillé.

Description des indicateurs

Indicateur de dénombrement partiel
0 Valeur implicite. Sans objet.
1 Réserve ou établissement partiellement dénombré (supprimé).
2 Ne comprend pas les données du recensement pour une ou plusieurs réserves ou pour un ou plusieurs établissements partiellement dénombrés.

Indicateur relatif à la qualité des données pour le questionnaire abrégé
0 Valeur implicite. Indice de la qualité des données indiquant, pour le questionnaire abrégé, un taux de non-réponse totale inférieur à 10 %.
1 Indice de la qualité des données indiquant, pour le questionnaire abrégé, un taux de non-réponse totale supérieur ou égal à 10 %, mais inférieur à 20 %.
2 Indice de la qualité des données indiquant, pour le questionnaire abrégé, un taux de non-réponse totale supérieur ou égal à 20 %, mais inférieur à 30 %.
3 Indice de la qualité des données indiquant, pour le questionnaire abrégé, un taux de non-réponse totale supérieur ou égal à 30 %, mais inférieur à 40 %.
4 Indice de la qualité des données indiquant, pour le questionnaire abrégé, un taux de non-réponse totale supérieur ou égal à 40 %, mais inférieur à 50 %.
5 Indice de la qualité des données indiquant, pour le questionnaire abrégé, un taux de non-réponse totale supérieur ou égal à 50 % (à utiliser avec prudence).
9 Confidentiel en vertu des dispositions de la Loi sur la statistique pour les données relatives au questionnaire abrégé.

Indicateur relatif à la suppression liée à la confidentialité des données sur le revenu pour le questionnaire abrégé
0 Valeur implicite. Aucune suppression appliquée aux données sur le revenu pour le questionnaire abrégé.
9 Confidentiel en vertu des dispositions de la Loi sur la statistique pour les données relatives au revenu du questionnaire abrégé.

Indicateur relatif à la qualité des données pour le questionnaire détaillé
0 Valeur implicite. Indice de la qualité des données indiquant, pour le questionnaire détaillé, un taux de non-réponse totale inférieur à 10 %.
1 Indice de la qualité des données indiquant, pour le questionnaire détaillé, un taux de non-réponse totale supérieur ou égal à 10 %, mais inférieur à 20 %.
2 Indice de la qualité des données indiquant, pour le questionnaire détaillé, un taux de non-réponse totale supérieur ou égal à 20 %, mais inférieur à 30 %.
3 Indice de la qualité des données indiquant, pour le questionnaire détaillé, un taux de non-réponse totale supérieur ou égal à 30 %, mais inférieur à 40 %.
4 Indice de la qualité des données indiquant, pour le questionnaire détaillé, un taux de non-réponse totale supérieur ou égal à 40 %, mais inférieur à 50 %.
5 Indice de la qualité des données indiquant, pour le questionnaire détaillé, un taux de non-réponse totale supérieur ou égal à 50 % (à utiliser avec prudence).
9 Confidentiel en vertu des dispositions de la Loi sur la statistique pour les données relatives au questionnaire détaillé.

Indicateur relatif à la suppression liée à la confidentialité des données sur le revenu pour le questionnaire détaillé
0 Valeur implicite. Aucune suppression appliquée aux données sur le revenu pour le questionnaire détaillé.
9 Confidentiel en vertu des dispositions de la Loi sur la statistique pour les données relatives au revenu du questionnaire détaillé.

Add Symbol Columns and Comments to Parquet Symbol Columns

Symbol	Definition
..	not available for a specific reference period
...	not applicable
E	use with caution
F	too unreliable to be published
r	revised
x	suppressed to meet the confidentiality requirements of the Statistics Act
rE	Revised. Use with caution.

Symbole	Définition
..	indisponible pour une période de référence précise
...	n'ayant pas lieu de figurer
E	à utiliser avec prudence
F	trop peu fiable pour être publié
r	révisé
x	confidentiel en vertu des dispositions de la Loi sur la statistique
rE	Révisé. À utiliser avec prudence.

Here are a few examples from the data

da_dguid	total_314	total_symbol_314	male_314	male_symbol_314	female_314	female_symbol_314
2021S051235010159		x		..		..

csd_dguid	total_1	total_symbol_1	male_1	male_symbol_1	female_1	female_symbol_1
2021A00053501007		..		...		...

cd_dguid	total_2	total_symbol_2	male_2	male_symbol_2	female_2	female_symbol_2
2021A00033501		r		...		...