Problème d'encodage des fichiers avec Python 3

Bonjour !

J’écris un programme qui enlève l’accentuation d’un texte donné en paramètre.
J’ai suivi ce mini-tuto pour Python 3, mais le résultat n’est pas conforme, probablement à cause de l’encodage.

Les fichiers utilisés par le programme sont encodés en UTF-8 selon l’éditeur Notepad++.
De ce que j’ai lu dans la documentation, je devrais lire toute cette page pour comprendre d’où vient le problème.

Je pense qu’il doit y avoir une explication beaucoup plus simple, auriez-vous des idées ?
C’est sûrement une bête erreur dans mon code.

Code et exemple d’entrée/sortie :

J'aime le pain d'épices.

J'aime le pain d'epices.

J'aime le pain d'a©pices.

# coding: utf-8
import os
from unicodedata import normalize, category


# 1. Ouverture du fichier en lecture seule
file = open('test-in.txt')
data = file.read()
file.close()


# 2. On enlève les accents
data = ''.join((c for c in normalize('NFD', data.lower()) if category(c) != 'Mn'))


# 3. On affiche le résultat et on l'enregistre
print(data)

file = open('test-out.txt', 'w')
file.write(data)
file.close()

os.system("pause")

En effet, c’était bien ça le problème.
Chez moi, l’encodage par défaut du système est cp1252.

Comment le mettre sur utf-8 ?

Je suppose que tu es sur Windows si tu as du cp1252. Je ne suis pas sûr que cela soit possible (ou même souhaitable ?) de le passer intégralement en UTF-8 mais je laisse les connaisseurs Windows me reprendre là-dessus.

De façon générale, ça ne fait jamais de mal d’indiquer explicitement dans ton code que tu attends un certain encodage en particulier. Ça évite d’avoir à retrouver des bugs parfois bien fourbes… Comme dirait le Zen of Python : "Explicit is better than implicit."

Pas souhaitable ?! tu n’as pas eu suffisamment de problème avec l’encodage visiblement. Il faut TOUT passer en UTF-8, TOUT ! Bon ok, je me calme mais très sérieusement c’est la norme par excellence qui permet d’être compatible à 100% sur Windows, Linux et Mac. Idem avec les retours à la ligne, depuis quelques années déjà on peut tout passer en LF - c’est un octet de moins et la grande majorité des IDE prennent en charge la lecture sans problème.

Pour convertir ton fichier en UTF-8, je te conseille d’installer Sublime Text. Il est parfait pour passer de n’importe quel encodage à n’importe quel autre. Tu ouvres le fichier avec et ensuite il te suffit de cliquer sur File > Save with Encoding > UTF-8. Le top avec ce logiciel c’est que tu peux mettre un gros fichier, il ne bronche pas (même 1 Go).

Heu, c’est quoi, ton système ? Difficile de t’expliquer comment changer l’encodage par défaut sans le savoir

Pour convertir ton fichier en UTF-8, je te conseille d’installer Sublime Text. Il est parfait pour passer de n’importe quel encodage à n’importe quel autre. Tu ouvres le fichier avec et ensuite il te suffit de cliquer sur File > Save with Encoding > UTF-8. Le top avec ce logiciel c’est que tu peux mettre un gros fichier, il ne bronche pas (même 1 Go).

Merci, mais mes fichiers sont déjà tous en UTF-8 (selon Notepad++).
Le problème se situe au niveau de la configuration de Python (si j’ai bien compris).

L’encodage utilisateur "préféré" est mis sur cp1252 et je ne sais pas comment changer cela.

J’utilise Python 3.6.8 sur Windows 8.1, 64 bits.
J’ai déjà vérifié tous les onglets proposés dans l’IDLE de Python, aucun ne parle d’encodage.

Merci pour vos réponses !