Chaînes de caractères

Introduction

Nous avons vu comment représenter des booléens, des entiers et des nombres à virgule flottante dans un ordinateur. Nous allons voir comment sont représentés les textes ou les chaînes de caractères.

Premier codage : ASCII

La première norme pour coder les caractères informatiques a été créée en 1963 et s’appelle donc ASCII (American Standard Code for Information Interchange). Elle associe un nombre sur 7 bits (de 0 à 127) aux lettres de l’alphabet, aux chiffres, aux symboles mathématiques et de ponctuation. 33 codes (les 32 premiers et le dernier) sont réservés à des caractères de contrôle et ne peuvent pas être représentés visuellement. Le code 32 correspond à l'espace. Voici une table recensant tous les caractères ASCII :

Lorsqu'on donne donne un code ASCII, on utilise généralement son codage hexadécimal.

1) Quel est la signification du code ASCII ci-dessous ?

41 53 43 49 49 20 69 73 20 73 77 61 67

2) Donner le code ASCII (en hexadécimal) de la chaîne ci-dessous :

« Vive le LOSC ! »

3) En Python la fonction ord() donne (entre autres) le code ASCII d’un caractère. Ce code est en décimal mais on peut le convertir en hexadécimal avec la fonction hex() et en binaire avec la fonction bin(). Créer un script qui parcourt une chaine de caractère et affiche chaque caractère avec son code ASCII en hexadécimal. Vérifier alors vos deux réponses précédentes.

Le codage ASCII ne permettant pas de représenter de nombreux caractères utilisés en Europe (les caractères accentués par exemple) une nouvelle norme vit le jour dans les années 80.

Une extension d’ASCII : ISO-8859-1

Aussi appelée latin-1 cette extension du codage ASCII permet d’ajouter de nombreux caractères utilisés dans les langues européennes. Elle utilise un bit supplémentaire et offre donc 256 possibilités :

4) En Python la fonction ord() donne également le code ISO-8859-1 d’un caractère. À l’aide du script de la question 3, donner le codage de la phrase suivante :

« Ça coûte des sous »

La norme ISO-8859-1 n’était toujours pas parfaite, il manquait par exemple le caractère « œ » pour le français et « ß » pour l’allemand. Il y eu encore d’autre normes pour s’adapter à ces spécificités. Les alphabets asiatiques avaient également leur propre codage. Avec le développement d’internet dans les années 90 et donc la cohabitation de nombreuses langues, le besoin d’un codage universel se faisait sentir.

Codage universel : UTF-8

Apparu en 1996 et adopté définitivement en 2003 l’UTF-8 permet de représenter tous les alphabets du monde. Bien sur UTF-8 a besoin de plus d’un octet pour représenter tout ça !

Unicode

UTF-8 utilise le point de code de chaque caractère. Le point de code d’un caractère est défini de manière unique par la norme unicode. Cette norme contient aujourd’hui 137 929 caractères. Les 256 premiers caractères sont les mêmes que l’ISO-8859-1. On écrit un point de code sous la forme « U+xxxx » ou « xxxx » est exprimé en hexadécimal. Ainsi U+00E0 est le code du « à » et U+0052 le code du « R » (voir les parties précédentes).

Il existe une vidéo sur Youtube faisant défiler les milliers de caractères unicode. Elle dure plus de deux heures :

5) Testez le script suivant pour vérifier que les premiers caractères d’unicode sont les mêmes que pour l’ISO-8859-1 (hex() convertit en hexadécimal et chr() affiche un caractère à partir de son unicode en décimal) :

for c in range(256):
    print(c,hex(c),chr(c))

6) Tester maintenant le script ci-dessous pour voir les 5000 premiers caractères unicode (cela prend du temps) :

for c in range(5000):
    print(c,hex(c),chr(c))

UTF-8

UTF-8 correspond à la façon dont on va écrire le code d’un caractère en mémoire. Les 127 premiers caractères sont codés sur un octet, ainsi UTF-8 est compatible avec l’ASCII. Les caractères suivants seront codés sur plusieurs octets (jusqu’à 4 octets).

Le principe de l'encodage UTF-8 est le suivant :

• si le bit de poids fort (celui à gauche) d'un octet est à 0, alors il s'agit d'un caractère ASCII codé sur les 7 bits restant.
• sinon, les premiers bits de poids fort de l'octet indiquent le nombre d'octets utilisés pour encoder le caractère à l'aide d'une séquence de bits à 1 et se terminant par un bit à 0. Par exemple, si le premier octet commence par 110xxxxx, cela signifie que le caractère est codé sur 2 octets, puisqu'il commence par une séquence de deux bits de poids fort à 1 suivi d'un 0.
• enfin, dans le cas d'un encodage sur k octets, les k-1 octets de poids fort doivent tous être de la forme 10xxxxxx.

On peut résumer cela dans le tableau ci-dessous :

Ainsi, les bits en vert doivent être mis bout à bout pour obtenir le code unicode d’un caractère.

7) Pourquoi utilise-t-on un nombre d’octets variable au lieu d’utiliser toujours 4 octets par caractère ?

8) Quel est le code UTF-8 du caractère « j » ?

9) Quel caractère correspond au code UTF-8 « C5 93 » (vous aurez besoin de la fonction chr() en Python qui donne le caractère correspondant à un code unicode en décimal)

10) Quel est le code UTF-8 du signe euro « € » ? (son code unicode est U+20AC, mais vous pouvez utiliser la fonction ord() qui donne aussi le code unicode décimal d’un caractère)

Aide pour les conversions en Python

Il est possible d'utiliser Python pour effectuer des conversions entre décimal, binaire et hexadécimal.

Écriture

Avant de convertir un nombre il faut pouvoir l'écrire dans différentes bases. La base dix étant la base par défaut, il n'y a rien à faire pour écrire un nombre en base 10 :

# 355 en base 10
355

Pour écrire un nombre en base 2, il faut le faire précéder par '0b'.

# 01110 en base 2
0b01110

Pour écrire un nombre en base 16 (hexadécimal), il faut le faire précéder par '0x'.

# A4F en base 16
0xA4F

Conversion vers décimal

La conversion se fait automatiquement, il suffit d'écrire le nombre dans la console :

# Hexadécimal vers décimal
>>> 0xA4F
2639
# Binaire vers décimal
>>> 0b01110
14

Conversion vers binaire

On utilise ici la fonction bin()

# Décimal vers binaire
>>> bin(1234)
'0b10011010010'
# Hexadécimal vers binaire
>>> bin(0xA4F)
'0b101001001111'

Conversion vers hexadécimal

On utilise ici la fonction hex()

# Binaire vers hexadécimal
>>> hex(0b01110)
'0xe'
# Décimal vers exadécimal
>>> hex(1234)
'0x4d2'