On est prêtes pour commencer notre aventure!

Voilà un petit plan de notre aventure! La première étape était de recueillir des données à analyser (les URLs ci-dessous, dans les trois langues choisies : français, anglais et italien). La deuxième étape représente la plus part du voyage à faire dans le monde du TAL : il s’agit de différentes opérations (aspiration, stockage, extraction du texte et du contexte, détection de l’encodage du texte, etc.) qui nous permettrons de faire une analyse linguistique de nos données et de valider (ou falsifier) notre hypothèse de départ.

Pour chaque URL, on devra:

1) Récupérer la page web et la stocker dans « pages aspirées » ;

2) Repérer l’encodage du texte (Si l’encodage ne sera pas UTF-8, la commande file nous aidera dans cette mission et la commande iconv nous aidera à convertir l’encodage) ;

3) Créer une ligne dans un tableau HTML pour chaque URL trouvé.

Tous nos URLs sont contenus dans des fichiers .txt et on aura besoin de créer un programme que fasse une (ou plus) opération/s pour chaque URL x qui appartient au fichier fic : 

for x ∈ fic… on fera 1), 2), 3)…

Pour faire une affectation, c’est-à-dire assigner une valeur (un fichier spécifique) à la variable fic, il faudra utiliser la commande read. Grace à sa caractéristique interactivité, elle nous permettra d’insérer le nom du fichier (pour être précises, son chemin relatif). Pour afficher la valeur de la variable fic, on utilise le dollar $ (on n’a pas encore découvert si l’euro € a une valeur :-), comme dans l’exemple suivante :

echo $fic

Grace à le symbole $, notre ordinateur ne va pas lire littéralement la variable, mais il se transforme dans un traducteur qui interprète la variable, en lisant son contenu.

Problème : comment dire que chaque fichier est une liste (un ensemble) des URLs ?

On avait vu que, pour afficher la liste des URLs contenus dans un fichier, il faut utiliser la commande cat. De plus, on a appris que les guillemets simples renversés servent à substituer une commande par son résultat. Donc, pour récupérer les noms de chaque URL, on devra programmer une affectation récurrente :

for nom in `cat $fic`

On a maintenant tous les éléments pour commencer à travailler !