Un très joli tableau à 9 colonnes!

Nouvel an, nouvel tableau! ;-)
Notre aventure continue et on se dirige vers la fin de la première partie du projet.

Dans ces jours de vacance on a crée les fichiers .html qui manquaient dans la huitième colonne (et qu'on a appelé motif.html), en ajoutant les lignes de commande qu'on avait écrit dans le post précédente.

On a aussi réussi à régler les problèmes d'accès aux fichiers .txt et .html à partir des tableaux. Le problème était dû au fait que je ne m'étais pas placée dans le bon endroit pour lancer le programme, donc par conséquence tous les répertoires crées par le programme étaient à l'intérieur du seul répertoire "Programmes" et le programme ne pouvait pas trouver le chemin vers les fichiers...

Pour extraire les motifs cherchés dans les trois langues (français, anglais, italien), on a du ajuster l'expression régulière pour deux raisons :

1) au tout début on avait mal fermé les balises et le terminal nous donnait comme type d'erreur: "grep: Echec du pairage de ) ou de \)". Pour résoudre le problème, j'ai cherché sur le web et j'ai trouvé la réponse dans un forum des informaticiens (http://forum.hardware.fr/hfr/OSAlternatifs/Codes-scripts/erreur-tests-sujet_67610_1.htm)

2) puis la machine acceptait comme motif des mots comme "Jour", qu'on ne veut pas. Le problème  était dû au fait qu'on avait utilisé les parenthèses carrées (qui sélectionnent les caractères) à la place des parenthèses rondes (qui sélectionnent une suite des caractères).

Donc l'expression régulière qu'on a utilisé est:

"\bjou(e|ent|er|é|ait|aient)\b|\bpla(y|ys|yed)\b|\bac(t|ts|ted)\b|\brecit(a|ano|are|ato|ava|avano)\b|\bgioc(a|ano|are|ato|ava|avano)\b|\binterpret(a|ano|are|ato|ava|avano)\b"

et finalement on l'a simplifié comme ça :

"\bjou(e|ent|er|é|ait|aient)\b|\bpla(y|ys|yed)\b|\bac(t|ts|ted)\b|\brecit|gioc|interpret(a|ano|are|ato|ava|avano)\b" 

On pourrait encore affiner notre analyse, par exemple incluant des locutions comme "jouer un rôle", "to play a role", "interpretare un ruolo"... Mais on verra...

Voici le résultat pour ce qui concerne notre tableau final à 9 colonnes :

Deux problèmes nous restent encore à resoudre:

1) Il y a encore un problème avec le comptage de nos liens, on a essayé de changer la commande pour la variable "i" qui compte les fichiers (par contre, la variable "j" qui compte les répertoires est ok), mais on n'a pas trouvé une bonne solution...

2) Il y a 7 URLs avec 0 occurrences des motifs cherchés (plus ou moins 2 liens par langue). Le problème est crée par le fait que la page correspondant (en format .txt et en utf-8.txt) contient des (non)mots comme "joué", donc la commande egrep ne peut pas reconnaître le bon motif... ça veut dire qu'il y a encore des problèmes d'encodage à régler...

Contextes

Notre script est bientôt fini, mais il nous reste une étape importante: l'extraction de notre mot dans les trois langues avec le nombre et le contexte de l'occurrence. Pour cela on utilisera la commande egrep plus une belle expression régulière qu'on placera après les commandes lynx et iconv. Maintenant qu'on sait où écrire la commande, qu'est ce qu'on écrit?

Puisqu'on travaille avec le français, l'italien et l'anglais on n'aura pas besoin du programme minigrep disponible sur le site du cours. De plus, on n'a pas réussi à installer ce programme à cause d'une erreur du type 'permission denied' et la commande sudo ne nous ont pas aidé, mais c'est peut-être parce que le terminal ne reconnaissait pas le mot de passe de Francesca.

Voici les nouvelles lignes de commande:

egrep -i "\bjouer\b|\bplay\b|\brecitare\b" ./DUMP-TXT/$j/$i-utf8.txt > ./CONTEXTES/$j/$i-motif.txt ;

nbOccur=??;

nbOccur=$(egrep -o -i "\b$motif\b" ./DUMP-TXT/$j/$i-utf8.txt | wc -l );

-i pour ne pas prendre en compte la case

-l pour extraire la ligne avec l'occurrence du motif

wc sert à compter le nombre d'occurence

pour l'instant on veut juste tester une expression simple, donc on extrait le verbe à l'infinitif. Eventuellement l'expression (à vérifier) sera:

"\bjou[e|ent|er|é|ait|aient]\b|\bplay(s)?|ed\b|\bact(?)| (ed)?\b | \b|\brecit[a|ano|are|ato|ava|avano]\b|\b|\bgioc[a|ano|are|ato|ava|avano]\b|

\binterpret[a|ano|are|ato|ava|avano]\b"

Notre script préliminaire avec les nouvelles additions fait en partie ce qu'on lui demande à faire. Mais, il y a des lignes à modifier.

Quelques problèmes:

On a crée les fichiers txt mais ce script n'a pas crée les fichiers html. Peut-être en répetant la commande ça marchera:

egrep -i "\bjouer\b|\bplay\b|\brecitare\b" ./CONTEXTES/$j/$i-motif.txt > ./CONTEXTES/$j/$i-motif.html;

nbOccur=??;

nbOccur=$(egrep -o -i "\b$motif\b" ./DUMP-TXT/$j/$i-utf8.txt | wc -l );

Avec notre script, on n'arrive pas à accéder les liens .txt (ni les .html d'ailleurs) à partir des tableaux.

Avec certains liens le seul contexte extrait est: 'jouer au poker avec bruno' ce qui n'est pas le contexte recherché, de plus, cette publicité ne s'affiche pas quand on vérifie la page web.

On a toujours un problème avec le comptage de nos liens. La moitié commence bien par 1 et l'autre moitié par 2 au lieu de 1, mais correspond à la première lien URL .

En résumé, il y a plusieurs modifications à faire, mais on avance.

Des solutions à quelques problèmes

Dans notre cours aujourd'hui avec un peu de réflexion de ma part et guidé par les professeurs, nos problèmes ont été résolu. D'autres ont été détécté, mais également résolus.

Le problème des liens doublés était à cause de deux fi mal placés du coup la condition if n'était pas fermé et le lien html refaisait la boucle. Le premier fi mal placé coorespondait à

s'il la page a été bien aspirée, on continue--- if [ "$retourcurl" = "0" ]

sinon on ne fait rien----------------------------else echo pas d'aspiration, pas de lynx)

fin de la condition ------------------------------fi

Le deuxième fi mal placé coorespondait à

s'il le charset de la page a été détécté----if [ "$encodage" = "utf-8" ]

if ["$VERIFENCODAGE" != "" ]

sinon on ne fait rien------------------------else echo encodage non-détécté

fin de la condition-------------------------fi

Pour vérifier que tous les if, then, else et fi sont bien placés, j'ai ouvert un nouveau fichier qui ne contient que la squelette de notre boucle.

Un autre problème s'affichait pendant l'exécution: le fichier $j/$i-utf8.txt dans le DUMP TEXT n'existait pas. En effet, on avait demandé à inconv de chercher le contenu dans ce fichier et le mettre dans DUMP-TEXT/$j/$i.txt au lieu de l'écrire à l'invers. Voici le bon ordre:

lynx -dump -nolist -display_charset=$encodage ./PAGES-ASPIREES/$j/$i.html > ./DUMP-TEXT/$j/$i.txt ;

iconv -f $encodage -t utf-8 ./DUMP-TEXT/$j/$i.txt > ./DUMP-TEXT/$j/$i-utf

8.txt ;

A la fin du cours j'ai constaté un dernier problème qu'on a pas encore étudié. Sur 3 tableaux, le premier lien n'a pas été traité et le tableau commence par le 2ème. Pourquoi serait-il?

Notre cher script

Objectif : Lire un (ou plusieurs) fichier(s) contenant une liste d'URL, produire un fichier HTML contenant un (ou plusieurs) tableau(x) (à 3 colonnes chacun) regroupant (1) ces URLs, (2) les pages aspirées correspondantes, (3) les DUMPS des pages aspirées obtenus avec lynx. Etablir les liens vers les 3 ressources (URL, page locale, dump)

Pendant plusieurs semaines maintenant on a soigné, modifié et manipulé notre script afin d'avoir un tableau avec les colonnes suivantes: n° URL, URL, Pages Aspirées, Retour CURL, DUMP encodage initial et DUMP encodage UTF-8. On a rencontré des problèmes plus complexes qu'avant et les résoudre n'a pas toujours été evident.

Problème 1: Un problème de négligence à propos d'affichage avec echo. On avait affiché que l'encodage était non-détécté alors qu'on l'avait bien détécté.

Problème 2: Francesca travaille sur Linux mais moi, je travaille sur mac et je n'arrive pas à installer lynx sur ma machine. Je l'ai télécharger et dans le console j'ai écrit: sudo apt-get install lynx, mais sans résultat positif.

Problème 3: Nos liens sont testés plusieurs fois au lieu d'une seule fois. Certains sont testés une fois, d'autres 2 et encore d'autres 3. On a eliminé les fichiers cachés, mais le problème n'a pas été résolu. A quoi est lié ce problème? Comment le résoudre?

Voici notre script:

Et voici le résultat:

Extraction du contexte et comptage du mot "jouer"

On devra encore un peu ajuster notre script, mais on peut quand même continuer notre aventure. Le but de la prochaine phase est de ajouter trois colonnes à notre tableau. La première colonne contient l’extraction du contexte autour du mot qu’on a choisi (« jouer » et sa traduction en anglais et en italien) en format .txt et la deuxième colonne contient la même chose en format .html. La dernière colonne va contenir le contage du mot choisi. La commande egrep est la commande de filtrage qui permet à la machine de faire une recherche d’une chaîne de caractères dans un fichier. La syntaxe de la commande est : 

egrep -options chaîne_de_caractères  nom_du_fichier

Pour identifier dans les contextes le mot « jouer », on aura besoin d’utiliser les expressions régulières ! Les expressions régulières, même si difficiles à déchiffrer, sont très utiles parce que servent pour décrire de manière générique des chaînes de caractères pour les traiter. Par exemple, on a déjà utilisé une expression régulière quand on a localisé dans la page html la chaîne de caractères « charset ». Grâce à une expression régulière, on va construire un « modèle » : le programme cherche le modèle et il trouve toutes les chaînes de caractères qui ressemblent au modèle choisi. Par exemple, le modéle \ble\b pour trouver l’article « le » ou le motif « le ».

Comment implémenter les expressions régulières ? En utilisant des caractères spéciaux, des opérateurs:

[ ] représente un caractère (Ex. R [iau]ng = ring, rang, rung)

| permet de marquer une alternative (Ex. Francesca|Ardas – Francesca, Ardas)

( ) pour délimiter la portée de l’opérateur | (Ex. in (any|every) – in any, in every)

[0-9] un caractère entre 0 et 9

^ négation d’une chaîne de caractères: comme ça on désigne un caractère qu’on ne veut pas (Ex. [^Dd] = ni D ni d). On peut l’utiliser pour supprimer de balises html, comme par exemple dans :

Sed –e “s/<[^<>]*>//”

Puis on a des caractères qui permettent de quantifier des expressions :

? option par rapport à l’expression qui le précède

* ce qui précède: il n’y a pas ou il y a pour n occurrences

+ au moins une occurrence

. permet de représenter n’importe quel caractère sauf le retour à la ligne

Et des opérateurs de frontière :

^ début de chaîne de caractères

$ fin de chaîne de caractères

Donc ^$ est une de chaîne de caractères vide

\w n’importe quel caractère alphanumérique

\b frontière de mot

Le paranthesage nous permet d’organiser la portée d’un opérateur. Toutefois, il y a un ordre d’importance, une hiérarchie à respecter :
fermeture  (*) > concaténation > union

Phase 3: lynx, egrep

Objectif : Lire un fichier contenant une liste d'URL, produire un fichier HTMLcontenant un tableau (à 3 colonnes) regroupant (1) ces URLs, (2)les pages aspiréescorrespondantes,(3) les DUMPS des pages aspirées obtenus avec lynx. Etablir les liens vers les 3 ressources (URL, page locale,dump).

Pour réaliser la prochaine étape de notre projet, nous avons d'abord modifier notre script en

ajoutant les commandes lynx et egrep en espérant récupérer le texte de nos liens https, ensuite identifier l'encodage et le convertir en UTF-8 si ce n'était pas déjà le cas. Ces deux dernières phases nous ont posé des problèmes.

Voici le script (pour voir les premières lignes, redirigez-vous vers les posts précédents) :

Et voici le résultat:

Mais l'encodage de plusieurs liens ne sont pas détéctés et par conséquence ils n'ont pas été converti en UTF-8. Dans notre script original on avait inclus la vérification suivante:

#---------------------avant de continuer on va vérifier si le charset est connu de iconv---------------

VERIFENCODAGEDANSICONV=$(iconv -l | egrep -io $encodage | sort -u);

if [[ $VERIFENCODAGEDANSICONV == "" ]]

then

#-------------------------------------------

# le charset n'est pas connu de iconv : on fait rien....

#-------------------------------------------

echo "VERIF : <$VERIFENCODAGEDANSICONV> ==> inconnu par inconv, on ne fait rien"

Mais avec l'inclusion de cette commande, aucun URL a été détécté.

Voici une image du Terminal avec l'opération ci-dessus:

Notre script n'est pas complet et nous n'arrivons pas pour l'instant à détécter avec succès tous les URLS et ensuite les convertir.

Un autre petit souci concernant la mise en page: nous souhaitons mettre en place à l'extérieur des tableaux un fond de couleur mais nous n'y arrivons pas. Devons-nous l'écrire entre les bâlises table ou style? Est-ce que c'est bg color ou background ou ça n'a pas d'importance?

Problèmes d'encodage et commandes pour les résoudre

Il faudra encore un peu ajuster le script publié hier. En fait, aujourd’hui on s’est posées la question de l’encodage du fichier correspondant à la page aspirée de l’URL de départ. S’il n’est pas en UTF-8, il faudra le convertir en UTF-8. Donc, avant de faire le « dump », on doit contrôler l’encodage de départ ! Mais comment on repère l’encodage d’un fichier ?

Pour ce faire, on utilisera la commande file, comme dans l’exemple suivante :

file -i toto.txt
Le terminal donne come résultat : charset=utf-8

Il faut dire à la commande lynx qu’il fasse le « dump » selon cet encodage. Pour extraire l’encodage « utf-8 », il faut utiliser la commande cut : si on  imagine un fichier avec plusieurs colonnes, la commande cut nous permet d’extraire la colonne qui nous intéresse (la deuxième colonne, après l’« = »). On utilisera alors :

Cut –f (pour définir les colonnes)

Cut –d (pour spécifier le marquer de colonnes : dans notre cas, le marquer est le caractère « = »)

Cut –f2 –d (pour extraire la deuxième colonne après le « = »)
Comme ça, j’obtiens la valeur que je veux et je peux la stocker dans la variable « encodage » :
Encodage= $(file –i  toto.txt) | Cut –f2 –d=
En plus, on doit spécifier l’encodage de sortie, par exemple :
Lynx –dump –nolist –dc = $encodage ./PAGES-ASPIREES/3/2.html > toto.txt (doit être en UTF-8)

La commande iconv permet de transformer un encodage donné dans un autre encodage donné. Elle travaille avec un liste d’encodages qu’elle sait traiter, mais parfois elle rencontre un encodage inconnu : comment faire ? Pour repérer l’information qui nous sert, il faut contrôler l’encodage dans les balises HTML. Cette type d’information se trouvera après « charset ». Il faudra interroger le fichier de manière qu’il nous donne quelque chose comme « charset ». Pour ce faire, on peut utiliser la commande egrep : il s'agit d'une commande de filtrage. Elle va chercher un « motif », ou une chaine de caractères dans un fichier. Exemple:
Egrep “charset=” ./PAGES-ASPIREES/3/8.html (pipe) cut -f4 -d=

On doit utiliser la commande cut pour récupérer le charset et peut être que la personne qui a écrit la balise HTML n’a pas écrit le charset dans la bonne position. Donc, comment être sures du charset récupéré ? Comment peut-on récupérer la bonne colonne ? A quel niveau la personne a écrit la chaine de caractère « charset= » ?

Tout ce qu'on a, c'est une structure textuelle indéfinie et nous intéresse la chaine de caractère « charset= » pour pouvoir lancer une commande cut après. Mais la commande cut accepte des caractères singuliers et pas un groupe de caractères, donc il faut utiliser une variable ! Le caractère doit être non ambigu pour la commande cut. Ex. @ ou le "pipe", mais encore mieux #.

On va remplacer la chaine de caractères « charset= » par ce caractère là pour qu’il soit non ambigu. Pour ce faire, il faut utiliser une nouvelle commande : la commande sed. Il s'agit d'un éditeur de la ligne de commande: il peut rechercher et remplacer la chaine de caractères « charset= » par "pipe" : |

Sed –e “s/charset=/\|/” (pour déspécialiser, parce que c’est un operateur des expressions régulières)

Sed –e “s/charset=/\|/” | cut –d|

Mais "pipe" sert pour la direction de flux donc ce n’est pas un bon choix. Il faut indiquer qui est un caractère et le déspécialiser:

Sed –e “s/charset=/\|/” | cut –d“|” –f2

ou

Sed –e “s/charset=/\|/” | cut –d\| –f2

Le terminal donne comme résultat: iso-8859-1” />

Mais on ne veut pas la chaine de caractères «  ” /> ». Pour l'éliminer, on peut utiliser la commande cut et le caractère « ” » comme délimitateur ou effacer ce qui reste en le remplaçant par rien :

Sed –e “s/\.*$// ”

. = n’importe quel caractère sauf le retour à la ligne

$ représente la fin d’une chaine / ligne

a* (a, aa, aaa…)

On a maintenant tous les instruments pour ajouter notre quatrième colonne!