Les expressions régulières sont extrêmement puissantes et permettent de réaliser du filtrage de chaine en très peu de lignes de code. Dans cet article nous allons réaliser un script qui télécharge une page web et liste toutes les URL qu'elle contient.

Ce genre de script peut être utile pour créer un robot qui parse des pages web et cherche les liens internes ou externes au site. Il faut dans ce cas stocker dans une base de données les résultats pour pouvoir les traiter ultérieurement.

Pour réaliser ce script nous allons utiliser deux fonctions php : ereg et preg_match_all. ereg va nous permettre de décortiquer l'adresse internet de la page à télécharger afin d'extraire :

• Le protocole utilisé ( http, https )
• Le nom du serveur web ( www.google.com )
• Les éventuels répertoires ( /MyPage/blabla/ )

Le script PHP-CLI ( voir l'article PHP-CLI Command Line Interface ) que je vous propose s'exécute depuis la ligne de commande. Il accepte en argument l'URL de la page à télécharger puis à analyser.

Voici l'expression régulière utilisée :
(http:\/\/|HTTP:\/\/|https:\/\/|HTTPS:\/\/)([a-zA-Z.0-9-]*)([\/a-zA-Z.-_]*\/) Si on test avec l'URL http://fr.wikipedia.org/wiki/Expressions_rationnelles nous obtenons le découpage :


..Ceci nous permettra de reconstruire par la suite les adresse internes au site et obtenir une URL complète. Regardons maintenant comment se fait la recherche des liens dans la page web. Nous allons cette fois ci utiliser la fonction preg_match_all qui va nous permettre de rechercher plusieurs occurences dans le code source de la page. L'expression régulière utilisée est la suivante :
#<[aA](\s)*(href|HREF)(\s)*=(\s)*[\"|\'](.*?)[\"|\'](.*?)>#is Cette expression va rechercher toutes les chaines commençant par <a href = ( indépendamment des espaces et de la casse ), extraire la valeur entre quotes ou double quotes ( ' ou " ) et ne reprendre qu'après la fin de cette balise ( > ). Les résultats seront stockés dans un array à deux dimensions remplis par la fonction preg_match_all. $RegEx = '#<[aA](\s)*(href|HREF)(\s)*=(\s)*[\"|\'](.*?)[\"|\'](.*?)>#is'; preg_match_all($RegEx,$Document,$Results,PREG_PATTERN_ORDER); foreach ($Results[5] as $Link) { } Les liens sont ensuites analysés afin de déterminer si ils ont absolus ou relatifs. Si ils sont relatifs, le script les reconstruits avec les informations retirées avec ereg : if ( ereg(":",$Link) ) { echo $Link."\r\n"; } else echo $URL_Proto.$URL_Server.$URL_Folder.$Link."\r\n"; Un petit test permet aussi de supprimer les mailto:, javascript:, telnet: qui ne sont pas intéréssant pour nous! $RegEx = "#([a-zA-Z]*):#is"; preg_match_all($RegEx,$Link,$ResultsProto,PREG_PATTERN_ORDER); $Protocol = strtoupper($ResultsProto[1][0]); if ( $Protocol == "HTTP" || $Protocol == "HTTPS" ) echo $Link."\r\n"; Le script en action :


..et le code source : $URL = $argv[1]; // Retrieve URL informations $RegEx='(http:\/\/|HTTP:\/\/|https:\/\/|HTTPS:\/\/)([a-zA-Z.0-9-]*)([\/a-zA-Z.-_]*\/)'; ereg($RegEx,$URL,$Values); $URL_Proto = $Values[1]; $URL_Server = $Values[2]; $URL_Folder = $Values[3]; // Retrieve document & search for URLs $Document = file_get_contents($URL); $RegEx = '#<[aA](\s)*(href|HREF)(\s)*=(\s)*[\"|\'](.*?)[\"|\'](.*?)>#is'; preg_match_all($RegEx,$Document,$Results,PREG_PATTERN_ORDER); foreach ($Results[5] as $Link) { if ( ereg(":",$Link) ) { $RegEx = "#([a-zA-Z]*):#is"; preg_match_all($RegEx,$Link,$ResultsProto,PREG_PATTERN_ORDER); $Protocol = strtoupper($ResultsProto[1][0]); if ( $Protocol == "HTTP" || $Protocol == "HTTPS" ) echo $Link."\r\n"; } else echo $URL_Proto.$URL_Server.$URL_Folder.$Link."\r\n"; }

Commentaires  | Ajouter un commentaire

-

Rechercher sur internet  ?  | Rechercher!

Trackback

Utilisez le lien http://www.sunyday.net/trackback-PHP-RegEx-parsers-les-URL-d-une-page pour faire un trackback vers cette article depuis votre site web. Les trackbacks sont soumis à une approbation mutuelle et susceptibles d'être supprimés si jugés indésirables.