|
begin process at 2008 05 17 07:39:34
Derniers logiciels
|
Trouver une ressource
Vous ne trouvez pas de réponse à votre problème ? Alors posez la question dans le forum.
Souvenez-vous qu'il n'y a jamais de question bête, mais rester dans l'ignorance parce que l'on n'ose pas poser une question, ça c'est une erreur !
ASPIRATEUR DE GALERIES INTERNET
Information sur la source
Description
Hi, Cette idée trotte depuis un bail dans ma tête.. Marre de télécharger une par une les images d'une galerie ? Pourquoi pas faire quelques sockets mIRC qui vous simplifieront la vie ? :D Ca c'est pour l'idée.. Il existe des aspirateurs de site très complets et puissants, je soumets ce code car il permet de voir quelques trucs : - accès à une page web en sockets - téléchargement d'un document en sockets (avec retrait des en têtes HTTP préalablement..) - l'utilisation fantastique de /echo -s ! =] Deux exemples sont fournis dans le code pour vous montrer. Je place le code en initié pour éviter qu'il ait peur au milieu des répondeurs et away systemz... Je n'attends pas particulièrement de commentaires sur mon "style" en mIRC lol
Source
- ;-------------------------------------------
- ; Aspirateur de galeries web / Pada / 2006
- ;
- ; - cf le code pour des exemples
- ; - presque aucune vérif coté paramètres n'est effectuée
- ; => préciser un path valide !!
- ; - pas testé avec des espaces dans le path
- ; - je sais que j'aurais pu factoriser les on sock*,
- ; ca n'aurait fait que compliquer le code
- ; et le rendre hermétique à toute évolution
- ; - marche avec les liens <a> classiques a priori..
- ; (relatif/absolu, non testé sur les absolus)
- ; - formats détectés : png/jpg/jpeg/gif
- ; (changer le masque de regex au besoin)
- ;
- ;-------------------------------------------
-
-
- ;aliases exemples (héhé je spamme pour mon sport le vtt trial ^^)
- alias ex1 dl_img http://www.espacetrial.com/demos-compets/knokke/knokke/knokke-09.jpg knokke-09.jpg
- alias ex2 mkdir trial | dl_gallery http://www.espacetrial.com/demos-compets/knokke/ trial/
-
-
- ;-------------------------------
- ; aspiration d'une page/galerie
- ; /dl_gallery <url> <path> [prefix]
- ;-------------------------------
- alias dl_gallery {
- sockclose dl_img
- hfree -w DL_Gallery
- h gal_site $gettok($remove($$1,http://),1,47)
- h gal_get $remove($1,http://,$h(gal_site))
- h gal_path $iif($right($$2,1) !isin \/,$2 $+ /,$2)
- h gal_prefix $3
- h gal_N 0
- h gal_C 1
- h gal_end 0
- sockopen dl_gallery $h(gal_site) 80
- }
- on *:sockopen:dl_gallery:{
- if ($sockerr) {
- echo -a * /dl_gallery : erreur de connexion au site ( $h(gal_site) )
- return
- }
- echo 4 -s * Aspiration de http:// $+ $h(gal_site) $+ $h(gal_get) en cours ...
- sockwrite -n $sockname GET $h(gal_get) HTTP/1.1
- sockwrite -nt $sockname Host: $h(gal_site)
- sockwrite -n $sockname
- .timerdl_gal_end 1 5 dl_gal_end
- }
- on *:sockread:dl_gallery:{
- if ($sockerr) {
- echo -a * /dl_gallery : erreur de transaction ( $h(gal_site) )
- return
- }
- sockread &a
- var %a 1,%c 1
-
- ;si lien coupé en tampon
- if $h(TempA) {
- if $bfind(&a,1,62) {
- var %a $ifmatch
- dl_detectlink $h(TempA) $+ $bvar(&a,1,%a).text
- }
- h TempA
- }
-
- ;détection d'autres liens
- while ($bfind(&a,%a,60 97 32) || $bfind(&a,%a,60 65 32)) {
- var %a1 = $bfind(&a,%a,60 97 32)
- var %a2 = $bfind(&a,%a,60 65 32)
- var %first = $iif(%a1 < %a2,$iif(%a1,%a1,%a2),$iif(%a2,%a2,%a1))
- %a = $iif(($bfind(&a,%first,62) <= $calc(%first + 500)) && $bfind(&a,%first,62),$bfind(&a,%first,62),$calc(%first + 1))
-
- ;détection de lien
- ;lien coupé
- if (%a == $calc(%first + 1)) {
- h TempA $bvar(&a,%first,500).text
- ;echo -s Mise en tampon : $bvar(&a,%first,500).text
- }
- ;lien ok
- else {
- dl_detectlink $bvar(&a,%first,$calc(%last - %first + 1)).text
- }
- ;timeout
- .timerdl_gal_end 1 5 dl_gal_end
- ;sécurité
- if (%c >= 2000) { break }
- inc %c
- }
-
- }
- on *:sockclose:dl_gallery:{
- dl_gal_end
- }
- alias dl_gal_end {
- if !$h(gal_end) {
- h gal_end 1
- sockclose dl_gallery
- .timerdl_gal_end off
- echo 4 -s * Gallerie analysée ! $h(gal_N) images ont été trouvées.
- echo 4 -s * Téléchargement des images en cours...
- dl_treatqueue
- }
- }
-
- alias dl_detectlink {
- ;echo 12 -s Lien détecté -> $1-
- if $regex($1-,/href="?([^>" ]+?\.(?:jpg|jpeg|png|gif))"?/i) {
- h gal_N $calc($h(gal_N) +1)
- echo 5 -s * Image détectée : $h(gal_N) -> $remove($regml(1),")
- dl_addqueue $h(gal_N) $h(gal_site) $+ $h(gal_get) $regml(1)
- }
- }
-
- ;--------------------------------
- ; gestion de la queue list
- ; /dl_addqueue <numero_item> <page> <url_img>
- ; /dl_treatqueue
- ;--------------------------------
- alias dl_addqueue {
- ;url relative
- if (http:// != $left($$3,7)) {
- ;url gallerie - fichier
- if (. isin $gettok($$2,-1,47)) || (? isin $gettok($$2,-1,47)) { var %url_site = $remove($2,$gettok($2,-1,47)) }
- else { var %url_site = $$2 }
- var %url_site = http:// $+ $iif(/ == $right(%url_site,1),%url_site,%url_site $+ /)
- ;url image
- var %img = %url_site $+ $3
- }
- ;url absolue
- else {
- var %img = $3
- }
- h queue_ $+ $$1 %img
- }
- alias dl_treatqueue {
- var %c = $h(gal_C)
- var %url = $h(queue_ $+ %c)
- if !%url && !$sock(dl_img).status {
- echo 4 -s * Téléchargements terminés !
- echo 4 -s * Accès aux images : /run $shortfn($h(gal_path))
- return
- }
- elseif !$sock(dl_img).status {
- dl_img %url $h(gal_path) $+ $h(gal_prefix) $+ $gettok(%url,-1,47)
- h gal_C $calc($h(gal_C) + 1)
- }
- ;les timers ici sont volontaires, histoire que le /dl_img reste indépendant,
- ;plutot qu'un appel a la queue en sockclose du dl_img =]
- .timer 1 1 dl_treatqueue
- }
-
-
- ;--------------------------------
- ; téléchargement d'une image
- ; /dl_img <url> <nom_sortie>
- ;--------------------------------
- alias dl_img {
- sockclose dl_img
- h img_site $gettok($remove($$1,http://),1,47)
- h img_get $remove($1,http://,$h(img_site))
- h img_path $$2
- h img_end 0
- sockopen dl_img $h(img_site) 80
- }
- on *:sockopen:dl_img:{
- if ($sockerr) {
- echo -a * /dl_img : erreur de connexion au site ( $h(img_site) )
- return
- }
- echo 5 -s * Téléchargement de http:// $+ $h(img_site) $+ $h(img_get) ...
- .remove $h(img_path)
- sockwrite -n $sockname GET $h(img_get) HTTP/1.1
- sockwrite -nt $sockname Host: $h(img_site)
- sockwrite -nt $sockname Referer: http:// $+ $h(gal_site) $+ $h(gal_get)
- sockwrite -n $sockname
- .timerdl_img_end 1 5 dl_img_end
- }
- on *:sockread:dl_img:{
- if ($sockerr) {
- echo -a * /dl_img : erreur de transaction ( $h(img_site) )
- return
- }
- sockread &a
- ;coupure des en têtes
- if $bfind(&a, 1,$+($cr,$lf,$cr,$lf)) {
- bcopy -z &b 1 &a $calc($ifmatch + 4) -1
- bunset &a
- if $bvar(&b,0) {
- bcopy &a 1 &b 1 -1
- }
- }
- ;echo -s Debug : $bvar(&a,1,$bvar(&a,0)).text
- if $bvar(&a,0) {
- bwrite $h(img_path) -1 -1 &a
- }
- .timerdl_img_end 1 5 dl_img_end
- }
- on *:sockclose:dl_img:{
- dl_img_end
- }
- alias dl_img_end {
- if !$h(img_end) {
- h img_end 1
- sockclose dl_img
- .timerdl_img_end off
- echo 5 -s * Téléchargement terminé.
- }
- }
-
- ;-----------------------------------
- ; alias hadd/$hget par simplicité
- ; /h <item> [value]
- ; $h(>item>)
- ;-----------------------------------
- Alias h {
- if $isid { return $hget(DL_Gallery,$$1) }
- elseif ($2 == $null) { hdel DL_Gallery $$1 }
- else { hadd -m DL_Gallery $$1 $2- }
- }
;-------------------------------------------
; Aspirateur de galeries web / Pada / 2006
;
; - cf le code pour des exemples
; - presque aucune vérif coté paramètres n'est effectuée
; => préciser un path valide !!
; - pas testé avec des espaces dans le path
; - je sais que j'aurais pu factoriser les on sock*,
; ca n'aurait fait que compliquer le code
; et le rendre hermétique à toute évolution
; - marche avec les liens <a> classiques a priori..
; (relatif/absolu, non testé sur les absolus)
; - formats détectés : png/jpg/jpeg/gif
; (changer le masque de regex au besoin)
;
;-------------------------------------------
;aliases exemples (héhé je spamme pour mon sport le vtt trial ^^)
alias ex1 dl_img http://www.espacetrial.com/demos-compets/knokke/knokke/knokke-09.jpg knokke-09.jpg
alias ex2 mkdir trial | dl_gallery http://www.espacetrial.com/demos-compets/knokke/ trial/
;-------------------------------
; aspiration d'une page/galerie
; /dl_gallery <url> <path> [prefix]
;-------------------------------
alias dl_gallery {
sockclose dl_img
hfree -w DL_Gallery
h gal_site $gettok($remove($$1,http://),1,47)
h gal_get $remove($1,http://,$h(gal_site))
h gal_path $iif($right($$2,1) !isin \/,$2 $+ /,$2)
h gal_prefix $3
h gal_N 0
h gal_C 1
h gal_end 0
sockopen dl_gallery $h(gal_site) 80
}
on *:sockopen:dl_gallery:{
if ($sockerr) {
echo -a * /dl_gallery : erreur de connexion au site ( $h(gal_site) )
return
}
echo 4 -s * Aspiration de http:// $+ $h(gal_site) $+ $h(gal_get) en cours ...
sockwrite -n $sockname GET $h(gal_get) HTTP/1.1
sockwrite -nt $sockname Host: $h(gal_site)
sockwrite -n $sockname
.timerdl_gal_end 1 5 dl_gal_end
}
on *:sockread:dl_gallery:{
if ($sockerr) {
echo -a * /dl_gallery : erreur de transaction ( $h(gal_site) )
return
}
sockread &a
var %a 1,%c 1
;si lien coupé en tampon
if $h(TempA) {
if $bfind(&a,1,62) {
var %a $ifmatch
dl_detectlink $h(TempA) $+ $bvar(&a,1,%a).text
}
h TempA
}
;détection d'autres liens
while ($bfind(&a,%a,60 97 32) || $bfind(&a,%a,60 65 32)) {
var %a1 = $bfind(&a,%a,60 97 32)
var %a2 = $bfind(&a,%a,60 65 32)
var %first = $iif(%a1 < %a2,$iif(%a1,%a1,%a2),$iif(%a2,%a2,%a1))
%a = $iif(($bfind(&a,%first,62) <= $calc(%first + 500)) && $bfind(&a,%first,62),$bfind(&a,%first,62),$calc(%first + 1))
;détection de lien
;lien coupé
if (%a == $calc(%first + 1)) {
h TempA $bvar(&a,%first,500).text
;echo -s Mise en tampon : $bvar(&a,%first,500).text
}
;lien ok
else {
dl_detectlink $bvar(&a,%first,$calc(%last - %first + 1)).text
}
;timeout
.timerdl_gal_end 1 5 dl_gal_end
;sécurité
if (%c >= 2000) { break }
inc %c
}
}
on *:sockclose:dl_gallery:{
dl_gal_end
}
alias dl_gal_end {
if !$h(gal_end) {
h gal_end 1
sockclose dl_gallery
.timerdl_gal_end off
echo 4 -s * Gallerie analysée ! $h(gal_N) images ont été trouvées.
echo 4 -s * Téléchargement des images en cours...
dl_treatqueue
}
}
alias dl_detectlink {
;echo 12 -s Lien détecté -> $1-
if $regex($1-,/href="?([^>" ]+?\.(?:jpg|jpeg|png|gif))"?/i) {
h gal_N $calc($h(gal_N) +1)
echo 5 -s * Image détectée : $h(gal_N) -> $remove($regml(1),")
dl_addqueue $h(gal_N) $h(gal_site) $+ $h(gal_get) $regml(1)
}
}
;--------------------------------
; gestion de la queue list
; /dl_addqueue <numero_item> <page> <url_img>
; /dl_treatqueue
;--------------------------------
alias dl_addqueue {
;url relative
if (http:// != $left($$3,7)) {
;url gallerie - fichier
if (. isin $gettok($$2,-1,47)) || (? isin $gettok($$2,-1,47)) { var %url_site = $remove($2,$gettok($2,-1,47)) }
else { var %url_site = $$2 }
var %url_site = http:// $+ $iif(/ == $right(%url_site,1),%url_site,%url_site $+ /)
;url image
var %img = %url_site $+ $3
}
;url absolue
else {
var %img = $3
}
h queue_ $+ $$1 %img
}
alias dl_treatqueue {
var %c = $h(gal_C)
var %url = $h(queue_ $+ %c)
if !%url && !$sock(dl_img).status {
echo 4 -s * Téléchargements terminés !
echo 4 -s * Accès aux images : /run $shortfn($h(gal_path))
return
}
elseif !$sock(dl_img).status {
dl_img %url $h(gal_path) $+ $h(gal_prefix) $+ $gettok(%url,-1,47)
h gal_C $calc($h(gal_C) + 1)
}
;les timers ici sont volontaires, histoire que le /dl_img reste indépendant,
;plutot qu'un appel a la queue en sockclose du dl_img =]
.timer 1 1 dl_treatqueue
}
;--------------------------------
; téléchargement d'une image
; /dl_img <url> <nom_sortie>
;--------------------------------
alias dl_img {
sockclose dl_img
h img_site $gettok($remove($$1,http://),1,47)
h img_get $remove($1,http://,$h(img_site))
h img_path $$2
h img_end 0
sockopen dl_img $h(img_site) 80
}
on *:sockopen:dl_img:{
if ($sockerr) {
echo -a * /dl_img : erreur de connexion au site ( $h(img_site) )
return
}
echo 5 -s * Téléchargement de http:// $+ $h(img_site) $+ $h(img_get) ...
.remove $h(img_path)
sockwrite -n $sockname GET $h(img_get) HTTP/1.1
sockwrite -nt $sockname Host: $h(img_site)
sockwrite -nt $sockname Referer: http:// $+ $h(gal_site) $+ $h(gal_get)
sockwrite -n $sockname
.timerdl_img_end 1 5 dl_img_end
}
on *:sockread:dl_img:{
if ($sockerr) {
echo -a * /dl_img : erreur de transaction ( $h(img_site) )
return
}
sockread &a
;coupure des en têtes
if $bfind(&a, 1,$+($cr,$lf,$cr,$lf)) {
bcopy -z &b 1 &a $calc($ifmatch + 4) -1
bunset &a
if $bvar(&b,0) {
bcopy &a 1 &b 1 -1
}
}
;echo -s Debug : $bvar(&a,1,$bvar(&a,0)).text
if $bvar(&a,0) {
bwrite $h(img_path) -1 -1 &a
}
.timerdl_img_end 1 5 dl_img_end
}
on *:sockclose:dl_img:{
dl_img_end
}
alias dl_img_end {
if !$h(img_end) {
h img_end 1
sockclose dl_img
.timerdl_img_end off
echo 5 -s * Téléchargement terminé.
}
}
;-----------------------------------
; alias hadd/$hget par simplicité
; /h <item> [value]
; $h(>item>)
;-----------------------------------
Alias h {
if $isid { return $hget(DL_Gallery,$$1) }
elseif ($2 == $null) { hdel DL_Gallery $$1 }
else { hadd -m DL_Gallery $$1 $2- }
}
Conclusion
Je remercie bien évidemment mes parents sans qui je n'en serais pas là aujourd'hui.
Historique
- 12 août 2006 03:00:48 :
- Vérification longueur &binvar, pour éviter des erreurs en status (le snippet fonctionnait quand même)
- 12 août 2006 03:12:24 :
- Amélioration Regex
- 12 août 2006 04:08:27 :
- Ajout d'un header "Referer" : certains sites bloquent l'accès direct à leurs images par un .htaccess basé sur le http referer. Ce header permet de passer outre la limitation..
- 12 août 2006 04:13:36 :
- Bug sur les urls raccourcies type url/url/?blah=bleh (le path pour les images était mal construit..)
- 12 août 2006 13:48:09 :
- Corrections diverses grâce à RCA ArKanis =] J'updaterai plus en profondeur d'ici quelques jours
- 13 août 2006 14:38:12 :
- Désormais la page html est chargée en binaire, les détections étaient foirées lorsque la variable "sockreaded" était trop longue.. ce qui empêchait de détecter certains liens
Ajout d'une option pour ajouter un prefixe aux noms des images téléchargées
Par conséquent les path a espaces ne marcheront pas, c'est sûr ^^, utiliser $shortfn
Sources de la même categorie
Commentaires
Discussions en rapport avec ce code source
|
CalendriCode
| | | L | M | M | J | V | S | D |
| | | | 1 | 2 | 3 | 4 |
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 | |
|
Téléchargements
Logiciels à télécharger sur le même thème :
|
|