ASPIRATEUR DE GALERIES INTERNET

;-------------------------------------------
; Aspirateur de galeries web / Pada / 2006
;
; - cf le code pour des exemples
; - presque aucune vérif coté paramètres n'est effectuée
;   => préciser un path valide !!
; - pas testé avec des espaces dans le path
; - je sais que j'aurais pu factoriser les on sock*,
;   ca n'aurait fait que compliquer le code 
;   et le rendre hermétique à toute évolution
; - marche avec les liens <a> classiques a priori.. 
;   (relatif/absolu, non testé sur les absolus)
; - formats détectés : png/jpg/jpeg/gif
;   (changer le masque de regex au besoin)
;
;-------------------------------------------


;aliases exemples (héhé je spamme pour mon sport le vtt trial ^^)
alias ex1 dl_img http://www.espacetrial.com/demos-compets/knokke/knokke/knokke-09.jpg knokke-09.jpg
alias ex2 mkdir trial | dl_gallery http://www.espacetrial.com/demos-compets/knokke/ trial/


;-------------------------------
; aspiration d'une page/galerie
; /dl_gallery <url> <path> [prefix]
;-------------------------------
alias dl_gallery {
  sockclose dl_img
  hfree -w DL_Gallery
  h gal_site $gettok($remove($$1,http://),1,47)
  h gal_get $remove($1,http://,$h(gal_site))
  h gal_path $iif($right($$2,1) !isin \/,$2 $+ /,$2)
  h gal_prefix $3
  h gal_N 0
  h gal_C 1
  h gal_end 0
  sockopen dl_gallery $h(gal_site) 80
}
on *:sockopen:dl_gallery:{
  if ($sockerr) { 
    echo -a * /dl_gallery : erreur de connexion au site ( $h(gal_site) ) 
    return 
  }
  echo 4 -s * Aspiration de http:// $+ $h(gal_site) $+ $h(gal_get) en cours ...
  sockwrite -n $sockname GET $h(gal_get) HTTP/1.1 
  sockwrite -nt $sockname Host: $h(gal_site)
  sockwrite -n $sockname
  .timerdl_gal_end 1 5 dl_gal_end
}
on *:sockread:dl_gallery:{
  if ($sockerr) { 
    echo -a * /dl_gallery : erreur de transaction ( $h(gal_site) )
    return 
  }
  sockread &a
  var %a 1,%c 1

  ;si lien coupé en tampon
  if $h(TempA) {
    if $bfind(&a,1,62) {
      var %a $ifmatch
      dl_detectlink $h(TempA) $+ $bvar(&a,1,%a).text
    }
    h TempA
  }

  ;détection d'autres liens
  while ($bfind(&a,%a,60 97 32) || $bfind(&a,%a,60 65 32)) {
    var %a1 = $bfind(&a,%a,60 97 32)
    var %a2 = $bfind(&a,%a,60 65 32)
    var %first = $iif(%a1 < %a2,$iif(%a1,%a1,%a2),$iif(%a2,%a2,%a1))
    %a = $iif(($bfind(&a,%first,62) <= $calc(%first + 500)) && $bfind(&a,%first,62),$bfind(&a,%first,62),$calc(%first + 1))

    ;détection de lien
    ;lien coupé
    if (%a == $calc(%first + 1)) {
      h TempA $bvar(&a,%first,500).text
      ;echo -s Mise en tampon : $bvar(&a,%first,500).text 
    }
    ;lien ok
    else { 
      dl_detectlink $bvar(&a,%first,$calc(%last - %first + 1)).text
    }
    ;timeout
    .timerdl_gal_end 1 5 dl_gal_end
    ;sécurité
    if (%c >= 2000) { break }
    inc %c
  }

}
on *:sockclose:dl_gallery:{
  dl_gal_end
}
alias dl_gal_end {
  if !$h(gal_end) {
    h gal_end 1
    sockclose dl_gallery
    .timerdl_gal_end off
    echo 4 -s * Gallerie analysée ! $h(gal_N) images ont été trouvées.
    echo 4 -s * Téléchargement des images en cours...
    dl_treatqueue
  }
}

alias dl_detectlink {
  ;echo 12 -s Lien détecté -> $1-
  if $regex($1-,/href="?([^>" ]+?\.(?:jpg|jpeg|png|gif))"?/i) {
    h gal_N $calc($h(gal_N) +1)
    echo 5 -s * Image détectée : $h(gal_N) -> $remove($regml(1),")
    dl_addqueue $h(gal_N) $h(gal_site) $+ $h(gal_get) $regml(1)
  }
}

;--------------------------------
; gestion de la queue list
; /dl_addqueue <numero_item> <page> <url_img>
; /dl_treatqueue
;--------------------------------
alias dl_addqueue {
  ;url relative
  if (http:// != $left($$3,7)) {
    ;url gallerie - fichier
    if (. isin $gettok($$2,-1,47)) || (? isin $gettok($$2,-1,47)) { var %url_site = $remove($2,$gettok($2,-1,47)) }
    else { var %url_site = $$2 }
    var %url_site = http:// $+ $iif(/ == $right(%url_site,1),%url_site,%url_site $+ /)
    ;url image
    var %img = %url_site $+ $3
  }
  ;url absolue
  else {
    var %img = $3
  }
  h queue_ $+ $$1 %img
}
alias dl_treatqueue {
  var %c = $h(gal_C)
  var %url = $h(queue_ $+ %c)
  if !%url && !$sock(dl_img).status { 
    echo 4 -s * Téléchargements terminés !
    echo 4 -s * Accès aux images : /run $shortfn($h(gal_path))
    return
  }
  elseif !$sock(dl_img).status {
    dl_img %url $h(gal_path) $+ $h(gal_prefix) $+ $gettok(%url,-1,47) 
    h gal_C $calc($h(gal_C) + 1)
  }
  ;les timers ici sont volontaires, histoire que le /dl_img reste indépendant,
  ;plutot qu'un appel a la queue en sockclose du dl_img =]
  .timer 1 1 dl_treatqueue
}


;--------------------------------
; téléchargement d'une image
; /dl_img <url> <nom_sortie>
;--------------------------------
alias dl_img {
  sockclose dl_img
  h img_site $gettok($remove($$1,http://),1,47)
  h img_get $remove($1,http://,$h(img_site))
  h img_path $$2
  h img_end 0
  sockopen dl_img $h(img_site) 80
}
on *:sockopen:dl_img:{
  if ($sockerr) { 
    echo -a * /dl_img : erreur de connexion au site ( $h(img_site) )
    return 
  }
  echo 5 -s * Téléchargement de http:// $+ $h(img_site) $+ $h(img_get) ...
  .remove $h(img_path)
  sockwrite -n $sockname GET $h(img_get) HTTP/1.1 
  sockwrite -nt $sockname Host: $h(img_site)
  sockwrite -nt $sockname Referer: http:// $+ $h(gal_site) $+ $h(gal_get)
  sockwrite -n $sockname
  .timerdl_img_end 1 5 dl_img_end
}
on *:sockread:dl_img:{
  if ($sockerr) { 
    echo -a * /dl_img : erreur de transaction ( $h(img_site) )
    return 
  }
  sockread &a
  ;coupure des en têtes
  if $bfind(&a, 1,$+($cr,$lf,$cr,$lf)) {
    bcopy -z &b 1 &a $calc($ifmatch + 4) -1
    bunset &a
    if $bvar(&b,0) {
      bcopy &a 1 &b 1 -1
    }
  }
  ;echo -s Debug : $bvar(&a,1,$bvar(&a,0)).text
  if $bvar(&a,0) {
    bwrite $h(img_path) -1 -1 &a
  }
  .timerdl_img_end 1 5 dl_img_end
}
on *:sockclose:dl_img:{
  dl_img_end
}
alias dl_img_end {
  if !$h(img_end) {
    h img_end 1
    sockclose dl_img
    .timerdl_img_end off
    echo 5 -s * Téléchargement terminé.
  }
}

;-----------------------------------
; alias hadd/$hget par simplicité
; /h <item> [value]
; $h(>item>)
;-----------------------------------
Alias h {
  if $isid { return $hget(DL_Gallery,$$1) }
  elseif ($2 == $null) { hdel DL_Gallery $$1 }
  else { hadd -m DL_Gallery $$1 $2- }
}

12 août 2006 03:00:48 :

Vérification longueur &binvar, pour éviter des erreurs en status (le snippet fonctionnait quand même)

12 août 2006 03:12:24 :

Amélioration Regex

12 août 2006 04:08:27 :

Ajout d'un header "Referer" : certains sites bloquent l'accès direct à leurs images par un .htaccess basé sur le http referer. Ce header permet de passer outre la limitation..

12 août 2006 04:13:36 :

Bug sur les urls raccourcies type url/url/?blah=bleh (le path pour les images était mal construit..)

12 août 2006 13:48:09 :

Corrections diverses grâce à RCA ArKanis =] J'updaterai plus en profondeur d'ici quelques jours

13 août 2006 14:38:12 :

Désormais la page html est chargée en binaire, les détections étaient foirées lorsque la variable "sockreaded" était trop longue.. ce qui empêchait de détecter certains liens Ajout d'une option pour ajouter un prefixe aux noms des images téléchargées Par conséquent les path a espaces ne marcheront pas, c'est sûr ^^, utiliser $shortfn