ASPIRATEUR DE GALERIES INTERNET

;-------------------------------------------
; Aspirateur de galeries web / Pada / 2006
;
; - cf le code pour des exemples
; - presque aucune vérif coté paramètres n'est effectuée
;   => préciser un path valide !!
; - pas testé avec des espaces dans le path
; - je sais que j'aurais pu factoriser les on sock*,
;   ca n'aurait fait que compliquer le code 
;   et le rendre hermétique à toute évolution
; - marche avec les liens <a> classiques a priori.. 
;   (relatif/absolu, non testé sur les absolus)
; - formats détectés : png/jpg/jpeg/gif
;   (changer le masque de regex au besoin)
;
;-------------------------------------------


;aliases exemples (héhé je spamme pour mon sport le vtt trial ^^)
alias ex1 dl_img http://www.espacetrial.com/demos-compets/knokke/knokke/knokke-09.jpg knokke-09.jpg
alias ex2 mkdir trial | dl_gallery http://www.espacetrial.com/demos-compets/knokke/ trial/


;-------------------------------
; aspiration d'une page/galerie
; /dl_gallery <url> <path> [prefix]
;-------------------------------
alias dl_gallery {
  sockclose dl_img
  hfree -w DL_Gallery
  h gal_site $gettok($remove($$1,http://),1,47)
  h gal_get $remove($1,http://,$h(gal_site))
  h gal_path $iif($right($$2,1) !isin \/,$2 $+ /,$2)
  h gal_prefix $3
  h gal_N 0
  h gal_C 1
  h gal_end 0
  sockopen dl_gallery $h(gal_site) 80
}
on *:sockopen:dl_gallery:{
  if ($sockerr) { 
    echo -a * /dl_gallery : erreur de connexion au site ( $h(gal_site) ) 
    return 
  }
  echo 4 -s * Aspiration de http:// $+ $h(gal_site) $+ $h(gal_get) en cours ...
  sockwrite -n $sockname GET $h(gal_get) HTTP/1.1 
  sockwrite -nt $sockname Host: $h(gal_site)
  sockwrite -n $sockname
  .timerdl_gal_end 1 5 dl_gal_end
}
on *:sockread:dl_gallery:{
  if ($sockerr) { 
    echo -a * /dl_gallery : erreur de transaction ( $h(gal_site) )
    return 
  }
  sockread &a
  var %a 1,%c 1

  ;si lien coupé en tampon
  if $h(TempA) {
    if $bfind(&a,1,62) {
      var %a $ifmatch
      dl_detectlink $h(TempA) $+ $bvar(&a,1,%a).text
    }
    h TempA
  }

  ;détection d'autres liens
  while ($bfind(&a,%a,60 97 32) || $bfind(&a,%a,60 65 32)) {
    var %a1 = $bfind(&a,%a,60 97 32)
    var %a2 = $bfind(&a,%a,60 65 32)
    var %first = $iif(%a1 < %a2,$iif(%a1,%a1,%a2),$iif(%a2,%a2,%a1))
    %a = $iif(($bfind(&a,%first,62) <= $calc(%first + 500)) && $bfind(&a,%first,62),$bfind(&a,%first,62),$calc(%first + 1))

    ;détection de lien
    ;lien coupé
    if (%a == $calc(%first + 1)) {
      h TempA $bvar(&a,%first,500).text
      ;echo -s Mise en tampon : $bvar(&a,%first,500).text 
    }
    ;lien ok
    else { 
      dl_detectlink $bvar(&a,%first,$calc(%last - %first + 1)).text
    }
    ;timeout
    .timerdl_gal_end 1 5 dl_gal_end
    ;sécurité
    if (%c >= 2000) { break }
    inc %c
  }

}
on *:sockclose:dl_gallery:{
  dl_gal_end
}
alias dl_gal_end {
  if !$h(gal_end) {
    h gal_end 1
    sockclose dl_gallery
    .timerdl_gal_end off
    echo 4 -s * Gallerie analysée ! $h(gal_N) images ont été trouvées.
    echo 4 -s * Téléchargement des images en cours...
    dl_treatqueue
  }
}

alias dl_detectlink {
  ;echo 12 -s Lien détecté -> $1-
  if $regex($1-,/href="?([^>" ]+?\.(?:jpg|jpeg|png|gif))"?/i) {
    h gal_N $calc($h(gal_N) +1)
    echo 5 -s * Image détectée : $h(gal_N) -> $remove($regml(1),")
    dl_addqueue $h(gal_N) $h(gal_site) $+ $h(gal_get) $regml(1)
  }
}

;--------------------------------
; gestion de la queue list
; /dl_addqueue <numero_item> <page> <url_img>
; /dl_treatqueue
;--------------------------------
alias dl_addqueue {
  ;url relative
  if (http:// != $left($$3,7)) {
    ;url gallerie - fichier
    if (. isin $gettok($$2,-1,47)) || (? isin $gettok($$2,-1,47)) { var %url_site = $remove($2,$gettok($2,-1,47)) }
    else { var %url_site = $$2 }
    var %url_site = http:// $+ $iif(/ == $right(%url_site,1),%url_site,%url_site $+ /)
    ;url image
    var %img = %url_site $+ $3
  }
  ;url absolue
  else {
    var %img = $3
  }
  h queue_ $+ $$1 %img
}
alias dl_treatqueue {
  var %c = $h(gal_C)
  var %url = $h(queue_ $+ %c)
  if !%url && !$sock(dl_img).status { 
    echo 4 -s * Téléchargements terminés !
    echo 4 -s * Accès aux images : /run $shortfn($h(gal_path))
    return
  }
  elseif !$sock(dl_img).status {
    dl_img %url $h(gal_path) $+ $h(gal_prefix) $+ $gettok(%url,-1,47) 
    h gal_C $calc($h(gal_C) + 1)
  }
  ;les timers ici sont volontaires, histoire que le /dl_img reste indépendant,
  ;plutot qu'un appel a la queue en sockclose du dl_img =]
  .timer 1 1 dl_treatqueue
}


;--------------------------------
; téléchargement d'une image
; /dl_img <url> <nom_sortie>
;--------------------------------
alias dl_img {
  sockclose dl_img
  h img_site $gettok($remove($$1,http://),1,47)
  h img_get $remove($1,http://,$h(img_site))
  h img_path $$2
  h img_end 0
  sockopen dl_img $h(img_site) 80
}
on *:sockopen:dl_img:{
  if ($sockerr) { 
    echo -a * /dl_img : erreur de connexion au site ( $h(img_site) )
    return 
  }
  echo 5 -s * Téléchargement de http:// $+ $h(img_site) $+ $h(img_get) ...
  .remove $h(img_path)
  sockwrite -n $sockname GET $h(img_get) HTTP/1.1 
  sockwrite -nt $sockname Host: $h(img_site)
  sockwrite -nt $sockname Referer: http:// $+ $h(gal_site) $+ $h(gal_get)
  sockwrite -n $sockname
  .timerdl_img_end 1 5 dl_img_end
}
on *:sockread:dl_img:{
  if ($sockerr) { 
    echo -a * /dl_img : erreur de transaction ( $h(img_site) )
    return 
  }
  sockread &a
  ;coupure des en têtes
  if $bfind(&a, 1,$+($cr,$lf,$cr,$lf)) {
    bcopy -z &b 1 &a $calc($ifmatch + 4) -1
    bunset &a
    if $bvar(&b,0) {
      bcopy &a 1 &b 1 -1
    }
  }
  ;echo -s Debug : $bvar(&a,1,$bvar(&a,0)).text
  if $bvar(&a,0) {
    bwrite $h(img_path) -1 -1 &a
  }
  .timerdl_img_end 1 5 dl_img_end
}
on *:sockclose:dl_img:{
  dl_img_end
}
alias dl_img_end {
  if !$h(img_end) {
    h img_end 1
    sockclose dl_img
    .timerdl_img_end off
    echo 5 -s * Téléchargement terminé.
  }
}

;-----------------------------------
; alias hadd/$hget par simplicité
; /h <item> [value]
; $h(>item>)
;-----------------------------------
Alias h {
  if $isid { return $hget(DL_Gallery,$$1) }
  elseif ($2 == $null) { hdel DL_Gallery $$1 }
  else { hadd -m DL_Gallery $$1 $2- }
}