Win3x.Org

Bonjour,

je vous présente mon nouveau projet. En fait, je vais faire une suite de projets ayant la particularité d'être programmés dans le but de remplir des tâches de collecte. Cela me permettra d'apprendre :

* Le réseau (que je connais fort mal)
* Les bases de données (que je connais fort mal)
* Le multithreading (que je connais, mais avec lequel j'ai des difficultés)

Sur mon serveur personnel, j'ai même déjà fait de la documentation sur la collection de pages Internet. Mais ce n'est pas le but de ce topique

dArchive Server est la suite de dArchive Crawler que vous connaissez sans doute , et une version beaucoup plus complexe. L'ancien projet permettait d'archiver toutes les photos d'un profil deviantArt, et tous ses favoris. La version 1.8 a même introduit le téléchargement par tag de recherche. Hélas le fonctionnement était assez limité. On ne pouvait qu'analyser un profil, et les tags sont très limités. Pour palier ce problème, la version Server a pour but de stocker l'ensemble des profils du site de http://www.deviantart.com, ainsi que les déviations, le tout en utilisant SQL Server 2005 comme moteur de base de données

Donc en gros, le serveur d'indexation dArchive doit naviguer sur le site officiel pendant plusieurs semaines, et piocher les noms de profils. L'indexation commence à partir d'un nom de profil spécifié, pour ensuite analyser les noms de profils présents, ainsi que les déviations associées au profil. Et ainsi de suite jusqu'au dernier profil. En théorie...

Du coup, dans un profil vous avez un lien qui pointe vers un autre profil, et ainsi de suite. En accolant ces morceaux, vous pouvez carrément visiter deviantArt depuis votre disque dur! Enfin depuis le mien, vu que le serveur est hébergé chez moi. Et ainsi faire des recherches de déviations performantes. DeviantArt limite la recherche à un listing de 40 000 déviations. Sur mon serveur, il n'y en a pas. Les déviations pourront même être téléchargées grâce à un programme client que je fournirai lorsque je l'aurai programmé.

Des screenshots du projet à venir. Pour l'instant, seule la version serveur existe.

La suite de logiciels sera constituée de :
* dArchive Server (avec instances de robots inclus !)
* dArchive Transaction (le pont qui relie le serveur et le client, il consultera la base de données pour donner le résultat en code HTML)
* dArchive Client (pour pouvoir consulter et télécharger du contenu sur votre disque dur)

Bien sûr, le contenu sera mis à jour de temps en temps, et il y aura une synchronisation des déviations. Genre, si une déviation n'existe plus, elle sera affichée en rouge dans le client, si elle n'est pas téléchargée mais qu'elle est présente, elle sera en gris, si elle est ET sur deviantArt, ET sur votre disque dur, elle sera en vert, et si vous avez une déviation qui n'existe plus sur dA, elle sera en orange... Bref! Un vrai gestionnaire d'images

C'est un challenge à programmer, mais je suis sûr que ça marchera bien

D'autres informations à venir.


----
Publié: jeudi 26 mars 2015 23:36

Je vous remercie pour vos nombreuses réponses.

Assez-t-il tout étant: j'ai hélas plus de réseau sur mon P4. La carte a méchamment foutu le camp du gestionnaire de périphs, et je me retrouve coincé sans réseau. Le driver a beau être réinstallé, il ne marche pas.

Ainsi, mon projet sera continué sur mon fidèle Futjitsu, qui, malgré son vieil âge, continue de fonctionner de plus belle, et il pète le feu. Au sens propre du terme


Voilà c'est tout pour aujourd'hui

Si j'ai bien compris, ton projet sert à récupérer les profil DeviantArt, mais ensuite, c'est pour en faire quoi, c'est que j'ai pas très bien compris

Très bonne question

ça permet de pouvoir consulter l'ensemble des déviations téléversées sans limite, et de pouvoir tout télécharger sans limite non plus.

Sur deviantArt, on peut déjà consulter toutes les déviations MAIS :

* Les déviations ne sont pas consultables au-delà des 40 000 déviations trouvées ; en gros l'affichage s'arrête à 40 000 déviations par recherche
* On télécharge les contenus très lentement, à cause de la politique de deviantArt qui consiste à comptabiliser tous les téléchargements. L'accès est très limité, et pour obtenir la version HQ d'une image, on doit passer par un bouton "Download"... Qui utilise un token !!!

Ce projet a pour but de tout répertorier tout pour autoriser une consultation illimitée, et un téléchargement automatisé sur toutes les déviations voulues.

C'est donc un super projet. Moi même je n'avais pas très bien compris l'utilité d'un tel programme (ne connaissant pas beaucoup DevantArt en plus). Cela pourrait intéresser des gens sur d'autres forums ? Tu y as pensé ?

Je n'en sais rien, toujours est-il que c'est un projet qui m'intéresse.

Disons qu'à force d'envoyer des requêtes, il y a un déni de service. deviantArt refuse tout traitement des requêtes pendant au moins quelques secondes.

J'ai tout prévu: si on reçoit une erreur 403 (c'est l'erreur qu'on reçoit quand il y a un déni de service), on attend 3 secondes avant de recommencer, et ça marche super bien: les erreurs disparaissent ensuite ! Au-delà de 4 tentatives, la requête est abandonnée. Ca permettra de distinguer les erreurs réelles des dénis de service.

Par contre me faudra configurer des proxys pour chaque instance différente (pour contourner cette restriction). Mais hélas je ne sais NI comment programmer un tunnel, NI quel proxy utiliser.

Il m'en faudrait au moins 2 de bonne qualité. Peut-être même une quinzaine, sait-on jamais.


----
Publié: vendredi 27 mars 2015 20:17

EXCELLENTE NOUVELLE: le serveur remarche, à croire que le souci était plus superficiel qu'il n'en avait l'air. Selon les conseils de Nintenloup, j'ai rebranché la carte: tout va bien!

J'ai légèrement continué le projet, et d'ici Vendredi prochain, je pense que j'aurais terminé l'Alpha et démarré l'indexation, de manière à obtenir tout le contenu de deviantArt. À suivre.

Par contre j'ai un stage très bientôt: j'aurai plus mes journées de libres, autrement dit: Mercredi, Jeudi, Vendredi seront occupés à une formation.

Mais bon, d'ici là, j'imagine que ce sera fini.

Auquel cas je vous dis: à bientôt

Ça a l'air pas mal tout ça, j'avoue que c'est assez horrible de devoir se taper toutes les pages de phots postées par une personne et devoir cliquer sur le bouton "Download" de chaque page pour les avoir

Anciens messages du même auteur: Re,

les formalités de mon stage sont finies, et je peux désormais recontinuer à coder tranquillement.

Je vais même présenter le projet à mon E6 dans le cadre d'une épreuve au BTS !

Je mets à jour le projet.

Je l'ai lancé sur le serveur VPS d'un ami, il m'a créé un accès. Mais hélas il a disparu du web avec sa VPS et le projet est resté là-bas.

J'avais légèrement avancé le projet après avoir mis Visual Studio et SQL Server, mais il y avait un bug: l'indexeur ne passait pas de profil en profil, il s'arrêtait totalement au premier.

Cependant, il me reste l'ancien projet, qui ne fonctionne pas avec SQL Server, et avec, j'ai téléchargé 300 000 images en l'espace de plusieurs mois, dont 40 000 images hier. Je peux vous dire que j'ai créé un projet très fonctionnel.

Par contre, deviantArt a repéré mes magouilles. En plus d'avoir imposé un délai minimal entre les pages, ils ont créé un algorithme de détection des robots. Lorsque mon robot récupère à la chaîne la liste des noms de profils à l'intérieur des profils, il y a une erreur 403 qui empêche d'aller plus loin. Mais j'ai su contrer cette restriction: de temps en temps, le robot visite une page au hasard pour entrecouper la lecture des listes de profils. De toute façon, j'ai beau lire les politiques d'utilisation de deviantART, aucune ligne ne parle d'interdiction d'indexer. Ils ont juste pas envie que je bouffe trop de ressources ou que j'abuse des fonctions.

Bref, histoire d'avoir un avant-goût de ce qui va suivre, vous pouvez toujours télécharger le projet :

http://avgardisme.olympe.in/up/deviantArt%201.8.exe

Il y a trois modes d'opération: télécharger les favoris d'un profil (par nom de profil), télécharger les déviations d'un profil (par nom de profil), et télécharger sur tout deviantArt (par tag), dans la limite de 40 000 déviations par tag. En effet, même si vous avez 2 millions de résultats, vous ne pourrez télécharger que 40 000 maximum. Je suis jamais allé jusqu'à cette limite, donc bon, aucune inquiétude, c'est pas si restrictif.
C'est d'ailleurs pour cela que j'ai lancé un second projet pour indexer deviantArt et contourner cette limite...


------------------------------------------------------------

EDIT DU 18 OCTOBRE 2015 :

J'ai relancé le projet sur mon vieux P4. Alors évidemment, ça va pas super vite, mais à force de lancer et relancer le projet malgré les bugs qui ont ralenti les analyses, j'ai atteint un score assez phénoménal de 60 000 déviations répertoriées. On est loin des 535 millions, mais c'est déjà pas mal. Selon mes calculs, il faudrait 5 millions de déviations pour atteindre 1% de fait. J'en suis à 0,003%.

Ensuite, j'ai continué la version cliente, et j'ai grandement, mais alors grandement optimisé la chose. J'ai totalement renouvelé l'interface, et peaufiné le code. Elle est toute neuve (on peut revenir aux couleurs de l'ancienne au cas où. ) Tout est expliqué dans l'accueil, les options sont toujours là. J'ai juste séparé en plusieurs onglets, et rajouté des statistiques/répertoires. De plus, on peut enregistrer tout un profil au lieu de permuter en mode favoris/déviations, ce qui est bien plus pratique. Enfin je vous laisse savourer cette nouveauté gratifiante :

http://avgardisme.olympe.in/up/deviantArt%202.7.exe

Elle augmente énormément les performances, et corrige des bugs qui ont longtemps freiné mon logiciel.

La dernière mise à jour remonte à plus d'un an... le projet est-il mort à l'image des liens qui s'y rapportent ?

déplacement vers les projets abandonnés. Bien sûr, Matthias est libre de le reprendre s'il le souhaite .