Modérateurs: Modération Forum Home-Cinéma, Le Bureau de l’Association HCFR • Utilisateurs parcourant ce forum: Beejourcava, Playoda 62, spook, xullux de bordeaux et 35 invités

Tout ce qui concerne les logiciels lié au HC sur ordinateur (PC, Mac, Linux...)
Règles du forum
Avant de poster, merci de prendre connaissance des règles du forum : à lire avant de poster

Les soucis du scraper Ciné-Passion (yaDIS, XBMC,...)

Message » 05 Mar 2011 0:43

hum, le cas thumbgen va effectivement être à étudier, pour les retour de recherche, nan pas de soucis, le résultat de la recherche retourne naturellement l'image en plus des titre, la recherche n'est pas un scrap.
ppic
 
Messages: 23
Inscription Forum: 04 Mar 2011 13:09
  • offline

Message » 05 Mar 2011 10:32

juste pour informations


Liste des logiciels et solutions diverses utilisant le Scraper Ciné-Passion

http://passion-xbmc.org/demande-clef-ap ... e-passion/
wool
 
Messages: 8291
Inscription Forum: 13 Oct 2006 21:15
Localisation: la Drôme
  • offline

Message » 05 Mar 2011 10:50

De mon point de vue, il y a une autre piste pour réduire drastiquement le volume de données utilisé par les applications lors du téléchargement des images des films.
Pour chaque image, il y a 3 tailles fournies par Ciné-Passion: original, preview et thumb. Je suis presque sûr que des applications ne téléchargent que la version "original" même pour présenter les images à l'utilisateur afin de lui permettre de faire son choix. Il faudrait donner comme recommandation aux développeurs d'utiliser le plus souvent possible les petites tailles d'images. La taille "original" ne devrait être utilisée que lorsque l'utilisateur a fait son choix final de la jaquette et du fanart à utiliser. Les développeurs devrait aussi mettre systématiquement en cache toutes les images téléchargées. yaDIS fait déjà tout ça ;)
Il faudrait aussi que Ciné-Passion puisse vérifier cette bonne utilisation. Seulement ce n'est pas possible aujourd'hui. Les liens vers les images sont directs et ne contiennent aucune référence à la clé API du logiciel. Si c'était le cas, Ciné-Passion pourrait aisément repérer les applications très gourmandes au niveau des images. Je suggère donc que les urls vers les images contiennent la clé API du programme. Cela est fait pour le rapatriement des infos des films. Il faudrait l'étendre aux images.
Avatar de l’utilisateur
Fred-L
Membre HCFR Contributeur
Membre HCFR Contributeur
 
Messages: 5282
Inscription Forum: 25 Jan 2002 2:00
  • offline

Message » 05 Mar 2011 14:14

yep, ces pistes sont déjà en partie résolu au niveau de la v2, ces suggestion sont effectivement interessante de mon point de vue, je transmets ces idées.

pour question: visiblement, des paroles sont arrivées chez nous disant que tu laissais tomber totalement cinépassion et que ce ne serait plus utilisable, qu'en est il de ton coté, car je n'ai pour ma part rien lu de tel de ta part?
ppic
 
Messages: 23
Inscription Forum: 04 Mar 2011 13:09
  • offline

Message » 05 Mar 2011 14:20

Salut les gars, j'ai retrouvé mon compte sur votre site.
J'en ai profité pour mettre notre point de vue définitif
http://passion-xbmc.org/scraper-cine-pa ... icseen#new
skypichat
 
Messages: 12
Inscription Forum: 26 Aoû 2008 22:33
  • offline

Message » 05 Mar 2011 15:01

ppic a écrit:yep, ces pistes sont déjà en partie résolu au niveau de la v2, ces suggestion sont effectivement interessante de mon point de vue, je transmets ces idées.

pour question: visiblement, des paroles sont arrivées chez nous disant que tu laissais tomber totalement cinépassion et que ce ne serait plus utilisable, qu'en est il de ton coté, car je n'ai pour ma part rien lu de tel de ta part?

Je ne laisse pas totalement tomber cinépassion. C'est juste qu'avec la prochaine version que je prépare ce week-end en urgence, yaDIS n'utilisera que TMDb.org.
En fait, comme vous avez dit qu'il y aurait des évolutions par rapport à la décision actuelle (1€ = 100 scrapes), je préfère patienter avant de développer quoi que ce soit au niveau cinépassion.

J'ai un peu réfléchi ces derniers jours et je pense que la situation devrait évoluer dans la direction suivante.
Je n'ai pas de soucis avec le fait de donner des scrapes en fonction des donations. Cependant, quelqu'un qui veut tester votre service doit aujourd'hui verser une donation obligatoirement. je préfèrerais qu'un accès "gratuit" persiste afin que les nouveaux venus puissent tester le service avant de décider d'une donation. L'accès "gratuit" (qui nécessiterait toujours un user/password) pourrait par exemple ne permettre que 1 à 5 scrapes par jour. Une personne satisfaite du service pourrait alors décider de traiter tous ses films avec cinépassion en faisant une donation qui lui permettrait de traiter tous ses films.

Par contre, il faut vraiment que vous cadriez plus les logiciels qui exploitent votre base. Ces logiciels doivent être économes en téléchargement d'images (utilisation d'un cache local, téléchargement des images larges que si nécessaire, etc...). L'accès aux images doit se faire de façon à ce que vous puissiez identifier les utilisateurs/logiciels qui abusent du service. Une fois que les urls vers les images sont connues du logiciel ou de l'utilisateur, vous ne contrôlez plus l'accès aux images qui est direct et le logiciel/utilisateur peut faire n'importe quoi.

Voilà mon point de vue ;)
Je reste disponible pour continuer d'en parler.
Avatar de l’utilisateur
Fred-L
Membre HCFR Contributeur
Membre HCFR Contributeur
 
Messages: 5282
Inscription Forum: 25 Jan 2002 2:00
  • offline

Message » 05 Mar 2011 21:47

c'est le type de solution vers lequels on s'oriente effectivement.
concernant les images, tu as totalement raison, c'est une des amélioration a apporter coté scraper.
ppic
 
Messages: 23
Inscription Forum: 04 Mar 2011 13:09
  • offline

Message » 05 Mar 2011 22:44

ppic a écrit:c'est le type de solution vers laquelle on s'oriente effectivement.
concernant les images, tu as totalement raison, c'est une des amélioration a apporter coté scraper.

Et bin voila un truc qui fait plaisir. La prochaine fois vous écouterez un peu les autres, tout le monde n'est pas la pour mendier. nous pouvons aussi apporter des idées.
skypichat
 
Messages: 12
Inscription Forum: 26 Aoû 2008 22:33
  • offline

Message » 05 Mar 2011 23:45

skypichat a écrit:
ppic a écrit:c'est le type de solution vers laquelle on s'oriente effectivement.
concernant les images, tu as totalement raison, c'est une des amélioration a apporter coté scraper.

Et bin voila un truc qui fait plaisir. La prochaine fois vous écouterez un peu les autres, tout le monde n'est pas la pour mendier. nous pouvons aussi apporter des idées.


on n'a jamais été totalement fermé, dès lors que l'on est sorti des idées et propositions fantaisistes :wink:
ppic
 
Messages: 23
Inscription Forum: 04 Mar 2011 13:09
  • offline

Message » 06 Mar 2011 10:20

Ca va faire du vide...
Je viens par hasard de lire ceci

http://passion-xbmc.org/scraper-cine-pa ... icseen#new

d'une manière générale, je pense que les propositions de Fred se tiennent...
et pour ma part je patienterai pour continuer à utiliser la base actuelle, comme je l'ai déjà dit, 500 scraps me laissent au moins 2 ans d'avance.... alors pour 5 euros, cela ne me gène pas

A coté de çà, je ré-insiste du coté de Fred sur le coté "exportation basique" de yadis... qui pour moi est malheureusement une condition sine qua non pour une utilisation Yadis/Cinepassion

de tout coeur avec vous tous
et à bientôt
Kervinou
 
Messages: 891
Inscription Forum: 12 Oct 2009 10:32
Localisation: à coté de Belle Epine
  • offline

Message » 06 Mar 2011 12:31

les solutions actuelle pour nos scraper compatible Dune..


du coté de Zappiti,

Christophe CHEREL a écrit:Bonjour,

Après avoir réfléchi à de nombreuses solutions, voici ce qui est ressorti :
1. Zappiti est un logiciel gratuit. Il doit le rester et le fait de devoir payer uniquement pour pouvoir récupérer des Jaquettes ne nous parrait pas acceptable.
2. La solution de récupérer les Jaquettes françaises (ce que propose certains logiciels) n'est pas envisageable car d'une part, nous n'avons pas l'autorisation de récupérer des images en masse sur Allociné (charge serveur supplémentaire pour Allociné) et d'autre part, Allociné ne propose qu'une seule Jaquette.

Nous avons donc opté pour la solution suivante :
Lors du scrap automatique des films, Zappiti récupèrera la jaquette correspondant au premier résultat de TMDb. Les infos du films (résumé, acteurs...) seront toujours récupérées sur Allociné. Il se pourra donc que la jaquette ne corresponde pas tout à fait, auquel cas, l'utilisateur pourra scraper les posters manuellement en choisissant le bon film dans la liste de résultats de TMDb. Cette solution est en cours d'implémentation et une nouvelle version stable de Zappiti devrait être publiée rapidement.

Plus tard, nous développerons notre propre base de jaquettes et d'infos de films communautaire dédiée à Zappiti. Ainsi, Zappiti ne sera plus lié à l'un ou l'autre des scrapers, car rien ne nous dit que plus tard Cinepassion décide de passer à 10€ les 500 scraps...

Christophe


Christophe CHEREL a écrit:C'est une solution que nous sommes en train d'étudier et qui semble être une bonne solution en effet. Nous sommes en train de voir si l'on ne pourrait pas uploader directement les infos françaises depuis Zappiti directement.






du coté de yadis


Citation de Fred:

" Dans le cadre du développement de yaDIS, j'ai été plusieurs fois en contact avec des personnes de Passion-XBMC. Cela s'est toujours bien passé et j'ai apprécié leur disponibilité. C'est ce que je retiendrais avant tout.

Comme vient de le dire ppic, les choses vont évoluer. En conséquence, je vais attendre un peu avant de réutiliser Ciné-Passion avec yaDIS. Histoire que les choses se stabilisent et soient claires pour éviter des développement inutiles (moi aussi mon temps de bénévolat est précieux).

Bon courage à l'équipe de Ciné-Passion."


http://passion-xbmc.org/demande-clef-ap ... icseen#new
wool
 
Messages: 8291
Inscription Forum: 13 Oct 2006 21:15
Localisation: la Drôme
  • offline

Message » 06 Mar 2011 13:02

Kervinou a écrit:Ca va faire du vide...
Je viens par hasard de lire ceci

http://passion-xbmc.org/scraper-cine-pa ... icseen#new

d'une manière générale, je pense que les propositions de Fred se tiennent...
et pour ma part je patienterai pour continuer à utiliser la base actuelle, comme je l'ai déjà dit, 500 scraps me laissent au moins 2 ans d'avance.... alors pour 5 euros, cela ne me gène pas

A coté de çà, je ré-insiste du coté de Fred sur le coté "exportation basique" de yadis... qui pour moi est malheureusement une condition sine qua non pour une utilisation Yadis/Cinepassion

de tout coeur avec vous tous
et à bientôt



il y a donc la première solution, a qui payer 5 euros pour 500 scrapes convient bien évidement puisqu'il utilise occasionnellement les scrapes, maintenant reste à faire la mise à jour des softs compatible Dune..

et puis il y a les gros utilisateurs de scrape qui devrait dépenser des sommes considérable pour pouvoir scraper les contenues de tout son entourage .. car ses personnes savent tout juste se servir de leurs platines Dune..
j'imagine bien que ces utilisateurs préfère de loin la solution d'une autre base de données..


Ciné Passion à donc proposé une solution mais le choix n'est malheureusement pas assez large et ne s'adapte pas à toutes les utilisateurs.. donc pour moi c'est encore à revoir..

un illimité serait donc à prévoir du coté de Ciné Passion et ceux peut importe le scraper ( PC, platines etc.), cette offre pourrais se faire sous une contribution annuelle avec en échange un accès en illimité aux scrapes de la base de données..

donc beaucoup d'utilisateur sont certes attaché à la base de données de Ciné Passion et dans le cas ou l'utilisateur est un gros consommateur cela peut être un gouffre financier, Ciné Passion n'a pas vraiment l'air de s'en rendre compte..

alors pourquoi se prendre la tête à payer des servers , alors qu' il existe une base de données totalement gratuite..

Ciné Passion pourrais migrer sur themoviedb tout simplement, il n'y aurais plus aucune dépense et le résultat serait exactement le même aux niveau fonctionnel ..

le forum serait encore là pour faire le point sur ce qui est à référencer pour que la base Fr soit de qualité..

je ne pense pas que tout le monde approuve mais c'est une idée qui permettrait de régler rapidement le problème .. de plus themoviedb est accessible facilement par tout le monde et ceux gratuitement..

le problème et financier donc cherchons une solutions qui ne coute rien tant qu'a faire.. pourquoi faire des doublons et ben je me demande ?

XMBC serait toujours là pour les PC mais utiliserais themoviedb pour scrapper..idem pour le reste..
wool
 
Messages: 8291
Inscription Forum: 13 Oct 2006 21:15
Localisation: la Drôme
  • offline

Message » 06 Mar 2011 13:27

Moi j'aurais juste une question, qui me vient en tête.

Pourquoi, il bloque pas la bande passante disponible ?

Genre mettre 1 Gbits de bande passante maxi, avec 1 000 connections maxi en même temps ?

Les chiffres sont qu'un exemple bien sur.
jonathanhh
 
Messages: 242
Inscription Forum: 17 Mar 2010 22:05
  • offline

Message » 06 Mar 2011 13:40

jonathanhh a écrit:Moi j'aurais juste une question, qui me vient en tête.

Pourquoi, il bloque pas la bande passante disponible ?

Genre mettre 1 Gbits de bande passante maxi, avec 1 000 connections maxi en même temps ?

Les chiffres sont qu'un exemple bien sur.


c'est une solutions quand on va utiliser un seul fichiers, mais imagine aussi le temps que l'on mettrais pour scrapper tout une liste de films, se serait interminable..
wool
 
Messages: 8291
Inscription Forum: 13 Oct 2006 21:15
Localisation: la Drôme
  • offline

Message » 06 Mar 2011 14:04

pour info, la bande passante n'est qu'un des facteur posant problème, ce ne sont pas les seules ressources consommées par un serveur.
wool: quand tu parles des "gros consommateur", en fait tu parles des gens qui rescrappe leur biblio non stop en fait ? parce même en étant filmovore, +de 1000 films par an, c'est tout de même assez énorme.
c'est justement ces gros consommateurs qui ont contribués à mener à la situation qui est actuelle, il parait donc normal que ce soit les plus gros consommateur qui doivent le plus participer non?
concernant un transfert de la base vers tmdb, et quid si d'ici 2 mois il se retrouve plombé comme nous, le sait tu toi? pas plus que nous je le pense, c'est bien pour cela que nous avons lancé ce projet ciné passion.
ppic
 
Messages: 23
Inscription Forum: 04 Mar 2011 13:09
  • offline


Retourner vers Logiciel PC Home-cinéma

 
  • Articles en relation
    Dernier message