|
Modérateurs: Modération Forum Home-Cinéma, Le Bureau de l’Association HCFR • Utilisateurs parcourant ce forum: HAKEM et 50 invités
Tout ce qui concerne les logiciels lié au HC sur ordinateur (PC, Mac, Linux...)
Règles du forum
Avant de poster, merci de prendre connaissance des règles du forum : à lire avant de poster
Avant de poster, merci de prendre connaissance des règles du forum : à lire avant de poster
Les soucis du scraper Ciné-Passion (yaDIS, XBMC,...)
hum, le cas thumbgen va effectivement être à étudier, pour les retour de recherche, nan pas de soucis, le résultat de la recherche retourne naturellement l'image en plus des titre, la recherche n'est pas un scrap.
- ppic
- Messages: 23
- Inscription Forum: 04 Mar 2011 13:09
juste pour informations
Liste des logiciels et solutions diverses utilisant le Scraper Ciné-Passion
http://passion-xbmc.org/demande-clef-ap ... e-passion/
Liste des logiciels et solutions diverses utilisant le Scraper Ciné-Passion
http://passion-xbmc.org/demande-clef-ap ... e-passion/
- wool
- Messages: 8291
- Inscription Forum: 13 Oct 2006 21:15
- Localisation: la Drôme
De mon point de vue, il y a une autre piste pour réduire drastiquement le volume de données utilisé par les applications lors du téléchargement des images des films.
Pour chaque image, il y a 3 tailles fournies par Ciné-Passion: original, preview et thumb. Je suis presque sûr que des applications ne téléchargent que la version "original" même pour présenter les images à l'utilisateur afin de lui permettre de faire son choix. Il faudrait donner comme recommandation aux développeurs d'utiliser le plus souvent possible les petites tailles d'images. La taille "original" ne devrait être utilisée que lorsque l'utilisateur a fait son choix final de la jaquette et du fanart à utiliser. Les développeurs devrait aussi mettre systématiquement en cache toutes les images téléchargées. yaDIS fait déjà tout ça
Il faudrait aussi que Ciné-Passion puisse vérifier cette bonne utilisation. Seulement ce n'est pas possible aujourd'hui. Les liens vers les images sont directs et ne contiennent aucune référence à la clé API du logiciel. Si c'était le cas, Ciné-Passion pourrait aisément repérer les applications très gourmandes au niveau des images. Je suggère donc que les urls vers les images contiennent la clé API du programme. Cela est fait pour le rapatriement des infos des films. Il faudrait l'étendre aux images.
Pour chaque image, il y a 3 tailles fournies par Ciné-Passion: original, preview et thumb. Je suis presque sûr que des applications ne téléchargent que la version "original" même pour présenter les images à l'utilisateur afin de lui permettre de faire son choix. Il faudrait donner comme recommandation aux développeurs d'utiliser le plus souvent possible les petites tailles d'images. La taille "original" ne devrait être utilisée que lorsque l'utilisateur a fait son choix final de la jaquette et du fanart à utiliser. Les développeurs devrait aussi mettre systématiquement en cache toutes les images téléchargées. yaDIS fait déjà tout ça
Il faudrait aussi que Ciné-Passion puisse vérifier cette bonne utilisation. Seulement ce n'est pas possible aujourd'hui. Les liens vers les images sont directs et ne contiennent aucune référence à la clé API du logiciel. Si c'était le cas, Ciné-Passion pourrait aisément repérer les applications très gourmandes au niveau des images. Je suggère donc que les urls vers les images contiennent la clé API du programme. Cela est fait pour le rapatriement des infos des films. Il faudrait l'étendre aux images.
-
Fred-L - Membre HCFR
- Messages: 5432
- Inscription Forum: 25 Jan 2002 2:00
yep, ces pistes sont déjà en partie résolu au niveau de la v2, ces suggestion sont effectivement interessante de mon point de vue, je transmets ces idées.
pour question: visiblement, des paroles sont arrivées chez nous disant que tu laissais tomber totalement cinépassion et que ce ne serait plus utilisable, qu'en est il de ton coté, car je n'ai pour ma part rien lu de tel de ta part?
pour question: visiblement, des paroles sont arrivées chez nous disant que tu laissais tomber totalement cinépassion et que ce ne serait plus utilisable, qu'en est il de ton coté, car je n'ai pour ma part rien lu de tel de ta part?
- ppic
- Messages: 23
- Inscription Forum: 04 Mar 2011 13:09
Salut les gars, j'ai retrouvé mon compte sur votre site.
J'en ai profité pour mettre notre point de vue définitif
http://passion-xbmc.org/scraper-cine-pa ... icseen#new
J'en ai profité pour mettre notre point de vue définitif
http://passion-xbmc.org/scraper-cine-pa ... icseen#new
- skypichat
- Messages: 12
- Inscription Forum: 26 Aoû 2008 22:33
ppic a écrit:yep, ces pistes sont déjà en partie résolu au niveau de la v2, ces suggestion sont effectivement interessante de mon point de vue, je transmets ces idées.
pour question: visiblement, des paroles sont arrivées chez nous disant que tu laissais tomber totalement cinépassion et que ce ne serait plus utilisable, qu'en est il de ton coté, car je n'ai pour ma part rien lu de tel de ta part?
Je ne laisse pas totalement tomber cinépassion. C'est juste qu'avec la prochaine version que je prépare ce week-end en urgence, yaDIS n'utilisera que TMDb.org.
En fait, comme vous avez dit qu'il y aurait des évolutions par rapport à la décision actuelle (1€ = 100 scrapes), je préfère patienter avant de développer quoi que ce soit au niveau cinépassion.
J'ai un peu réfléchi ces derniers jours et je pense que la situation devrait évoluer dans la direction suivante.
Je n'ai pas de soucis avec le fait de donner des scrapes en fonction des donations. Cependant, quelqu'un qui veut tester votre service doit aujourd'hui verser une donation obligatoirement. je préfèrerais qu'un accès "gratuit" persiste afin que les nouveaux venus puissent tester le service avant de décider d'une donation. L'accès "gratuit" (qui nécessiterait toujours un user/password) pourrait par exemple ne permettre que 1 à 5 scrapes par jour. Une personne satisfaite du service pourrait alors décider de traiter tous ses films avec cinépassion en faisant une donation qui lui permettrait de traiter tous ses films.
Par contre, il faut vraiment que vous cadriez plus les logiciels qui exploitent votre base. Ces logiciels doivent être économes en téléchargement d'images (utilisation d'un cache local, téléchargement des images larges que si nécessaire, etc...). L'accès aux images doit se faire de façon à ce que vous puissiez identifier les utilisateurs/logiciels qui abusent du service. Une fois que les urls vers les images sont connues du logiciel ou de l'utilisateur, vous ne contrôlez plus l'accès aux images qui est direct et le logiciel/utilisateur peut faire n'importe quoi.
Voilà mon point de vue
Je reste disponible pour continuer d'en parler.
-
Fred-L - Membre HCFR
- Messages: 5432
- Inscription Forum: 25 Jan 2002 2:00
c'est le type de solution vers lequels on s'oriente effectivement.
concernant les images, tu as totalement raison, c'est une des amélioration a apporter coté scraper.
concernant les images, tu as totalement raison, c'est une des amélioration a apporter coté scraper.
- ppic
- Messages: 23
- Inscription Forum: 04 Mar 2011 13:09
ppic a écrit:c'est le type de solution vers laquelle on s'oriente effectivement.
concernant les images, tu as totalement raison, c'est une des amélioration a apporter coté scraper.
Et bin voila un truc qui fait plaisir. La prochaine fois vous écouterez un peu les autres, tout le monde n'est pas la pour mendier. nous pouvons aussi apporter des idées.
- skypichat
- Messages: 12
- Inscription Forum: 26 Aoû 2008 22:33
skypichat a écrit:ppic a écrit:c'est le type de solution vers laquelle on s'oriente effectivement.
concernant les images, tu as totalement raison, c'est une des amélioration a apporter coté scraper.
Et bin voila un truc qui fait plaisir. La prochaine fois vous écouterez un peu les autres, tout le monde n'est pas la pour mendier. nous pouvons aussi apporter des idées.
on n'a jamais été totalement fermé, dès lors que l'on est sorti des idées et propositions fantaisistes
- ppic
- Messages: 23
- Inscription Forum: 04 Mar 2011 13:09
Ca va faire du vide...
Je viens par hasard de lire ceci
http://passion-xbmc.org/scraper-cine-pa ... icseen#new
d'une manière générale, je pense que les propositions de Fred se tiennent...
et pour ma part je patienterai pour continuer à utiliser la base actuelle, comme je l'ai déjà dit, 500 scraps me laissent au moins 2 ans d'avance.... alors pour 5 euros, cela ne me gène pas
A coté de çà, je ré-insiste du coté de Fred sur le coté "exportation basique" de yadis... qui pour moi est malheureusement une condition sine qua non pour une utilisation Yadis/Cinepassion
de tout coeur avec vous tous
et à bientôt
Je viens par hasard de lire ceci
http://passion-xbmc.org/scraper-cine-pa ... icseen#new
d'une manière générale, je pense que les propositions de Fred se tiennent...
et pour ma part je patienterai pour continuer à utiliser la base actuelle, comme je l'ai déjà dit, 500 scraps me laissent au moins 2 ans d'avance.... alors pour 5 euros, cela ne me gène pas
A coté de çà, je ré-insiste du coté de Fred sur le coté "exportation basique" de yadis... qui pour moi est malheureusement une condition sine qua non pour une utilisation Yadis/Cinepassion
de tout coeur avec vous tous
et à bientôt
- Kervinou
- Messages: 891
- Inscription Forum: 12 Oct 2009 10:32
- Localisation: à coté de Belle Epine
les solutions actuelle pour nos scraper compatible Dune..
du coté de Zappiti,
du coté de yadis
Citation de Fred:
" Dans le cadre du développement de yaDIS, j'ai été plusieurs fois en contact avec des personnes de Passion-XBMC. Cela s'est toujours bien passé et j'ai apprécié leur disponibilité. C'est ce que je retiendrais avant tout.
Comme vient de le dire ppic, les choses vont évoluer. En conséquence, je vais attendre un peu avant de réutiliser Ciné-Passion avec yaDIS. Histoire que les choses se stabilisent et soient claires pour éviter des développement inutiles (moi aussi mon temps de bénévolat est précieux).
Bon courage à l'équipe de Ciné-Passion."
http://passion-xbmc.org/demande-clef-ap ... icseen#new
du coté de Zappiti,
Christophe CHEREL a écrit:Bonjour,
Après avoir réfléchi à de nombreuses solutions, voici ce qui est ressorti :
1. Zappiti est un logiciel gratuit. Il doit le rester et le fait de devoir payer uniquement pour pouvoir récupérer des Jaquettes ne nous parrait pas acceptable.
2. La solution de récupérer les Jaquettes françaises (ce que propose certains logiciels) n'est pas envisageable car d'une part, nous n'avons pas l'autorisation de récupérer des images en masse sur Allociné (charge serveur supplémentaire pour Allociné) et d'autre part, Allociné ne propose qu'une seule Jaquette.
Nous avons donc opté pour la solution suivante :
Lors du scrap automatique des films, Zappiti récupèrera la jaquette correspondant au premier résultat de TMDb. Les infos du films (résumé, acteurs...) seront toujours récupérées sur Allociné. Il se pourra donc que la jaquette ne corresponde pas tout à fait, auquel cas, l'utilisateur pourra scraper les posters manuellement en choisissant le bon film dans la liste de résultats de TMDb. Cette solution est en cours d'implémentation et une nouvelle version stable de Zappiti devrait être publiée rapidement.
Plus tard, nous développerons notre propre base de jaquettes et d'infos de films communautaire dédiée à Zappiti. Ainsi, Zappiti ne sera plus lié à l'un ou l'autre des scrapers, car rien ne nous dit que plus tard Cinepassion décide de passer à 10€ les 500 scraps...
Christophe
Christophe CHEREL a écrit:C'est une solution que nous sommes en train d'étudier et qui semble être une bonne solution en effet. Nous sommes en train de voir si l'on ne pourrait pas uploader directement les infos françaises depuis Zappiti directement.
du coté de yadis
Citation de Fred:
" Dans le cadre du développement de yaDIS, j'ai été plusieurs fois en contact avec des personnes de Passion-XBMC. Cela s'est toujours bien passé et j'ai apprécié leur disponibilité. C'est ce que je retiendrais avant tout.
Comme vient de le dire ppic, les choses vont évoluer. En conséquence, je vais attendre un peu avant de réutiliser Ciné-Passion avec yaDIS. Histoire que les choses se stabilisent et soient claires pour éviter des développement inutiles (moi aussi mon temps de bénévolat est précieux).
Bon courage à l'équipe de Ciné-Passion."
http://passion-xbmc.org/demande-clef-ap ... icseen#new
- wool
- Messages: 8291
- Inscription Forum: 13 Oct 2006 21:15
- Localisation: la Drôme
Kervinou a écrit:Ca va faire du vide...
Je viens par hasard de lire ceci
http://passion-xbmc.org/scraper-cine-pa ... icseen#new
d'une manière générale, je pense que les propositions de Fred se tiennent...
et pour ma part je patienterai pour continuer à utiliser la base actuelle, comme je l'ai déjà dit, 500 scraps me laissent au moins 2 ans d'avance.... alors pour 5 euros, cela ne me gène pas
A coté de çà, je ré-insiste du coté de Fred sur le coté "exportation basique" de yadis... qui pour moi est malheureusement une condition sine qua non pour une utilisation Yadis/Cinepassion
de tout coeur avec vous tous
et à bientôt
il y a donc la première solution, a qui payer 5 euros pour 500 scrapes convient bien évidement puisqu'il utilise occasionnellement les scrapes, maintenant reste à faire la mise à jour des softs compatible Dune..
et puis il y a les gros utilisateurs de scrape qui devrait dépenser des sommes considérable pour pouvoir scraper les contenues de tout son entourage .. car ses personnes savent tout juste se servir de leurs platines Dune..
j'imagine bien que ces utilisateurs préfère de loin la solution d'une autre base de données..
Ciné Passion à donc proposé une solution mais le choix n'est malheureusement pas assez large et ne s'adapte pas à toutes les utilisateurs.. donc pour moi c'est encore à revoir..
un illimité serait donc à prévoir du coté de Ciné Passion et ceux peut importe le scraper ( PC, platines etc.), cette offre pourrais se faire sous une contribution annuelle avec en échange un accès en illimité aux scrapes de la base de données..
donc beaucoup d'utilisateur sont certes attaché à la base de données de Ciné Passion et dans le cas ou l'utilisateur est un gros consommateur cela peut être un gouffre financier, Ciné Passion n'a pas vraiment l'air de s'en rendre compte..
alors pourquoi se prendre la tête à payer des servers , alors qu' il existe une base de données totalement gratuite..
Ciné Passion pourrais migrer sur themoviedb tout simplement, il n'y aurais plus aucune dépense et le résultat serait exactement le même aux niveau fonctionnel ..
le forum serait encore là pour faire le point sur ce qui est à référencer pour que la base Fr soit de qualité..
je ne pense pas que tout le monde approuve mais c'est une idée qui permettrait de régler rapidement le problème .. de plus themoviedb est accessible facilement par tout le monde et ceux gratuitement..
le problème et financier donc cherchons une solutions qui ne coute rien tant qu'a faire.. pourquoi faire des doublons et ben je me demande ?
XMBC serait toujours là pour les PC mais utiliserais themoviedb pour scrapper..idem pour le reste..
- wool
- Messages: 8291
- Inscription Forum: 13 Oct 2006 21:15
- Localisation: la Drôme
Moi j'aurais juste une question, qui me vient en tête.
Pourquoi, il bloque pas la bande passante disponible ?
Genre mettre 1 Gbits de bande passante maxi, avec 1 000 connections maxi en même temps ?
Les chiffres sont qu'un exemple bien sur.
Pourquoi, il bloque pas la bande passante disponible ?
Genre mettre 1 Gbits de bande passante maxi, avec 1 000 connections maxi en même temps ?
Les chiffres sont qu'un exemple bien sur.
- jonathanhh
- Messages: 242
- Inscription Forum: 17 Mar 2010 22:05
jonathanhh a écrit:Moi j'aurais juste une question, qui me vient en tête.
Pourquoi, il bloque pas la bande passante disponible ?
Genre mettre 1 Gbits de bande passante maxi, avec 1 000 connections maxi en même temps ?
Les chiffres sont qu'un exemple bien sur.
c'est une solutions quand on va utiliser un seul fichiers, mais imagine aussi le temps que l'on mettrais pour scrapper tout une liste de films, se serait interminable..
- wool
- Messages: 8291
- Inscription Forum: 13 Oct 2006 21:15
- Localisation: la Drôme
pour info, la bande passante n'est qu'un des facteur posant problème, ce ne sont pas les seules ressources consommées par un serveur.
wool: quand tu parles des "gros consommateur", en fait tu parles des gens qui rescrappe leur biblio non stop en fait ? parce même en étant filmovore, +de 1000 films par an, c'est tout de même assez énorme.
c'est justement ces gros consommateurs qui ont contribués à mener à la situation qui est actuelle, il parait donc normal que ce soit les plus gros consommateur qui doivent le plus participer non?
concernant un transfert de la base vers tmdb, et quid si d'ici 2 mois il se retrouve plombé comme nous, le sait tu toi? pas plus que nous je le pense, c'est bien pour cela que nous avons lancé ce projet ciné passion.
wool: quand tu parles des "gros consommateur", en fait tu parles des gens qui rescrappe leur biblio non stop en fait ? parce même en étant filmovore, +de 1000 films par an, c'est tout de même assez énorme.
c'est justement ces gros consommateurs qui ont contribués à mener à la situation qui est actuelle, il parait donc normal que ce soit les plus gros consommateur qui doivent le plus participer non?
concernant un transfert de la base vers tmdb, et quid si d'ici 2 mois il se retrouve plombé comme nous, le sait tu toi? pas plus que nous je le pense, c'est bien pour cela que nous avons lancé ce projet ciné passion.
- ppic
- Messages: 23
- Inscription Forum: 04 Mar 2011 13:09
|
Retourner vers Logiciel PC Home-cinéma
|