Indexation et P2P

Je suis en train d’écrire un navigateur de contenus — via un proxy web local — et au-delà du plaisir de développer, ça me fait réfléchir à une nouvelle manière d’implémenter les services web, une manière locale et acentrée.

Je ne vais pas revenir sur l’aspect cyclique de l’informatique avec la logique qui passe du serveur au client et vice-versa tous les 10 ans à peu près, je vais plutôt m’intéresser au possibilités de lancer un serveur web localement et aux interactions que cela pourrait permettre en pair à pair.

J’ai très rapidement pu implémenter un produit minimal qui — bien qu’il ne nécessite aucune des conditions précédemment énoncées — m’a donné envie d’aller plus loin et de proposer un cache et une indexation pour une recherche future dans les contenus, permettant ainsi de pérenniser ses sources de lectures.

En allant encore plus loin, les données du navigateur de contenus sont très personnelles mais rien ne m’empêche de penser qu’elles pourraient être exposées pour qu’un ami puisse faire des recherches dans mon historique, ce qui décentraliserait les gros index actuels pour avoir une pertinence de niche, communautaire.

Il serait également possible de synchroniser des index de proche en proche pour rendre la recherche plus exhaustive et encourager la découverte de contenus tout en augmentant leur durée de vie. L’aspect « social » pourrait être mis en avant en faisant remonter les ressources les plus consultées grâce à des graphes de navigation superposés. Cela rendrait beaucoup plus pertinente la navigation et regrouperait les lecteurs par affinité, une sorte de serendipité sociale acentrée verrait le jour.

Bien sûr l’usage est biaisé ici puisque l’outil s’adresse surtout à des personnes qui ont des connaissances en informatique pour l’instant, mais cela pourrait initier un mouvement intéressant.

L’indexation du Web est en cours, passera-t-elle par vous ?

Discussion suite à l’article :

Super idée. As-tu regardé seeks et yacy qui implémentent tous les deux ce genre de choses. Yacy peut indexer à partir d’une liste ou à partir des URLs qui arrivent dessus en mode proxy. Avoir un truc plus léger (et en python) serait un plus!

lumi.do est en train de se lancer sur un principe similaire (mais je ne fierais pas à un service par une entreprise et du soft propriétaire).

Arthur Lutz, le 2013-02-04 à 12:12