FR:Internationalisation

Le classement actuel des produits par langue est loin d'être parfait. Un prochain gros chantier va être de repenser la gestion des langues et des pays dans Open Food Facts. Cette page a pour but d'élaborer les spécifications de la prochaine gestion des langues et des pays.

A compléter.

Les problèmes actuels

• Les produits sont mélangés : sur la version espagnole, on trouve aussi bien des produits vendus en Espagne que des produits vendus en Amérique Latine
  • c'est un problème pour les utilisateurs qui cherchent des produits de leur pays, mais aussi pour les contributeurs : on ne peut pas aujourd'hui afficher une courbe de progression des produits de Belgique, du Québec etc.
• Certains produits n'ont pas de langue principale : les produits Cora on souvent une face française et l'autre face en néerlandais
• de l'appli iOS si on est pas enregistré les scan de code barre semblent disparaitre... En tant qu'utilisateur francophone, enregristré sur le fr.off et habitant en Angleterre et donc scannant pour l'anglais je perd mes scans (et photos) des fois (note: à faire: reproduire le problème et donner instructions pas à pas pur reproduire le pb).
  • scanner des produits de l'etranger (quelle que soit la définition d'étranger) soulève des problèmes du meme genre.
    • à noter, si on scan et ajoute des photos via l'app sans être identifié, c'est la 1ère personne qui modifie ensuite le produit qui devient "l'ajouteur". -- Stéphane
      • Ce qui m'est arrivé c'est que je croyais être enregistré. j'ai scanné quelques produits et je m'attendais à les retrouver sur ma page, et donc à pouvoir les compléter. J'imagine que l'app s'est mise à jour (même si je ne me souviens pas de ca) et qu'elle a perdu le mdp et je n'ai pas retrouvé les scans (et photos) ni dans la partie fr ni dans en (dans les derniers produits ajoutés), du coup j'ai abandonné -- Benoît
• les noms des composés (par ex sel, eau, acide ascorbique...) devraient être dans un dictionnaire séparé et non pas par pays. Un utilisateur Francophone regardant un produit russe devrait pouvoir afficher les composés dans sa langue préférée.
• La recherche est limitée à un sous-ensemble de produits (aujourd'hui par langue, demain par pays de distribution)
  • Il faudrait permettre d'étendre la recherche à tous les produits, dire "nous n'avons pas trouvé de résultats parmi les produits largement distribués en France, mais voici les résultats d'autres pays"

Ce qu'on veut pouvoir faire

• Lister les produits par "marché" (pays ou région de distribution) plutôt que par langue.
  • Pourquoi est-il besoin de recréer une autre division ? Pourquoi pas des pages de disambiguation s'il y a ambiguité ?
    • En fait justement, je souhaite enlever la division actuelle (par langue) et la remplacer par des "visions" : des vues. Pas tellement pour les pages individuelles des produits, mais plus pour les ensembles de produits accessibles à un utilisateurs. Un utilisateur québécois qui tape "yaourt" dans le moteur de recherche sera intéressé par les produits qui sont vendus au Québec, ce sont ceux là qu'il faut lui retourner en priorité. Et c'est la même chose pour les moyennes nutritionnelles des catégories, les graphiques etc. : c'est je pense plus pertinent par marché que par langue. -- Stéphane

• Avoir une hiérarchie internationale des catégories, traduite dans toutes les langues
  • idem pour les labels, les marques etc.

• Afficher la fiche d'un produit dans toutes les langues : toutes celles qui figurent sur le paquet, mais aussi toutes les autres
  • Afficher des photos spécifiques à la langue choisie par l'utilisateur (ingrédients en particulier)

• Rechercher des produits dans toute la base, avec possibilité de présenter les résultats par sections : produits vendus dans un pays précis, produits vendus dans des pays limitrophes (ou "proches" culturellement), produits dont la langue principale est xyz, produit dont les ingrédients figurent aussi dans la langue xyz etc.

• ...

Cas à gérer

• 1 même produit vendu dans plusieurs marchés
  • Les produits de Marks and Spencer, vendus en France, avec des codes-barres spécifiques
  • Les produits distributeurs vendus dans plusieurs pays (parfois des bouteilles espagnoles de soda carrefour)
• 1 produit avec des versions différentes dans différents marchés
  • même code barre ou non
• 1 produit avec plusieurs langues sur l'emballage
  • en particulier ingrédients
    • possibilité de sélectionner les diverses langues, et de valider le produit avec la plus rapide
• ...

Conception

Hiérarchies

• Une seule hiérarchie internationale pour chacun des types de champs (catégories, marques, labels etc.)
• Traduction du nom de la catégorie (ou marques etc.) dans chaque langue
• Synonymes du nom de la catégorie dans chaque langue

FR:Exemple de définition d'une hiérarchie

Cas spécifique des ingrédients

Les ingrédients doivent également être traduits dans toutes les langues. Cela pourrait être très intéressant d'en profiter pour faire aussi une hiérarchie des ingrédients qui permettrait de trouver facilement les produits qui contiennent de la viande, du gluten etc. même si l'ingrédient est "cuisses de canard" ou "farine de blé".

Sous-sites de pays

Aujourd'hui OFF est structuré par langues : la page fr.openfoodfacts.org liste tous les produits dont la "langue principale" est le français. Mais pour chaque utilisateur, c'est plus intéressant de lister les produits disponibles dans son pays (les produits vendus en Argentine ou en Espagne plutôt que tous les produits dont la langue principale est l'espagnol).

• le problème ici est de définir "pays"... On fait quoi de Jersey? La guadeloupe? La nouvelle Calédonie? Le Groenland? Puerto Rico? Les Britanniques retraités qui vivent en France mais font leur course en ligne au Royaume Uni car l'euro est trop cher pour eux? Les Irlandais qui vont faire leurs courses en Irlande du Nord? Comm suggéré ailleurs dans le document peut-être afficher par défaut le pays choisi et lister les autres endroits où le produit a été trouvé (et scanné peut etre? L'appli mobile qui ajoute des meta donnés à chaque scan grace a geoip?))

L'idée est donc de changer la structure du site et des sous-sites :

nomdupays.openfoodfacts.org

Exemples : france.openfoodfacts.org, italia.openfoodfacts.org

• Liste de tous les produits vendus dans un pays.
• Liste de marques, de labels, d'additifs etc. pour les produits vendus dans le pays
• Valeurs nutritionnelles moyennes etc. calculées pour les produits vendus dans le pays

A noter, pour les produits où on parle plusieurs langues, on peut avoir des sous-domaines différents : belgique.openfoodfacts.org et belgie.openfoodfacts.org. Les produits listés sont les mêmes, mais la langue de l'interface, et du contenu, est différente.

initialesdelalangue.openfoodfacts.org

Exemples : fr.openfoodfacts.org, en.openfoodfacts.org

• Pages individuelles pour chacun des produits, dans chacune des langues. Un même produit est accessible avec n'importe quelle langue, et ce qu'on arrive à traduire est traduit.

Recherche et listes de produits étendues à d'autres pays et langues

Aujourd'hui la recherche, les listes des produits d'une catégorie etc. sont restreintes aux produits d'une langue. Avec la nouvelle organisation, la restriction sera par pays de vente (avec pays au pluriel : un produit pourra être marqué comme largement distribué dans plusieurs pays).

Les résultats de recherche pourront être étendus à tous les produits, et on pourra les présenter par sections :

• les produits marqués comme largement distribués dans le pays cible
• les produits distribués dans les pays "proches" (géographiquement et/ou culturellement : les pays dont les produits sont souvent importés dans le pays cible)
• les produits dont la langue principale est parlée dans le pays cible
• les produits dont les ingrédients figurent aussi dans l'une des langues du pays cible
• les autres résultats

En particulier, quand il n'y a pas de résultat dans le pays cible, on peut étendre automatiquement la recherche ("nous n'avons pas trouvé de résultats dans le pays XYZ mais voici les résultats des autres pays").

Une alternative au "saucissonnage" des résultats de recherche est de calculer un score pour chaque résultat pour les ordonner et de prendre en compte les pays de distribution et les langues dans le calcul du score.

Valeurs du champ Pays

Pour pouvoir choisir d'afficher un produit dans le sous-site d'un pays, il faut que le champ Pays (ajouté le 6/11/13) soit renseigné.

Nouveaux produits

On peut proposer par défaut une valeur pour le champ pays correspondant à l'emplacement de l'utilisateur :

• via l'adresse IP
• en demandant explicitement la position (niveau pays) pour les applis mobiles

Anciens produits

12000 produits ajoutés avant l'ajout du champ Pays n'ont pas le champ Pays renseigné.

On peut essayer d'attribuer automatiquement un ou plusieurs valeurs en fonction d'autres champs :

• la personne qui a ajouté le produit (quasiment tous les produits que j'ai ajouté viennent de France, pour quelqu'un qui habite en Belgique, ça sera la Belgique)
• la marque, en particulier les marques de distributeurs (Cora = France + Belgique ?)
• le champ "ville ou pays d'achat"

On pourrait ainsi attribuer une valeur à la plupart des produits, et ensuite essayer de trouver les faux positifs (par marque par exemple).

Nouveaux et anciens produits

On pourrait essayer d'ajouter plus ou moins automatiquement des pays :

• en se servant de la position des personnes qui scannent un code barre
• en croisant les données avec celles d'autres bases (API de magasins en ligne par exemple), il faudra vérifier alors que ce n'est pas interdit par les conditions d'utilisations des bases ou sites externes