Externalisez vos tests

Bonjour à tous,

Je vous présente aujourd’hui un projet sur lequel je travaille avec un associé.

Le projet est en prélancement (le projet n’a pas encore de nom). Nous recherchons un maximum de retours ou même des bêta-testeurs !!

Rentrons dans le vif du sujet

Pour des logiciels SaaS, les tests end-to-end sont très coûteux à mettre en place. Ils sont aussi compliqués à maintenir quand la croissance est forte : beaucoup de nouvelles features, la taille du produit dépasse rapidement la capacité de l’équipe tech. Du coup certaines parties du produit ne sont plus "pratiquées" régulièrement par les devs. Mais par contre ce sont des features que les utilisateurs utilisent encore beaucoup !

Nous avons une solution pour vous permettre de garantir la fonctionnalité de votre produit, sans devoir payer un développeur dédié à la création et à la maintenance de tests end-to-end (qui, soyons honnête, sont rarement complet ! On teste le login/logout, mais les features complexes et critiques ?)

Comment ?

En faisant réaliser ces tests par des humains externalisés (disponibles à la demande, comme des "lambdas fonctions" presque). Vous êtes ensuite avertis par mail/SMS dès lors qu’un test échoue avec une vidéo précise du test.

Pourquoi des humains ? Pour vous simplifier au maximum la spécification de ces tests.

Vous réalisez simplement une vidéo de votre produit, en décrivant à l’oral les fonctionnalités importantes.

• L’humain qui va tester votre produit est capable de reproduire fidèlement, voir même avec du zèle, ce que vous indiquez dans votre vidéo.
• C’est accessible à tout le monde dans votre équipe : pas forcément un développeur
• Vous mettez simplement à jour les tests : il suffit simplement de refaire une vidéo de votre produit, voir simplement de mettre à jour les parties modifiées.

Est-ce quand même avantageux économiquement ?

Oui, car les testeurs sont payés à l’heure. Donc si le test dure 3h par semaine, vous ne payez que ces 3h au lieu de payer un développeur 1j / semaine pour maintenir ces tests end-to-end (qui ne seront même pas complets )

Et maintenant ?

Nous savons déjà comment implémenter un tel service (nous avons déjà commencé), et nous avons tout un tas d’idées pour l’améliorer.

Mais nous sommes encore dans une phase de qualification avant de se lancer tête baissé, et j’ai donc besoin de votre aide

Voici mes questions :

• Est-ce vous vous reconnaissez dans ces problématiques ? Si non pourquoi ?
• Quels sont vos commentaires et les freins que vous voyez sur un tel service ? (pour vous en tant que client. Considérons que j’arrive à gérer tout le reste d’un tel service (fournir une armée de testeurs aguerris et performants, formés et sensibilisés au test).
• En étant honnêtes, quels sont vos retours sur les tests end-to-end ?

Je sais que des alternatives américaines existent, j’en ai déjà listé plusieurs. Avant de parler de marché, je voudrais déjà avoir votre retour en tant que potentiel client français.

Si ce sont des sujets qui vous intéresse, je suis très intéressé pour approfondir autour d’un skype en visio (autant tirer parti du confinement ..)

Merci à vous mes zestes d’amour

Salut !

Je n’avais jamais entendu parler d’une telle solution (même pas les concurrents américains), mais ça me semble intéressant à première vue.

Est-ce vous vous reconnaissez dans ces problématiques ? Si non pourquoi ?

Oui. Dans l’idéal, les développeurs qui ont la tête dans le guidon ne devraient pas tester seuls, mais laisser d’autres le faire aussi. Bonus s’il s’agit des utilisateurs finaux (quand il y a un énorme lien de confiance entre le client et l’entreprise). J’ai aussi eu l’occasion de bosser dans une boîte dans laquelle les tests E2E étaient faits par session de 30 min par une équipe autre que les devs. C’est un peu comme ton truc, sauf que c’est des employés en interne.

Si ce sont des sujets qui vous intéresse, je suis très intéressé pour approfondir autour d’un skype en visio (autant tirer parti du confinement ..)

Pour approfondir, si tu as des questions, n’hésite pas à me MP pour qu’on se fixe un appel si tu veux

Salut,

Qui seraient les testeurs en question payés à l’heure ? Ton projet est celui d’une entreprise qui les emploierait avec un contrat de travail standard ?

Complètement d’accord, les tests (surtout end-to-end) réalisés par les développeurs eux-même sont rarement objectifs !

Complètement, le projet est une entreprise qui met en relation des entreprises avec une communauté de testeurs en quelque sorte.

Les testeurs sont payés l’heure effectivement. Ce sont majoritairement des freelances. Par exemple des étudiants. Il y a également quelques salariés qui peuvent assurer le démarrage du projet et combler des trous de freelances.

Les tests réalisés par ces personnes sont enregistrés, afin que le client puisse vérifier la qualité de ces derniers et éventuellement accéder aux crashs de son appli.

En effet, c’est un sujet très compliqué juridiquement… Tu devrais te renseigner dessus rapidement, car certains points légaux pourraient nécessiter d’adapter la solution que tu as actuellement en tête. C’est d’ailleurs toute la question qui se pose avec des entreprises comme Uber.

Quel intérêt pour une entreprise à passer par vous plutôt que de faire directement appel à ces freelances ?

Est-ce que ça ne constitue pas pour vous du salariat déguisé ?

Oui, nous avons commencé à réfléchir à la question avec un avocat.

Pour tout vous dire, l’idée est justement inspirée de modèles comme Uber. Nous ne savons pas encore si c’est le modèle que nous allons choisir. Il faut surtout voir le modèle comme une "boite noire" en tant que client : nous vous fournissons des tests e2e humains à la demande.

Par qui ces tests sont réalisés, c’est justement notre job de fournir cette main d’œuvre à la demande. Nous envisageons d’autres possibilités si le modèle "uber" est trop compliqué juridiquement.

L’intérêt pour une entreprise est la simplicité d’avoir des testeurs à la demande.

Un freelance n’est par nature pas disponible tout le temps, et surtout c’est très compliqué pour une entreprise de trouver le "volume" dont elle a besoin à un instant donné. Par exemple pour absorber une charge importante avant un déploiement.

Pour le salariat déguisé, tu parles des Freelances ?

Concernant les freelances, c’est effectivement un gros sujet juridique. Nous allons bétonner ce sujet avec notre avocat.

Si vous avez quelques sources ou retours d’expérience sur ces sujets, je suis preneur.