Nieuwe software Horizon 1b-263.05.4j

totaal zei:

De h2 update is nog niet overal uitgerold en er komt al weer een update. Kun je nagaan hoe het allemaal getest wordt. Bagger dus... (de lang verwachte update)
Met lijmen en plakken hopen ze ergens te komen.

Klik om te vergroten...

Wij hebben wel degelijk goed getest alleen upc die niet wilt luisteren daar kan je niet de testers de van schuld geven.

Als de testers een bug doorgeven is het verders aan upc om dit optelossen, maar upc denkt er steeds makkelijk vanaf tekomen met dat het een futere is of dat upc er zo voor gekozen heeft.

Het is te makkelijk om te wijzen naar test. Er zijn veel meer factoren. Bovendien geven testers doorgaans enkel een vrijgaveadvies en is het aan de opdrachtgever van het project om te beslissen of de bevindingen en daaruit voorvloeiende risico's dusdanig zijn om al dan niet live te gaan. Bovendien test je alleen datgene waar bepaalde risico's zitten. Alles testen is onmogelijk.

Maar dit kan wel verklaren waarom de uitrol nog niet verder is gegaan. Waarschijnlijk zal de volgende regio de update + patch krijgen.

Devil-Strike.net zei:

Wij hebben wel degelijk goed getest alleen upc die niet wilt luisteren daar kan je niet de testers de van schuld geven.

Als de testers een bug doorgeven is het verders aan upc om dit optelossen, maar upc denkt er steeds makkelijk vanaf tekomen met dat het een futere is of dat upc er zo voor gekozen heeft.

Klik om te vergroten...

Toch vraag ik me iets af, hebben jullie als testers een set met scripts gekregen die jullie moesten doorlopen en er op rapporteren?
En zo ja, is er dan ook een conclusie naar jullie communiceert na iedere fase die doorlopen is?
Zijn er dan ook bugfixes doorgevoerd tijdens jullie test fase, die vervolgens met vergelijkbare scripts weer getest zijn? Enz, enz,
Is er iets bekend welke test methodiek UPC hanteert voordat de software goedgekeurd is? TMAP of iets anders.
Heeft UPC op afstand stress tests tegen jullie dozen aangegooid in de nachtelijke uren?
Of heeft UPC gewoon die dozen geupdate en hebben jullie de dozen getest in een normale gebruikers omgeving?
Ook al is een live uitrol nooit helemaal te voorspellen, het feit dat er zo snel updates volgen en er een nieuwe vastloper is geïntroduceerd ruikt toch echt naar een weinig zorgvuldige testfase en vrijgave van UPC.

Devil-Strike.net zei:

Wij hebben wel degelijk goed getest...

Klik om te vergroten...

Dit sloeg natuurlijk niet op het testwerk dat vrijwilligers gedaan hebben maar op de testfactory van UPC zelf. Jullie kan onmogelijk iets kwalijk genomen worden.
Ik heb via mijn werk heel veel met testwerk te maken (telecom) en ik weet uit ervaring dat er af en toe te hoge eisen worden gesteld en dat er compromies gesloten moeten worden. Bij Horizon heb ik echter het idee dat de lat veel te hoog lag en dat de fabrikant (Samsung) een te rooskleurig plaatje heeft geschilderd om het contract maar binnen te slepen. Uiteindleijk zitten de klanten met de brokken en UPC met de gebakken peren. En dan krijgen de testers natuurlijk de schuld, want zo gaat dat

Als je gaat testen aan de hand van scripts test je toch eigenlijk niets?
Je volgt dan een pad wat anderen bedacht hebben.
Je moet het juist helemaal los laten.
Dan gaan mensen juist onverwachte dingen doen, dingen waar de makers niet aan gedacht hebben.

masterblaster zei:

En dan krijgen de testers natuurlijk de schuld, want zo gaat dat

Klik om te vergroten...

Robert Koopman zei:

Als je gaat testen aan de hand van scripts test je toch eigenlijk niets?
Je volgt dan een pad wat anderen bedacht hebben.
Je moet het juist helemaal los laten.
Dan gaan mensen juist onverwachte dingen doen, dingen waar de makers niet aan gedacht hebben.

Klik om te vergroten...

Dus test scripts hebben volgens jou geen plaats in gebruikers tests?
Heb nog nooit een test plan gezien zonder scrips erin. Ook geen testplan op gebruikers niveau.

Robert Koopman zei:

Als je gaat testen aan de hand van scripts test je toch eigenlijk niets?
Je volgt dan een pad wat anderen bedacht hebben.
Je moet het juist helemaal los laten.
Dan gaan mensen juist onverwachte dingen doen, dingen waar de makers niet aan gedacht hebben.

Klik om te vergroten...

Beide zijn één van vele testmethodieken, het is maar net wat je doel van de test is; wil je iets bewijzen of wil je iets vinden

Pff snap best dat iedereen (ik ook) zit te wachten op de nieuwe software. Maar er is echt een verschil tussen testen met 100 man en 50.000 man in een keer. Medicatie werkt bij mensen ook altijd anders als verwacht.

the absolute tune zei:

Toch vraag ik me iets af, hebben jullie als testers een set met scripts gekregen die jullie moesten doorlopen en er op rapporteren?

Klik om te vergroten...

Gewoon geüpdatet met software in normale gebruikersomgeving. Aan de hand daarvan is een buglist ontstaan. De meeste bugs zijn opgelost.

We zijn klanten, geen developers.

William zei:

Gewoon geüpdatet met software in normale gebruikersomgeving. Aan de hand daarvan is een buglist ontstaan. De meeste bugs zijn opgelost.

We zijn klanten, geen developers.

Klik om te vergroten...

Bedankt voor je antwoord.
Dat je klant bent dat snap ik, het is ook absoluut geen verwijt naar het testpanel!
Niets dan lof voor het feit dat mensen bereid zijn geweest thuis beta software te draaien.

Nou ja, de testmanager van UPC zal wel ergens gedefinieerd hebben wat de doelstellingen waren van gebruikers tests. Hopelijk hebben ze er van geleerd en is het testplan voor de andere mediaboxen nu geupdate zodat die uitrol wat minder problemen gaat veroorzaken.