Automatizált Kombinatorikus Tesztelés a Szoftver

Eredeti forrás https://csrc.nist.gov/projects/automated-combinatorial-testing-for-software

Projekt Áttekintés

Kombinatorikus vizsgálat egy bevált módszer a hatékonyabb szoftver tesztelés alacsonyabb áron. Vonal Grafikon mutatja Kumulatív százalék a szoftver

failuresThe kulcs betekintést mögöttes kombinatorikus vizsgálat hatékonysága eredményeképpen a sorozatos vizsgálatok által NIST 1999 től 2004. NIST kutatás azt mutatta, hogy a legtöbb szoftver hibák, hiányosságok okozzák, egy vagy két paraméter, egyre kevesebb három vagy több. Ez a megállapítás, a továbbiakban a kölcsönhatás szabály, fontos szempontok szoftver tesztelő, mert ez azt jelenti, hogy a tesztelés paraméter kombináció biztosítja a hatékonyabb hiba észlelése, mint a hagyományos módszerek. Új algoritmusok tömörítése kombinációk bele egy kevés vizsgálat készült ez a módszer gyakorlati, ipari felhasználásra, így lehetséges, hogy jobb vizsgálat alacsonyabb áron.


A hangsúly az empirikus eredmények valós tesztelés.

Gyors Start – könnyű megtanulni az alapokat, ez a módszer!

  1. Oldalas 3 összefoglaló
  2. Kombinatorikus, páronként vizsgálat bemutató (81 oldalak)
  3. Áttekintés diák (hozzávetőlegesen 60 perc).

SZABADON ELÉRHETŐ SZOFTVEREK:

  • A kombinatorikus vizsgálati eszközök által használt, több száz nagyobb vállalatok, egyetemek, több mint 3000 példányban megjelent.
  • A szoftver ezen az oldalon ingyenes, szabad marad a jövőben. Ez közkincs; nincs engedély szükséges, nincsenek korlátozások használni. NIST ügynökség az Egyesült Államok Kormánya.
  • Beszerezni az eszközöket, kérjük, küldje el a kérést, hogy Rick Kuhn – kuhn@nist.gov. Meg fogjuk küldeni a letöltési linket a biztonságos szerveren. Kérjük, adja meg nevét, valamint a szervezet nevét. Nincs más információkra van szükség, de van egy lista a szervezetek, így meg tudjuk mutatni, a menedzsment, ahol a szoftvert használják.

Gyakorlati Példák es Ettanulmányok – összefoglalók a különböző ipari alkalmazások ez a vizsgálati módszer

Bemutatkozik Kombinatorikus Vizsgálat egy Nagy Szervezet: Tapasztalat Jelentés (poszter); teljes papír IEEE Computer, Aprilis 2015. J. Hagar, D.R. Kuhn, R.N. Kacker, T. Wissink. Egy átfogó értékelése kombinatorikus vizsgálat, amelyet a világ egyik legnagyobb repülőgép-cégek. Ismerteti a tapasztalat, a Lockheed Martin alkalmazása kombinatorikus módszerek a nyolc kísérleti projektek, nagyjából 20% – os költségmegtakarítást, illetve 20% ról 50% kal jobb a lefedettség. Kiterjesztett absztrakt. Bemutatták a 3 Nemzetközi Workshop Kombinatorikus Tesztelés, Cleveland, Március 31, 2014.

Oracle-ingyenes Tesztelés – a szoftver tesztelés általában előírja, hogy minden tesztet, az elvárt kimenet, ismert, mint egy teszt, oracle. Kombinatorikus módszerek lehetővé teszik, hogy érzékeli jelentős számú hibák nélkül egy hagyományos vizsgálati oracle. Ez a látszólag lehetetlen feladat érhető el, a két réteg, amely tömbök a ekvivalencia osztályok származó adatok. Forrás kód nem szükséges. Lényegében képesek vagyunk kihasználni az információs látens az ekvivalencia osztályok alapos konzisztencia ellenőrzés feltárja a hibákat.

  • Előadás ez a módszer, az NSF Kutatási Tapasztalatok az egyetemi Hallgatók.
  • Papír – Intl. Workshop a Kombinatorikus Tesztelés, 2015-re – vezet be ez a módszer; a szemléltető példák.
  • Papír – Intl. Workshop a Kombinatorikus Tesztelés, 2016 – kapcsolódó alkalmazott módszer, hogy a hozzáférési szabályok.

Könyv – megjelent az első tankönyv kombinatorikus módszerek a szoftver tesztelés, Bevezetés a Kombinatorikus Tesztelés, Rick Kuhn, Raghu Kacker, Yu “Jeff” Lej, a fejezet hozzájárulása Renee Bryce, Eduardo Miranda, Sreedevi Sampath, es George Sherwood. (CRC Press, ISBN 1466552298, Június 2013; 319 oldalak). A könyv nyújt, szoftver tesztelő, a fejlesztők, a hallgatók önálló tutorial, hogyan kell használni ezeket a módszereket a valós világ szoftver.”Szívből ajánlom, hogy mindenki, aki részt vesz a gyakorlatban a szoftver tesztelése.” – ACM Számítástechnikai Vélemények.


Utóbbi Beszél:

  • Forró Téma, a Tudomány, a Biztonság, Aprilis 10, 2018
  • Loyola Egyetem, November 9, 2017
  • NASA/DoD Minisztérium Tudományos Vizsgálat műhely, Aprilis 4, 2017
  • IEEE Internet of things műhely, Aprilis 7-én, 2017

Videó a 2013 NASA IV&V konferencia sajtótájékoztató alkalmazása kombinatorikus lefedettség mérés. Charley Price es Rick Kuhn)

Kombinatorikus Lefedettség Mérés – NIST IR 7878 (megjelent Szept. 2012)biztosított Eszközök szabadon ezen az oldalon által használt, több száz szervezetek szerte a világon, szoftver, hardver tesztelése megbízhatóság, biztonság, biztonság. A kutatási együttműködések közé tartozik az Amerikai Texas Arlington, Egyesült Allamok Légierő, Carnegie Mellon, Egyetem a Észak-Texasi, Johns Hopkins Egyetem Alkalmazott Fizika Labor, Egyetem a Marylandi Baltimore Megyei, Centro Nacional de Metrologia Mexikóban, NASA az Amerikai Maryland Egyetem. Ez a cikk megmagyarázza, hogy a megközelítés kapcsolatos statisztikai design es kísérletek. Kombinatorikus vizsgálat poszter összefoglalja a módszer.

A kutatási program magában foglalja:

  • speciális lefedő tömb algoritmusok;
  • kombinatorikus lefedettség mérés;
  • számítógépes biztonság vizsgálata;
  • hibás lokalizáció;
  • elosztása kölcsönhatás hibák;
  • vizsgálati web alkalmazások;
  • alkalmazás modellezés, szimuláció.

Néhány eredményünk, hogy a dátum a következők:

  • empirikus megállapítás, hogy a szoftver hibák által kiváltott kölcsönhatások
  • néhány változók (1 6);
  • IPOG lefedő tömb algoritmus, illetve a változatok, hatékonyabb, mint az egyéb
  • ismert algoritmusok;
  • bizonyítja hatékonyságát teszt rangsorolása;
  • bizonyítja a hatékonyság a modellezés, szimuláció;
  • a hozzáférés-vezérlési tesztelés, automatizálás;
  • mérési tudományos eszközök kombinatorikus lefedettség.

Rick Kuhn, vagy a Raghu Kacker kuhn@nist.gov, raghu.kacker@nist.gov


Jelenleg több mint 3000 felhasználó 2018-tól, szinte minden nagyobb vállalat. Itt egy részletes leírás a felhasználói bázis.

1) Kombinatorikus vizsgálati eszköz generáló teszt lakosztályok. Speciális Kombinatorikus Vizsgálati Rendszer (Advanced Combinatorial Testing System -APCSEL) kiszámíthatjuk vizsgálatok 2 es 6-os utat kölcsönhatások. Egy könnyen használható GUI tartalmazza. Egy összehasonlítása ACTS hasonló eszközökkel mutatja, hogy a jogi ACTS termel kisebb teszt készletek (az azonos szintű lefedettség) gyorsabb, mint a többiek. Jogi ACTS által kifejlesztett NIST, valamint a University of Texas Arlington. A kérelem egy példányát, küldje el e-mailben Rick Kuhn. Kérjük, adja meg a név, keresztnév, cég vagy egyetemi neve (ez segít a menedzsment támogatása a projekt!) ACTS megnyerte a 2009-es Kiválóság a Technológia Transzfer Díj, a Szövetségi Laboratóriumi Konzorcium Közép Atlanti Régióban.

2) Kombinatorikus lefedettség mérési eszköz, értékelésére vonatkozó minőségi teszt lakosztályok. Hasznos egyre előnyei kombinatorikus vizsgálat megbontása nélkül, meglévő vizsgálati gyakorlat. CCM mérési eszköz lehet elemezni a meglévő vizsgálatok 2 utat os 6 utat kölcsönhatások már van. Egy könnyen használható GUI-t tartalmazza. CCM által kifejlesztett NIST, a Centro Nacional de Metrologia Mexikóban. A kérelem egy példányát, küldje el e-mailben Rick Kuhn. Kérjük, adja meg a név, keresztnév, cég vagy egyetemi neve (ez segít a menedzsment támogatása a projekt!)

3) Kombinatorikus vizsgálat bemutató, Gyakorlati Kombinatorikus Tesztelés, NIST SP 800-142 (81 oldal). Ez a kiadvány rendelkezik egy önálló bemutató segítségével kombinatorikus tesztelése valós szoftver. Bevezeti a legfontosabb fogalmak, módszerek, megmagyarázza, hogy a szoftver használata eszközök generál kombinatorikus vizsgálatok, valamint tárgyalja, a speciális témák. A tananyag hozzáférhető a hallgatók informatikával vagy műszaki, valamint egy terjedelmes készlet hivatkozások papírokat, amelyek több a mélység, minden témában. Október 2010. Nyilvánosság, engedély korlátlan; 81 oldal.

4) Biztonsági politika vizsgálati eszköz. Hozzáférés-Vezérlési Politika Teszt (Access Control Policy Test – ACPT) az eszköz lehetővé teszi, politika szerzők, hogy kényelmesen meghatározza a hozzáférés-vezérlési modellek (például RBAC es többszintű modellek) szabályok, valamint a hozzáférési ellenőrzés tulajdonságok. A megadott modellek, szabályok, a ACPT eszköz automatikusan szintetizálja megvalósítható politikák XACML olyan kombinatorikus vizsgálatot, hogy ellenőrizze a biztonsági politika implementációk. Teljes teszt az esetekben keletkezik, amely a vizsgált bemenetek, valamint várható kimenet minden egyes sor bemenet. ACPT használ ACTS rendelkezni, 2 utas hogy 4 utas kombinatorikus vizsgálata politikák. A kérelem egy példányát, küldje el e-mailben Vincent Hu

5) Web app vizsgálati eszköz.  Kombinatorikai Alapú Okos Felhasználó Testsuites (Combinatorial-based Prioritization of User-session-based Testsuites – CPUT) vonatkozik kombinatorikus módszerek vizsgálati web alkalmazások. Teszt rangsorolás használják, hogy a web app-vizsgálatok sokkal jobban kezelhető. Az eszköz lehetővé teszi, tesztelők, hogy könnyen gyűjteni, prioritásokat, valamint csökkenti a felhasználó session-alapú teszt. CPUT nyújt (1) útmutatást, hogy a felhasználók hogyan konfigurálja a web szerver log fontos használati adatokat, (2) automatizált elemzés a webes naplók be XML formátumú teszt esetek által használt teszt replay eszközök, (3) automatikus rangsorolás a vizsgált esetben a hossz-alapú kombinatorikai alapú kritériumok, valamint (4) automatizált csökkentése testcases által kombinatorikus lefedettség.

Jogi nyilatkozat: Bizonyos szoftver termékek azonosított ebben a dokumentumban. Ez az azonosítás nem jelenti azt, ajánlása NIST, sem nem jelenti azt, hogy a termékek azonosított feltétlenül a legjobb rendelkezésre erre a célra.

 

 

Vissza a főoldalra


 

Leave a Reply

Your email address will not be published. Required fields are marked *