Validation of System Dynamics Models – a Case Study

Abstract

The purpose of this article is the analysis of the system dynamics model validation illustrated by the example of a model of the manufacturing resource allocation. In the first part of the article the authors present an overview of the definitions of validation and verification that can be found in the reference literature. Also, they emphasize the role which validation and verification play in the modeling process. Furthermore, they discuss the techniques of system dynamics model validation with particular focus on tests of the model structure, behavior and policy implications. The second part of the article contains an example of the validation process of a system dynamics model simulating manufacturing resource allocation in an electronic company. The purpose of the model is to assess the long-term effect of assigning workers to individual tasks on such production process parameters as efficiency or effective work time. The authors focus their particular attention on that part of the model which deals with a storehouse, one of the company production units. They conduct tests of its structure and behavior. When validating the structure the authors make use of the information obtained in a series of interviews with the company staff. They also refer to the generally accepted knowledge found in the reference literature. The results generated by the model in the course of the behavior tests are compared with the real data. The authors evaluate both the logic of the system behavior and the level of accuracy of the output data in reference to the real system.

Celem niniejszego artykułu jest analiza procesu walidacji modeli zbudowanych w konwencji metody dynamiki systemów na przykładzie modelu alokacji zasobów produkcyjnych. W pierwszej części artykułu autorzy przedstawiają przegląd definicji walidacji i weryfikacji, które można znaleźć w literaturze przedmiotu. Ponadto podkreślają rolę, jaką odgrywa weryfikacja i walidacja w procesie modelowania. Omawiają także techniki walidacji modelu systemu, ze szczególnym uwzględnieniem testów struktury modelu, jego zachowania i implikacji decyzyjnych. Druga część artykułu zawiera przykład procesu walidacji modelu systemu alokacji zasobów produkcyjnych w firmie elektronicznej. Celem tego modelu jest ocena długoterminowego wpływu przypisania pracowników do poszczególnych zadań na takie parametry produkcyjne jak wydajność oraz efektywny czas pracy. Autorzy koncentrują swoją szczególną uwagę na części modelu dotyczącej magazynu, przeprowadzając badania jej struktury i zachowania. Podczas sprawdzania poprawności struktury autorzy korzystają z informacji uzyskanych w serii wywiadów z pracownikami firmy. Odnoszą się także do ogólnie przyjętej wiedzy, jaką można znaleźć w literaturze przedmiotu. Uzyskane wyniki badań są porównane z danymi rzeczywistymi. Autorzy oceniają zarówno logikę zachowania systemu jak i poziom dokładności danych wyjściowych w odniesieniu do systemu rzeczywistego.