Ergebnisse einer Umfrage von pmqs.de
durchgeführt im November/Dezember 2005

Inhalt

1 Einführung 3
1.1 Grundlagen 3
1.1.1 Nachkalkulation 3
1.1.2 Lessons Learned Workshop / Projekt-Retrospektive 3
1.1.3 Befragungsaktionen 3
1.1.4 Kennzahlensysteme 3
1.1.5 Projekterfahrungsdatenbanken 4
1.2 Aufbau der Befragung 4
1.3 Gültigkeit 4
1.4 Verteilung 5
2 Fragebogen und Antworten 6
2.1 Teil A: Inhalte 6
2.2 Teil B: Finanzdaten 7
2.3 Teil C: Zugriff auf und Verwendung von historische Daten 8
2.4 Teil D: Gewonnene Erkenntnisse 9
2.5 Teil E: Demoskopische Daten 10
3 Schlussfolgerungen und Fazit 11

Änderungshistorie

Version Autor Inhalte
1.0 Alexander Volland Auswertung der Befragung (Erstellung)

Kontakt

pmqs.de
Alexander Volland
Frankfurter Str. 90
63110 Rodgau
Deutschland

Web: http://www.pmqs.de/ Wissensplattform Projektmanagement
Email: lhujky302@sneakemail.com

1 Einführung
Alle Projektmanagementsysteme fordern einen geordneten Projektabschluss. Unter anderem wird vorgeschlagen, die Erfahrungen des Projekts festzuhalten und in einer „historischen Projektdatenbank“ zu hinterlegen.
Diese Befragung beschäftigt sich mit der Frage, in wie weit solche Daten tatsächlich erfasst und genutzt werden.

1.1 Grundlagen
Generell gibt es in den Unternehmen verschiedene Methoden und Formate der Projektauswertung und Erfassung in historischen Projektdaten. Dieser Abschnitt führt kurz in das Thema ein und gibt einen Überblick über die verbreiteten Methoden zur Projektauswertung.

1.1.1 Nachkalkulation
Die Nachkalkulation (Soll/Ist-Vergleich) ist einer der einfachsten Projektauswertungsmethoden. Werden Projekte für Dritte ausgeführt, dann ist die Nachkalkulation natürlich eine betriebswirtschaftliche Notwendigkeit. Findet eine Kostenüberschreitung statt, sollte sich eine Abweichungsanalyse anschließen, um die Abweichungen zu erklären und ggf. zukünftig zu vermeiden.
Der nächste Schritt ist die Ablage aller Werte und Abweichungsanalysen in einer Datenbank, so dass andere Projektmanager aus den Erfahrungen ihrer Vorgänger lernen können. In der Baubranche ist dies schon weit verbreitet, in der IT Branche (die hauptsächlich an dieser Umfrage teilgenommen hat) eher noch nicht.
Die Nachkalkulation betrifft zunächst nur die Sachebene des Projekts. Bei der Abweichungsanalyse könnte auch die Beziehungsebene untersucht werden.

1.1.2 Lessons Learned Workshop / Projekt-Retrospektive
Beim Lessons Learned Workshop handelt es sich um eine relative weit verbreitete Methode um das Projekt strukturiert zu diskutieren. Etwa zwei Drittel der Befragungsteilnehmer setzt diese Methode ein. Die Art und Tiefe der Auswertung ist unterschiedlich. In den meisten Fällen werden die Ergebnisse im nächsten Projekt im Sinne einer kontinuierlichen Verbesserung der Projektmethode genutzt, aber nicht einem weiteren Personenkreis zur Verfügung gestellt. Wie bei allen Feedbacksystemen muss eine entsprechende Kultur vorhanden sein, um überhaupt im Unternehmen Kritik positiv äußern zu können und Kritik positiv annehmen zu können. Daher werden die Ergebnisse auch selten außerhalb des Projektteams verwendet.
Im Lessons Learned Workshop können sowohl Beziehungs-, als auch Sachebene diskutiert werden.
(Im pmqs.de haben wir eine kurze Beispielagenda zur Durchführung eines solchen Workshops hinterlegt.)

1.1.3 Umfragen und Interviews
Umfragen sind eine alternative oder zusätzliche Maßnahme zu Lessons Learned Workshops. Hierbei können sowohl das Projektteam, als auch die Nutzer befragt werden.
Ein großer Vorteil ist, dass der Fragebogen offline beantwortet werden kann. Es ist also nicht notwendig, das gesamte Projektteam am Projektende erneut zu versammeln. Es ist möglich, neben der Sachebene auch die Beziehungsebene zu hinterfragen.
Die Auswertung der Befragungsaktionen unterliegt den gleichen Restriktionen, wie die Lessons Learned Workshops. (Ein Beispielfragebogen, wie wir ihn schon für IT Projekte eingesetzt haben, kann auf Anfrage zur Verfügung gestellt werden.)

1.1.4 Kennzahlensysteme
Gerade im Softwarebereich gibt es eine Reihe von etablierten Kennzahlen. Teilweise finden sich diese Kennzahlen auch in der Aufwandsschätzung wieder (z.B. Function Point Methode). Der große Vorteil von Kennzahlensystemen ist, dass teilweise durchaus unterschiedliche Projekt verglichen werden können – was bei einer einfachen Kostenanalyse vielleicht nicht der Fall ist.
Die tatsächliche Nutzung begrenzt sich in der Regel durch den Aufwand der Erfassung von Kennzahlen.

1.1.5 Projekterfahrungsdatenbanken
Projekterfahrungsdatenbanken sind der ambitionierte Versuch den Output aus Lessons Learned und anderen Veranstaltungen in eine Datenbank zu packen und damit nutzbar zu machen.
Kommentare zu Befragung zeigen, dass dies zum einen nicht ganz einfach ist und zum anderen in Großunternehmen oft nicht durchsetzbar ist. Obwohl die verantwortlichen Projektmanager durchaus einen Sinn darin sehen, können diese Systeme nur Implementiert werden, wenn es entsprechende Machtsponsoren gibt.
Es gibt kommerzielle Projektdatenbanken, welche für die Planung eigener Projekt hinzugezogen werden können.

1.2 Aufbau der Befragung
Die Befragung ist in mehrere Abschnitte gegliedert:

A Inhalte
Im ersten Abschnitt wird erfasst, welche Art von Informationen in den Unternehmen in Projektdatenbanken erfasst wird.

B Finanzdaten
Der zweite Abschnitt hat einen einschränkenden Fokus auf Finanzdaten. Diese Aufteilung wurde vor allem deshalb gemacht, weil historische Finanzdaten zumindest teilweise einfacher verfügbar sind, wenn in den Unternehmen ein Projektantragsverfahren etabliert ist oder Projekte extern vergeben werden.

C Zugriff und Verwendung
Dieser Abschnitt prüft, ob die erfassten historischen Projektdaten überhaupt für alle Projektmanager des Unternehmens zugreifbar sind und ob diese – wenn sie verfügbar sind - dann auch genutzt werden.

D gewonnene Erkenntnisse
Im Abschnitt D wird ermittelt, welche Erkenntnisse von den Projektmanagern aus historischen Daten gezogen werden und wie die Daten strukturiert ausgewertet werden.

Im Abschluss wurden demographische Daten erfragt, um zu prüfen, wie verwertbar die Aussagen für die Leser der Befragung sind. („Machen die anderen Teilnehmer denn auch das gleiche wie ich?“)

Von einigen Teilnehmern wurde zu Recht angefragt, warum der Aufbau des Fragebogens nicht an den typischen Vertretern der Projektdatenbanken orientiert ist. Hintergrund des aktuellen Fragebogenformats ist, dass wir auch die Daten hinterfragen wollten, bei denen sich der ein oder andere Projektmanager vielleicht gar nicht bewusst ist, dass sie schon erfasst werden.

1.3 Gültigkeit
Bei der Befragung handelt es sich ausdrücklich nicht um eine repräsentative Umfrage, sondern um ein Meinungsbild. Dies hängt vor allem an zwei Punkten:
(1) Es ist unklar, wie groß eine Stichprobe sein müsste um ein repräsentatives Ergebnis zu ergeben.
(2) Es wurden gezielt Projektmanager angesprochen. Dabei wurden einschlägige Foren, Newsletter von großen Berufsverbänden und Direktansprache verwendet.
Dies grenzt die Bandbreite der Teilnehmer auf typische Benutzer solcher Medien ein:
Aus der demographischen Analyse ergibt sich, dass die Mehrzahl der Teilnehmer in IT Projekten tätig ist (80%) und außerdem Projekte in oder für Konzerne/Großunternehmen durchführt (65%).

Alle Teilnehmer arbeiten mit einer der vier Rollen:
- Programm-Manager
- Projektmanager/Projektleiter
- Teilprojektleiter
- QS-Manager
Daher ist davon auszugehen, dass die Fragen verstanden wurden und die Antworten korrekt sind. Dies hat sich auch in der Vielzahl der Kommentare zu den Fragen und Antworten gezeigt.

Wir denken, dass die Antworten ein interessantes Bild geben, wie dieses Thema in anderen Unternehmen gesehen wird.

1.4 Verteilung
Diese Auswertung wird den Teilnehmern auf Wunsch per Email zur Verfügung gestellt. Außerdem wird eine Kopie auf der Webseite http://www.pmqs.de gespeichert.

2 Fragebogen und Antworten
Im folgenden werden die Detailantworten des Fragebogens dargestellt.

2.1 Teil A: Inhalte

A1. Werden die Projekte in ihrer Organisation bei einer Erfassung von inhaltlichen Daten typisiert? (Neuentwicklung vs. Weiterentwicklung, Vertragsart, IT vs. Organisationsprojekt vs. „Brückenbauprojekt“, Größe, Komplexität, usw.)

Ja: 41%
Nein: 47%
Enthalten: 12%

Bei Teilen der Enthaltungen sind derzeit Systeme(rweiterungen) in Vorbereitung, um eine Vergleichbarkeit von Projekte in Zukunft zu erreichen.

A2. Wird bei ihnen während der Projektlaufzeit oder am Projektende ein Lessons Learned Workshop (Projekt-Retrospektive) mit den Projektmitarbeitern durchgeführt?

Ja: 67%
Nein: 22%
Manchmal: 11%

Bei den mit „Nein“ bewerteten Antworten wurde angemerkt, dass oft Einzelberichte des Projektleiters verfasst werden. Bei den „Ja“ Antworten gab es Hinweise, dass die Ergebnisse oft als Wissensinseln im (ehemaligen) Projektteam verbleiben und nicht unternehmensweit genutzt werden.

A3. Werden die Ergebnisse des Lessons Learned Workshops strukturiert und in einer historischen Projektdatenbank hinterlegt?

Ja: 24%
Nein: 71%
Teilweise: 5%

Es wurde angemerkt, das es zwar oft zu einer Strukturierung des gewonnen Wissens kommt, dass aber keine Möglichkeit vorhanden ist, dies in einer Datenbank zu hinterlegen.

A4. Verwenden Sie Trendanalysen (Kosten-, Meilenstein-Trendanalyse, etc.) um das Projekt zu steuern?

Ja: 75%
Nein: 25%

Bei den „Ja“-Antworten werden Methoden wie Trendanalyse, Earned-Value-Methode oder ähnliches zumindest teilweise eingesetzt.

A5. Sammeln sie schriftlich Informationen über ihren Auftraggeber (für Auftraggeber: Informationen über ihre Dienstleister/Auftragnehmer)? Hierzu gehören Dinge wie Verhalten, Zuverlässigkeit ihres Auftraggebers, usw.

Ja: 47%
Nein: 53%

A6. Führen Sie Befragungen zur Projektdurchführung mit den Projektmitarbeitern durch? (während oder nach Projektende; Interviews oder Fragebögen)

Ja: 82%
Nein: 18

Hinweis: Die ursprüngliche Fragestellung war missverständlich gestellt. Die Zahlen wurden anhand der Erläuterungen/Rückfragen der Teilnehmer berichtigt.

A7. Welche Daten werden sonst noch bei ihnen erfasst, um eine Datenbasis für zukünftige Projekte zu erhalten?

Auf diese Frage wurden nur von ca. 30% der Teilnehmer eine ergänzende Antwort gegeben. Zu den genannten Punkten zählen hauptsächlich Nachkalkulation, Produktivitätsmessung der einzelnen Mitarbeiter und Software- und Prozessmetriken.

A8. Werden die oben erfassten Daten – oder Teile davon in einer zentralen Datenbank zusammengeführt.

Ja: 31%
Nein: 69%

2.2 Teil B: Finanzdaten

B1 Werden in Ihrem Unternehmen, bzw. in ihrem Auftragnehmerunternehmen (wenn Sie als externer Dienstleister tätig sind) Projektfinanzdaten (außer in der Buchhaltung) zentral gesammelt?

Ja: 69%
Nein: 17%
Keine Antwort: 14%

B2 Nutzen Sie Metriken (Lines of Code, Function Points, Testobjekte, etc.) um die Kosten- / Aufwandschätzung durchzuführen?

Ja: 40%
Nein: 56%
Keine Antwort: 4%

B3 Wird eine Nachkalkulation durchgeführt und werden Abweichungen geklärt?
Ja: 60%
Nein: 30%
Keine Antwort: 10%

Interessanterweise wurde bei einigen wenigen „Ja“-Stimmen angemerkt, dass Nachkalkulationen nur für „politische Zwecke“ verwendet werden, aber keinen Einfluss auf zukünftige Planungen hat.

B4 Fließen diese Ergebnisse formal in die Kostenschätzmethodik ein (also nicht nur als Erfahrungsbereicherung für den einzelnen PM)?

Ja: 35%
Nein: 65%

B5 Welche Informationen würden Sie (sonst noch) in einer historischen Projektdatenbank sehen?

Von den ca. 30% der Nutzer, welche Datenerfassung in Datenbanken machen wurden eine Vielzahl von Hinweisen gegeben:
- alle Arten von Qualitätsdatendaten/Kennzahlen
- Risikomanagement (Risikolisten und Kategorien, Maßnahmen, Kosten)
- Fehler und ihre Ursache
- Schnittstellenprobleme und deren Lösungen - Darstellung von strukturellen und inhaltlichen Vernetzungen
- Gründe für die Abweichungen vom Plan
- Planungsfehler - Nichtverrechenbarer Aufwand - Erfahrungen mit Projektpartnern - Zufriedenheit des Auftraggebers
- Zufriedenheit der Benutzer

2.3 Teil C: Zugriff auf und Verwendung von historischen Daten

C1 Verfügen die Projektmanager in ihrem Unternehmen über einen Zugriff auf alle (seit Beginn der Datenbank erfassten) historischen Projektdaten?

Ja. 25%
Nein 75%

C2. Werden die historischen Daten zur Erzeugung von Checklisten verwendet, um potentielle Probleme im Vorfeld zu minimieren (z.B. im Rahmen eines Risikomanagementprozesses oder eines Risikoassessments)?

Ja: 50%
Nein: 50%

C3. Werden die historischen Daten von ihnen/von ihren Projektmanagern verwendet, um Trendanalysen durchzuführen?

Ja: 20%
Nein: 80%

C4. Werden die historischen Daten von ihnen/von ihren Projektmanagern verwendet, um die Projektplanung zu erstellen?

Ja: 25%
Nein: 55%
Keine Antwort: 20%

C5. Werden die historischen Daten von ihnen/von ihren Projektmanagern verwendet bei konkreten Schwierigkeiten während dem Projektverlauf verwendet?

Ja: 13%
Nein: 75%
Keine Antwort: 12%

2.4 Teil D: Gewonnene Erkenntnisse

D1. Bekommen Sie durch die Nutzung von historischen Daten eine Aussage über die verwendeten Einsatzmittel /Mitarbeiter (Qualität, Verfügbarkeit, Kostenentwicklung, etc.)

Ja: 37%
Nein: 50%
Teilweise: 13%

Als Hauptgründe gegen die Nutzung von Ergebnissen wurden zu unterschiedliche Projekte (also wieder Schwierigkeiten in der Vergleichbarkeit) oder zu kleine Projekte (was auf das gleiche hinausläuft) genannt.

D2. Bekommen Sie Informationen über mögliche Planabweichungen, bzw. Hinweise für Korrekturmaßnahmen, falls es im aktuellen Projekt zu ähnlich begründeten Planabweichungen kommt?

Ja: 35%
Nein: 50%
Keine Antwort: 15%

D3. Werden die erfassten Daten bei der Projektauswahl von zukünftigen Projekten aktiv verwendet? (Also bei der Auswahl, welche Projekte aus dem möglichen Projektportfolio tatsächlich durchgeführt werden sollen und welche nicht.)

Ja: 25%
Nein: 65%
Keine Antwort: 10%

D4. Werden aus den erfassten Daten aktiv mögliche Risiken für das Risikomanagement für Folgeprojekte abgeleitet?

Ja: 50%
Nein: 50%

D5. Werden aus dem erfassten Daten aktiv mögliche Lücken in den Kundenanforderungen oder nicht-funktionalen Anforderungen abgeleitet und so vermieden?

Ja: 35%
Nein: 65%

2.5 Teil E: Demographische Daten

E1. Was ist derzeit ihre primäre Rolle in Projekten?
70% Projektmanager/Projektleiter oder Programm-Manager
30% Teilprojektleiter oder QS-Manager
0% Projektmitarbeiter
0% Sonstige

E2. Wie viele direkte Mitarbeiter (Köpfe) (ohne Anwendervertreter) hatte ihr letztes Projekt?
Für die Antworten aus der IT-Projekte wurden im Durchschnitt 18 Mitarbeiter in den Projekten beschäftigt. (Für die anderen Projektarten ist die Stichprobe zu klein.)

E3. Wie lange hat Ihr letztes Projekt gedauert?
Durchschnittlich 17 Monate, d.h. die Mehrzahl der Projekte war überjährig.

E4. Haben Sie eine Zertifizierung als Projektmanager?
Ca. 10% der Teilnehmer haben eine Zertifizierung. Einige Teilnehmer stellen den Nutzen der Zertifizierung für den Projektalltag in Frage.

E5. In welcher Branche machen Sie Projekte?
Banken und Versicherungen 30%
Information Technology 20%
Telekommunikation 20%
Sonstige 30%

E6. Welche Art Projekt führen Sie durch? (z.B. IT-Projekte, Organisationsprojekte, „Brückenbau“,..)
IT-Projekte 80%
Organisationsprojekte 7%
Andere Projekte 13%

E7. Welche Größe hat das auftraggebende Unternehmen?
Großunternehmen/Konzern 65%
(Interessen-)Verband 6%
Mittelstand 11%
Kleinunternehmen 5%
Keine Antwort: 13%

3 Schlussfolgerungen und Fazit
Nachkalkulationen und Lessons Learned Workshops sind verbreiteten Methoden der Projektauswertung.

Kennzahlensysteme werden kaum verwendet, wenngleich schon zur Steuerung des Projekts Methoden, wie Meilensteintrendanalysen, etc. verwendet werden.

Nur rund ein Drittel der Befragten führt eine strukturierte Erfassung von (nicht-Finanz-) Projektdaten durch.
Selbst bei diesem Anteil findet eine Nutzung der erfassten Daten oft nur im unmittelbaren Umfeld statt. Oft scheitert die Nutzung der Daten auch daran, dass die Bereitstellung nicht unternehmensweit erfolgt, bzw. der Zugang restriktiv gehandhabt wird.

Wenn sich die Erfassung im Unternehmen verbietet, ist die Frage zu stellen, ob eine zentrale, anonymisiert Erfassung unter der Schirmherrschaft eines Berufsverbands (PMI, bzw. IPMA/GPM) Sinn machen würde.

Zu den Erkenntnissen, welche aus historischen Projektdaten gewonnen werden können gehören:
Risikomanagement allgemein (50%)
Aussagen zur Qualität Mitarbeitern (37%)
Risiken und Reaktionen bezüglich Planabweichungen (35%)
Vollständigkeit und Mögliche Lücken bei Kundenanforderungen (35%)
Projektauswahl zukünftige Projekte (25%)

Abschließend ist zu sagen, dass die Nutzung historischer Projektdaten relativ weit verbreitet ist, strukturell aber immer stark durch die Umstände bestimmt wird. Das Nutzenpotential ist bei den meisten Unternehmen nicht erreicht, so dass sich hier für fast alle Projektmanager noch Handlungsspielraum ergibt.

Grundsätzlich können beim Projektabschluss Sachebene und Beziehungsebene betrachtet werden: Während die Diskussion der Sachebene (Zahlen und Fakten) noch relativ einfach durchgeführt werden kann, tun sich viele mit der Betrachtung der Beziehungsebene schwer.
Wurde das Projekt für einen externen Kunden erstellt, ist die Speicherung solcher Daten noch durchsetzbar – werden aber Beziehungsprobleme im eigenen Unternehmen diskutiert, bewegt sich der verantwortliche Projektleiter auf dünnem Eis.

Welche Möglichkeiten der Einzelne hat, um seine Projektauswertungen zu verbessern, hängt stark von den Rahmenbedingungen / Projektkultur ab unter denen die Projekte durchgeführt werden. Der Einsatz unternehmensunabhängiger Lösungen kann geprüft werden (kommerzielle oder Berufsverband-getriebene Projektdatenbanken).

Der volle Nutzen ergibt sich oft erst nachdem mehrere Projekte als Vergleichsbasis in einer Datenbank hinterlegt sind. Das bedeutet, es ist eine Vorlaufinvestition notwendig. Meist werden Ergebnisse jeweils nur für das unmittelbar folgende Projekt benutzt.

Ein Kollege hat aktiv angeboten, einen Workshop zur Durchführung von Lessons Learned Workshops mit zu organisieren. Sollte daran konkretes Interesse bestehen, bietet sich die Diskussion über die einschlägigen PM-Foren an. Sie können auch über unsere Homepage Kontakt mit uns aufnehmen.