Am Beispiel der Endoskopie kann die Herausforderung, die durch Benchmarking adressiert werden soll, veranschaulicht werden: Es gibt eine Vielzahl an Herstellern von Endoskopen. Der Wunsch als Hersteller ist es, aus der Masse herauszustechen und Vorteile gegenüber der Konkurrenz zu bewerben oder auch gezielt zu entwickeln. Benchmarking adressiert diese Bedürfnisse, indem auf die folgenden Fragen Antworten gefunden werden:

  • Welche Stärken und Schwächen hat mein Produkt im Vergleich zu den Konkurrenzprodukten? 
  • Welche Key-Features meines Produkts haben den größten Impact auf die Zufriedenheit potentieller Endanwender?
  • Wie kann ich mein aktuelles Produkt zukünftig gestalten, um eine strategisch wichtige Nische und Trends der Zukunft abzudecken?
  • Wie kann eine erfolgreiche Marketing-Strategie aussehen, die potenzielle Endanwender überzeugt?
  • Wie kann ich bestimmte Vorteile meines Produkts gegenüber der Konkurrenz nachweisen, um diese MDR-konform bewerben zu können?
  • Wie kann ich mein Produkt innovativer gestalten oder meinen Innovationsvorsprung noch weiter ausbauen?

Schauen wir uns also einmal an, warum Benchmarking die Antworten auf diese Fragen gibt und was Benchmarking so herausfordernd macht, dass wir es bei M3i als die Königsdisziplin der Usability verstehen.

Was ist Benchmarking?

Eine „Benchmarking-Studie“ ist eine Erweiterung des Usability-Engineerings und dient – wie aus der Einleitung schon erahnt werden kann – zum Vergleich des eigenen Produkts mit Konkurrenzprodukten. Diese Gegenüberstellung, die entweder unmittelbar vor oder nach Markteinführung durchgeführt werden kann, misst dabei die Leistungslücke zwischen den einzelnen Produkten. Kernpunkt des Benchmarkings ist es dabei Messverfahren zu finden oder zu entwickeln, die einen reproduzierbaren und messbaren Vergleich ermöglichen. 

Beim internen Benchmarking können auch eigene Software- oder Produktversionen miteinander verglichen werden. Diese Studie wird zu einem früheren Zeitpunkt des Entwicklungsprozesses durchgeführt als es beim Vergleich mit Konkurrenzprodukten der Fall ist. In diesem Artikel fokussieren wir uns jedoch hauptsächlich auf Benchmarking-Studien mit Konkurrenzprodukten. 

5 Vorteile von Benchmarking: Warum Benchmarking ihr Produkt erfolgreicher macht

 

1. Erkennen von Innovationspotenzialen und Ausbau von Innovationsvorsprüngen
Im direkten Vergleich mit Konkurrenzprodukten durch erfahrene Endanwender können schnell Stärken und Schwächen der eigenen Innovation sowie Potentiale für relevante Use Cases und Optimierungspotentiale, die zur Erhöhung der Marktrelevanz führen, erkannt werden

2. Marketing Claims: Nachweis von Innovations-Vorsprüngen (Regulatorik)
Bei der Zulassung von Medizintechnik wird Benchmarking dann zum Muss, wenn Marketing Claims konkurrenzabhängig formuliert werden. Beispiele wären Werbeaussagen wie “wir haben die beste Ergonomie” oder “wir sind besser als”. Diese Aussagen gilt es nach der MDR im Rahmen der Zweckbestimmung nachzuweisen. Benchmarking ermöglicht also den Nachweis der Innovationsführerschaft sowie von Vorteilen gegenüber Konkurrenten und ermöglicht es diese MDR-konform bei potentiellen Kunden zu bewerben.

3. Optimierung der Marketing-Strategie
Durch Benchmarking mit klinischen Experten können explizit die überzeugendsten Key-Features des eigenen Produkts ermittelt werden, die im Vergleich zur Konkurrenz bei den Anwendern für besondere Begeisterung sorgen. Diese Alleinstellungsmerkmale können für eine gezielte Marketing-Strategie verwendet werden. Auch können zusätzlich Testimonials und spontane positive Aussagen der klinischen Endanwender über das Produkt, welche während der Erprobung gemacht wurden, die Glaubwürdigkeit von Werbeaussagen deutlich erhöhen.

4. Einbindung von Key Opinion Leader: Im direkten Vergleich Überzeugen
Eine Benchmarking-Studie ermöglicht es gezielt Key Opinion Leader (KOLs) für Testungen einzubinden und diese vom eigenen Produkt im unmittelbaren Vergleich zu ausgewählten Konkurrenzprodukten zu überzeugen.

5. Reichweite durch Publikationen erhöhen
Durch die Erhebung objektiver Messdaten in einem standardisierten Testsetup stehen zudem Daten für weiterführende Publikationen durch klinische Anwender zur Verfügung, welche das eigene Produkt bei anderen Endanwendern zusätzlich bekannt macht.

4 Herausforderungen des Benchmarkings, die Sie unbedingt beachten sollten

 

Um von dem Aufwand und den Kosten einer Benchmarking Studie optimal profitieren zu können, gibt es einige Herausforderungen und Hürden, die es unbedingt zu beachten gilt. Wir sind jedoch überzeugt, dass bei einer sorgfältigen Planung die Vorteile einer Benchmarking-Studie deutlich überwiegen. Deshalb im Folgenden 4 wichtige Punkte, die Sie bei der Aufplanung der Studie unbedingt beachten sollten:

1. Frühe Planung im Innovationsprozess
Wir wollen negative Outcomes bei einer Benchmarking-Studie unbedingt vermeiden. Eine frühe Ausrichtung des Entwicklungsprozesses auf eine geplante Benchmarking- Studie ist deshalb für den Erfolg der Studie unbedingt notwendig. So sollten bereits zu Beginn der Entwicklung die Hauptkonkurrenten und die Key-Faktoren für die Innovationsführerschaft identifiziert werden. Hier können auch bereits erste Interviews mit Endanwendern bei der Identifikation von Key-Faktoren helfen. Während der Produktentwicklung sollten die Faktoren dann explizit beachtet werden und Metriken zum späteren Vergleich dieser festgelegt werden. Um diese Key-Faktoren oder Medical Claims in der endgültigen Benchmarking-Studie zu bestätigen, empfiehlt sich vorab bei der Durchführung von Formativen Evaluationen die Fokussierung auf die für das Benchmarking relevanten Aspekte.

2. Hoher Aufwand bei Probandenrekrutierung
Bei der Einbindung von Probanden muss mit einem hohen Aufwand kalkuliert werden. Dies liegt besonders an den vollen Terminkalendern von klinischen Endanwendern, was die Terminfindung oft besonders schwierig gestaltet. Da bei einer Benchmarking-Studie mehrere Produkte verglichen werden, ist der Zeitaufwand auch deutlich höher als bei einer einfachen Usability Evaluation, was die Terminfindung nochmals deutlich erschwert. Für eine aussagekräftige Studie sollten außerdem Probanden aus unterschiedlichen Kliniken und verschiedene Nutzergruppen rekrutiert werden. Es sollte deshalb ausreichend Vorlaufzeit eingeplant werden. Bei Organisation und Durchführung der Studie sollte zudem ausreichend Personal eingeplant werden, um einen zügigen Ablauf der Erprobungen und Interviews gewährleisten zu können. Die Möglichkeit der Testung von verschiedenen Konkurrenzprodukten ist für viele klinische Experten interessant und sollte deshalb explizit bei der Anfrage erwähnt werden. 

3. Beschaffung der Konkurrenzprodukte
Da Hersteller von Medizintechnik meist nicht freiwillig ihr Produkt der Konkurrenz zur Testung zur Verfügung stellen, stellt zusätzlich die Beschaffung aller zu testenden Produkte oft eine große Herausforderung dar. Hier muss oft über Kontakte des eigenen Netzwerk zurückgegriffen werden, um an die Produkte zu kommen. 

4. Metriken durch Messequipment messbar machen
Um die im Voraus festgelegten Medical Claims messen zu können, ist häufig der Einsatz von Zusatzequipment nötig. Hierbei können beispielsweise am Probanden angebrachte Sensoren ergonomische Messwerte erfassen oder Eyetracking-Kameras messen, in welcher Abfolge und wie lange Nutzer bestimmte User Interfaces betrachten. Hierbei ist es ratsam, sich im Voraus ausführlich mit dem erweiterten Equipment vertraut zu machen, um eine reibungslose Implementierung zu gewährleisten.

FAZIT

Obwohl Benchmarking nicht unbedingt regulatorisch vorgeschriebener Bestandteil des Usability-Prozesses ist und einen erheblichen organisatorischen Aufwand erfordert, liefert es entscheidende Vorteile für die Entwicklung und Vermarktung des Produktes. Eine gut organisierte Benchmarking-Studie sorgt für eine frühzeitige Involvierung von Key Opinion Leadern,  erhöht den Innovationsgrad des eigenen Produkts und für ermöglicht eine MDR-konforme Bestätigung der beworbenen Marketing Claims.

Robin Strak

Author Robin Strak

Robin studied Medical Engineering at TH Nürnberg and Mechatronics at the University of Applied Sciences in Munich. Since 2020 he works as a project manager in usability for a research project in medical augmented reality.

More posts by Robin Strak