STUTTGART, Germany and BOSTON, Dec. 1, 2010 /PRNewswire/ -- SHAPE Services, the company behind IM+, announces the public release of IM+ Web Messenger (), that has been in beta since August.
IM+ lets users stay connected to friends, family and business contacts anytime, anywhere and from any mobile device or computer. Users can easily simultaneously chat with contacts from different networks without having to log into or toggle between different applications. With the aggregation of all popular social networks and support of all mobile platforms, including iPhone, BlackBerry, Android, Java, Symbian, WebOS and Windows Mobile, IM+ is the most feature rich mobile instant messaging app available today. The release of web version is a natural expanding of this cross platform IM software.
IM+ Web Messenger allows users to log in and chat with contacts from MSN Live Messenger, Facebook, Skype, Google Talk, Yahoo! Messenger, AIM, ICQ, MySpace, and J users have the option to sign up for a free IM+ account for keeping settings of all configured accounts and making future sign-ins easier. IM+'s chat history may be stored in an online archive at
and can be accessed from mobile or web, regardless of where the message was sent from. All versions of IM+ allow users to maintain multiple accounts of the same network simultaneously, thus, IM+ users may easily separate their professional and private chats. This is not currently possible with Facebook that irrevocably blurs the line between business and personal communication.
"Most companies have a web project or desktop software first. Then some of them port the software to mobile. SHAPE is going another way: being a mobile company, we transfer our success and user loyalty to the desktop world," said Elena Dyatlova, the company's public relations manager. "When Facebook and Google fight for a name of an all-in-one communication hub, we think there's a demand for IM+ as a third party super-aggregator."
SHAPE plans to release versions for Windows Phone 7, BlackBerry PlayBook, Android Tablets
support of Facebook Messages and mobile video chats is also in company's nearest plans.
For additional information about IM+, please visit
About SHAPE Services
SHAPE Services is an innovative app development company with a rich catalogue of bestselling apps and web services for iPhone, BlackBerry, Android and others. SHAPE is proud to be the only company with apps which have ranked in four Top 10 App Store categories: Social Networking, Business, Utilities and Productivity.
For more information, please visit
SHAPE Services
RELATED LINKS
Journalists and Bloggers
The news you need, when you need it.
to access all of the free services designated to make your job easier.
In need of subject matter experts for your story?
and find the sources you need.
LEARN MORE
Looking to send a news release with PR Newswire?
Take advantage of the world's leading distribution platform.
Have an account?
Searching for your content...CitationsSee all >14 References
20.32 · Fraunhofer Institute for Medical Image Computing MEVIS22.48 · Otto-von-Guericke-Universit?t Magdeburg+ 141.88 · Universit?t BremenShow
more authorsAbstractComputer-aided planning of complex surgical interventions as it is available today enables the surgeon to simulate and to optimize a resection strategy beforehand. The direct access to this planning data in the operating room, however, is limited by the design of the planning systems for preoperative use. Interfaces for operating room interaction need to consider the specific requirements as to the cognitive load, workflow, sterility, and workspace of the surgeon. During surgery, the control of interfaces by conventional interaction devices such as keyboard and mouse is rather limited for the surgeon. This article discusses two concepts for the intra-operative inspection of 3D planning data for liver surgery. The practical applicability of the concepts is discussed within a case study.Discover the world's research13+ million members100+ million publications700k+ research projects
Felix Ritter, Christian Hansen, Kjen Wilkens, Alexander K?hn und Heinz-Otto Peitgen Benutzungsschnittstellen für den direkten Zugriff auf 3D-Planungsdaten im OP User Interfaces for Direct Interaction with 3D Planning Data in the Operating Room Schlagw?rter: Mensch-Computer-Interaktion, Chirurgie, Berührungslose Benutzungsschnittstelle, GUI-Design, WiiMote Zusammenfassung:
Unterstützung
chirurgischer
computergestützte
Pla-nungssysteme bereit. Für den direkten
Zugriff im OP sind diese Systeme jedoch nur sehr eingeschr?nkt einsetzbar, da sie für die pr?operative Planung entworfen wurden und die besonderen Bedingungen im Operationssaal nicht berücksichtigen. Die
speziellen
Anforderungen
Beanspruchung,
Arbeitsfluss,
Sterilit?t
dem Chirurg
weitestgehend
unm?glich,
Eingabeger?ten
und Maus zu bedienen. Dieser Artikel diskutiert zwei Konzepte zur intraoperativen Betrachtung von virtuellen Planungsmodellen für Operationen an der Leber. Die praktische Anwendbarkeit der Konzepte wird anhand einer Fallstudie diskutiert.
Abstract: Computer-aided planning of complex surgical interventions as it is available today enables the surgeon to simulate and to optimize a resection strategy beforehand. The direct access to this planning data in the operating room, however, is limited
the design
the planning
systems for
preoperative
use. Interfaces
for operating
room interaction
con-sider the specific
requirements
cognitive load,
workflow, sterility,
surgeon. During surgery, the control of interfaces by conventional interaction devices such as keyboard and mouse is rather limited for the surgeon. This
intra-operative
inspection
planning data
practical applicability of the concepts is discussed within a case study. 1. Einleitung 1.1 Operationsplanung in der Leberchirurgie
Computergestützte
Planungssysteme erleichtern
Anfertigung einer
patienten-individuellen
Operations-planung und erm?glichen die Simulation und Optimierung der Resektionsstrategie auf Grundlage der
rekonstruierten und quantifizierten Patientenanatomie. Die r?umliche Lage wichtiger Risikostrukturen wie Blutgef?sse oder r?umlich benachbar-ter
dreidimensionaler
Planungsmodelle
dargestellt.
Operation k?nnen
risikobehaftete
Strukturen
wie Gef?sse
und abh?ngige Gef?ssprovinzen
mathematischer Modelle
ermittelt und
visualisiert
OP-Planung
vorgenommen
beliebig kontrolliert
bzw. modifiziert werden.
Die Planungsmodelle
bieten hierbei eine
verl?ssliche
chirurgische
Ent-scheidungen, eine h?here Sicherheit für den Operateur und k?nnen zu verkürzten Eingriffszeiten und weniger Komplikatio-nen führen.
OP-Planungen
oftmals die
MeVis LiverAnalyzer,
die Analyse tomographi-scher Bilder (CT, MRT) der Leber spezialisiert ist. Die Applikation bietet die M?glichkeit, eine OP-Planung mit konventionel-len Eingabeger?ten vorzunehmen. Die Ergebnisse der Planungsanalyse k?nnen anhand vorkonfigurierter Ansichten, wel-che aus einer Kollektion unterschiedlicher 3D-Planungsobjekte bestehen, in der Applikation
ausgew?hlt werden (Bild 1-1). Die vorkonfigurierten Ansichten zeigen die verschiedenen Gef?sssysteme, Ver- und Entsorgungsterritorien, Risikoanalysen,
die vorgeschlagene Schnittfl?che und Tumore. Ist eine Ansicht geladen, so kann das entsprechende 3D-Modell frei gedreht und
vergr?ssert
(Bild 1-2).
werden Tabellen
den entsprechenden
Volumeninformationen
angezeigt (Bild 1-3),
besteht die
Option, einzelne
der Tomographiedaten
betrachten
(Bild 1-4),
das 3D-Modell rekonstruiert wurde.
Benutzungsschnittstelle
LiverAnalyzer
zur Analyse
von Planungsdaten.
Dargestellt sind
eines Patienten,
die Gef?sse innerhalb der
Metastasen,
Planungsmodell
virtuell entfernt werden. 1.2 Intraoperative Nutzung von Planungsdaten
Der Erfolg einer Operation
h?ngt massgeblich von der Pr?zision
mit der bildgestützte Planungsdaten auf den
Patienten übertragen werden k?nnen. Insbesondere bei komplexen Eingriffen ist die
?bertragung der Planungsdaten in den operati-ven Situs - mit dem Ziel einer Unterstützung des Chirurgen w?hrend des therapeutischen Eingriffs - von grosser Bedeutung. Beispielsweise m?chte sich der Chirurg vor riskanten Operationsphasen über umliegende Risikostrukturen informieren und diese in Relation zu der pr?operativ generierten Resektionsfl?che betrachten.
Weiterhin ist eine
schnelle, intraoperative Anpassung der virtuellen
Operationsplanung durch den Chirurgen
wün-schenswert,
da bei bis zu 20% der Tumoroperationen zus?tzliche Tumore mittels moderner Ultraschalltechnologie diagno-stiziert werden. Diese, meist kleineren Tumore, sind in den pr?operativen Bilddaten nicht sichtbar.
Die bestehenden Planungssysteme sind jedoch nur sehr eingeschr?nkt für die intraoperative Steuerung geeignet, da ihre Benutzungsschnittstellen für die pr?operative Planung entworfen wurden und die besonderen Bedingungen im Ope-rationssaal nicht berücksichtigen.
2. Navigation in chirurgischen Planungsdaten mit der WiiMote
Konventionelle Eingabeger?te wie Maus
oder Tastatur
für die Verwendung im sterilen
Bereich eines
OP nicht geeig-net.
Verwendung
spezieller
Plastikhüllen
Bedienbarkeit
Dass Eingabeger?te sterilisierbar
oder steril
verpackbar sind,
Funktionalit?t einzuschr?nken,
ist demnach
eine wichtige Anforderung an ein intraoperatives Eingabeger?t. Ferner ist zu beachten, dass bei funkbasierten Eingabeger?ten wie beispielsweise einer kabellosen Maus, keine St?rungen von im OP befindlichen medizinischen Ger?ten durch elektro-magnetische Interferenzen verursacht werden. 2.1 Anbindung der WiiMote an eine Planungsapplikation für Leberoperationen
Jahren haben
Forschergruppen kommerziell erh?ltliche
Eingabeger?te im
sterilen Bereich
ver-wendet und evaluiert. Dabei handelte es sich in den meisten F?llen um steril verpackte Touchscreens (Chojecki et al. 2009) und 3D-M?use. Einige
Gruppen verwenden optische Trackingsysteme, welche in der
Chirurgie zur
Navigation
menten genutzt werden,
um dem Chirurgen ein Interaktionsger?t bereitzustellen (Fischer et al. 2005, Reitinger et al. 2006, Hansen et al. 2008). Navigierte Eingriffe sind jedoch nur bei ausgew?hlten Patienten von medizinischer Notwendigkeit.
Im Folgenden diskutieren wir die intraoperative Verwendung der Fernbedienung Wii Remote, verkürzt als WiiMote bezeichnet.
Eingabeger?t
für Nintendo&s
Spielekonsole
Wii. Durch
die integrierte Bewegungserkennung eignet sich die WiiMote als kabelloses Zeigeinstrument oder zur Erfassung von
Handge-sten. Wie in Bild 2-1 dargestellt, ist die WiiMote mit einer Vielzahl an Steuerungselementen versehen. Sieben Eingabekn?p-fe, ein
Digitalsteuerkreuz, drei
Beschleunigungssensoren
infrarot-basiertes Trackingsystem
(IR-Kamera
Sen-sorbar) erm?glichen die Erfassung von Benutzereingaben in Echtzeit.
2: Nintendo&s
Rahmenbedingungen
Experimental-OP
Universit?tsklinikum
Schleswig-Holstein, Campus Lübeck.
Die Kommunikation mit
Wii-Spielekonsole erfolgt
kabellos über
den offenen
Bluetooth-Standard. Dass durch
den Ein-satz
im Operationsaal
(Bild 2-2)
keine St?rungen von
medizinischen Ger?ten
elektromagnetischer Interferenzen verursacht werden, belegen aktuelle Studien (H?getveit et al., 2005).
2.2 Verwendung der WiiMote im Operationsaal
die WiiMote an das
Planungssystem MeVis LiverAnalyzer angebunden und den dadurch entstehenden
Nutzen für den Chirurgen unter
realistischen Bedingungen im Operationssaal bewertet. Das Einpacken
WiiMote in eine sterile Kunststoffhülle (Flexanorm(R), Fernbedienungs-Bezug) schr?nkt die Bedienbarkeit kaum ein. Lediglich der an der Unterseite befindliche B-Button ist unter Umst?nden etwas schwerer zu aktivieren, aus diesem Grund sollten keine wichtigen Funktio-nen
Die Funktion
Infrarotkamera
Kunststoffhülle
beeintr?chtigt,
jedoch traten im
Falle eines Blutfilmes vor der
Kameralinse geringe St?rungen
bei der ?bermittlung der
optischen Trackingdaten auf. Im Rahmen unserer Studie stellten wir den Chirurgen zum einen Basisfunktionen zur Navigation in Planungsdaten mit der WiiMote zur Verfügung, zum anderen Interaktionsm?glichkeiten zur intraoperativen Anpassung von Planungsdaten. Basisfunktionen zur Navigation in Planungsdaten Wie in Abschnitt 1.1 beschrieben, stehen dem Chirurgen in der pr?operativen Phase wichtige Interaktionsm?glichkeiten zur Exploration
der patienten-individuellen
Verfügung.
Basisfunktionen sind,
1 dargestellt,
Aus-w?hlen
vorkonfigurierter
Ansichten,
das Rotieren
und Vergr?ssern der
ausgew?hlten
Navigieren
2D-Schichtdaten
und die Auswahl
quantitativer
Zusatzinformationen wie Volumenangaben. Im Hinblick auf die einführend be-schriebenen
intraoperativen
Anforderungen
an eine Benutzungsschnittstelle wird im
erl?utert, wie
Basis-funktionalit?ten mit Hilfe der WiiMote ausgeführt werden k?nnen.
Sichtbarkeit
zu gew?hrleisten,
werden dem
drei Vollbildansichten
angeboten:
Eine ?bersicht der vorkonfigurierten Ansichten
3-1), eine 3D-Ansicht (Bild 3-2) und
2D-Ansicht (Bild 3-3). Die Ansich-ten k?nnen durch Drücken des 1-Buttons gewechselt werden. Quantitative Informationen zu den Planungsobjekten werden in der
3D-Ansicht
durch Selektieren eines
Mauszeiger
eingeblendet.
vorkonfigu-rierten
geführten
Mauszeiger
gewünschte Screenshot-Icon der
vorkonfigurierten
Ansicht und
best?tigt die
Auswahl mit
dem A-Button,
automatisch
3D-Ansicht-Modus umgeschaltet
wird. Für das Vergr?ssern und Verkleinern
der 3D-Ansicht wurden
die Plus- und Minusta-sten, für das Wiederherstellen der Standardkameraposition die Home-Taste belegt. Ein Rotieren
Ansicht erfolgt in dis-kreten
22.5°-Schritten
und y-Achse
des Kamerakoordinatensystems und
dem Steuerkreuz vorgenom-men werden. Auf die M?glichkeit, das Modell mit Hilfe des optischen Trackingsystems zu rotieren, wurde bewusst verzich-tet. Zum
einen stellten wir in
Benutzungstest
fest, dass
ben?tigen,
sensiblen Steuerung eine gewünschte Kameraposition einzustellen. Zum anderen hat dies den Vorteil, dass die Rotation des Modells somit auch ohne Sichtverbindung zwischen WiiMote und Sensorbar (IR-Tracking)
m?glich ist. Für das &Bl?ttern&
durch die 2D-Schichten bewegt der Chirurg die WiiMote in die intendierte Richtung. Aus den Messdaten der Beschleunigungssenso-ren und des IR-Trackings k?nnen Bewegungsrichtung, -strecke
-geschwindigkeit
ermittelt werden, und die 2D-Schicht wird entsprechend angepasst. Zum &pr?zisen Bl?ttern& wird alternativ das Steuerkreuz zur Interaktion angeboten.
(3) Bild 3: Umschaltbare Vollbildansichten: ?bersicht der vorkonfigurierten Ansichten, 3D-Ansicht und 2D-Ansicht Adaption von Planungsdaten
Wie einführend beschrieben, werden
eines Eingriffes
zus?tzliche
Tumore mittels
Ultraschall-technologie
diagnostiziert.
Risikostrukturen,
Neudefinition
geplanten, virtuellen Resektionsfl?che wünschenswert, um Informationen über das verbleibende Restvolumen des Organs zu erhalten und m?gliche Risikoareale zu identifizieren. Bisher wurden intraoperative Planungsanpassungen ohne Unterstützung onko-logischer Planungssoftware vorgenommen, weil keine geeignete Benutzungsschnittstelle bereit stand.
Basierend auf der Arbeit von Konrad-Verse et al. (2004) im Bereich virtueller Resektionsfl?chen und den im vorhe-rigen Abschnitt vorgestellten Basisinteraktionen, stellen wir M?glichkeiten zur Neudefinition von Resektionsfl?chen mit Hilfe der
beschriebenen
Basisinteraktionen
Verwendung
IR-Tracking-Funktionalit?t
für die Art der Interaktion zwingend notwendig.
In der 3D-Ansicht hat der Chirurg
hierbei die
M?glichkeit, mit gedrücktem
A-Button eine Resektionslinie auf der virtuellen Organoberfl?che einzuzeichnen. Nach Best?tigung (mit einem frei konfigurierbarem Button) wird anhand
der Resektionslinie ein 3D-Gitter
generiert,
welches durch
Selektieren und
Ver-schieben der Gitterpunkte verformt werden kann (Bild 3-2). In der 2D-Ansicht k?nnen weitere Feineinstellungen der Resek-tionsfl?che vorgenommen werden (Bild 3-3). Durch anschliessendes Wechseln
in die 3D-Ansicht wird das
aktualisierte Pla-nungsmodell generiert und die aktualisierten Volumeninformationen eingeblendet. 3. Berührungsloser Zugriff auf 3D-Planungsdaten im OP Die Nutzung der WiiMote als Eingabeger?t versetzt den Chirurgen in die Lage, auch komplexe Interaktionsaufgaben direkt vom Situs aus steuern zu k?nnen. Dennoch ist die WiiMote ein zus?tzliches Ger?t und erh?ht die Anzahl der ,,Operationsin-strumente“.
In den folgenden
Abschnitten
Funktionsumfang
reduzierte
Benutzungsschnittstelle
ent-worfen, die dem Chirurgen die direkte Steuerung über einfachste Gesten mit hoher Fehlertoleranz erlaubt.
3.1 Bedarfanalyse an 3D-Planungsinformationen In Rücksprache mit zwei
teilnehmende
Beobachtung
Leberoperationen wurde der Bedarf an zu-s?tzlichen Informationen unter Berücksichtigung einer minimierten Interaktion ermittelt.
Analyse verfügbarer Planungsergebnisse Für die Analyse der notwendigen Planungsinformationen
wurden die
virtuellen Planungsmodell
bereitgestellten
Infor-mationen (siehe Abschnitt 1.1) bewertet. Im Ergebnis sind folgende Angaben und Darstellungsformen verzichtbar: o Darstellung
Interaktion
2D-Bilddaten,
Schichtbilder
redundante
Informationen
3D-Modellen
enthalten. Die
Schichtbilder
Vorbereitung
zur Kontrolle des berechneten 3D-Modells herangezogen und sind für die Operationsdurchführung in den meisten F?l-len nicht erforderlich. o Darstellung der tabellarischen Volumeninformationen, da es sich hier nur um nichtver?nderbare Angaben handelt. Es ist vorstellbar, diese Informationen in die 3D-Ansicht zu integrieren. Die Evaluation des Prototyps zeigte jedoch, dass diese Informationen w?hrend der Operationsdurchführung nicht ben?tigt werden. o M?glichkeit,
eine virtuelle Resektion nachtr?glich
einzuzeichnen,
die Komplexit?t
abzubildenden
Interakti-onsaufgaben zu verringern. Aus den
aufgezeigten
die Informationspr?sentation auf eine
interaktive
3D-Visualisierung
des Planungsmo-dells beschr?nkt, wobei jedoch alle für die OP relevanten Strukturen wie Gef?sse, Organterritorien sowie L?sionen darstell-bar sein müssen. Analyse der Interaktionsbedürfnisse Um die zentrale Interaktion für die Informationsbeschaffung ,,Betrachten von 3D-Planungsdaten“ aufteilen und mit Interakti-onstechniken verknüpfen zu k?nnen, wurde eine hierarchische Aufgabenanalyse durchgeführt. Hierbei wurden zun?chst die mit der T?tigkeit verbundenen
Hauptaufgaben identifiziert und diese dann schrittweise zerlegt. Dies wurde so lange durch-geführt, bis eine unseren Zwecken genügende Granularit?t erreicht war (Bild 4).
Bild 4: Hierarchische Aufgabenanalyse der Interaktionsaufgabe ,,Betrachten von 3D-Planungsdaten“
Die Hauptinteraktionsaufgaben bestehen aus
einer vorkonfigurierten Ansicht der
Planungsdaten,
sichtbaren Objekte
und Objekteigenschaften
definiert,
und Skalierung des 3D-Modells. Ein auf diese interaktive Funktionalit?t reduzierter Planungsdaten-Viewer erlaubt eine einfache Gestaltung der Steuerung und bietet dennoch eine Vielzahl operationsunterstützender Informationen. 3.2 Konzeption der Interaktion Um die
Frage beantworten zu
welche Interaktionstechniken
für die Realisierung
Interaktionsaufgaben
OP angemessen sind, wurde zun?chst die Kommunikation im OP analysiert und ein Bedienkonzept auf Grundlage eines Inter-aktionsszenarios entwickelt.
Analyse der Kommunikation im OP Die Kommunikationsstrukturen im OP sind im Vergleich mit anderen Industriezweigen, die ein ?hnlich hohes Risikopotenzi-al aufweisen,
relativ unstandardisiert
(Turrentine
Zwar existieren eine
Vorschriften,
die Sicherheit und Gebrauchstauglichkeit medizinischer Ger?te und Software regeln (IEC 60601-1-6, IEC 62366), dennoch berichten 70% der Chirurgen von Schwierigkeiten mit
der Bedienung. Etwa 60 % der Vorkommnisse, die mit medizintechnischen Ger?ten in
Zusammenhang
auf Missverst?ndnissen
Mensch und
Eine m?glichst
intuitive,
fehlertolerante
und robuste
hilft, Fehlbedienungen
minimieren
und erh?ht
die Akzeptanz beim Chirurgen. Videoanalysen von aufgezeichneten Leberoperationen sowie eigene, teilnehmende Beobachtungen an OPs zeig-ten, dass eine ,,berührungslose“ Kommunikation des Teams über Sprache und Gesten erfolgt. Gesten wurden insbesonde-re eingesetzt, um
bedienenden
Chirurgieassistenten,
gewünschte
Orientierung
An-sicht mitzuteilen (Bild 5).
Bild 5: Gesten verdeutlichen
und pr?zisieren die an einen Chirurgieassistenten verbal erteilten Kommandos zur
Steuerung der Sicht auf das 3D-Planungsmodell (Ausschnitt aus einem OP-Video) Berührungslose Interaktion im OP Neben
Vermeidung
eines zus?tzlichen ,,Operationsinstrumentes“ werden
Beschr?nkung auf
berührungslose Benutzungsschnittstellen viele Probleme der Sterilit?t und Verschmutzung, insbesondere durch Blut, von vornherein ausge-schlossen.
Nachfolgend werden
m?gliche berührungslose Steuerungsm?glichkeiten
Bezug auf ihre Tauglichkeit für den OP betrachtet. Sprachsteuerung Sprachsteuerung kann
wenn die H?nde schon besch?ftigt sind, als
ideales Eingabemedium erweisen
(vgl. Dix et
al. 2004, S. 558). Dennoch sind Techniken der Sprach- und Gestenerkennung im intraoperativen Einsatz aus Sicherheitsgrün-den nicht
sehr weit verbreitet, da aufgrund des im
vorhandenen Ger?uschpegels eine Erkennung
oftmals zu ungenau ist (Yaniv und Cleary 2006). Weiterhin beobachteten Jyrkinen et al. (2000), dass
hohen Anspannung
für einen Arzt schwierig ist, w?hrend der OP eindeutige Anweisungen zu geben, speziell
sich um Eigenschaften wie Gr?ssen-, Mengen- und Richtungsangaben handelt. Fusssteuerung Die Steuerung über einen Fussschalter liesse sich im Operationssaal einfach verwenden. Dennoch ist es schwierig, die kom-plexen Aktionen, wie sie in der Interaktionsanalyse beschrieben sind, mit Hilfe
eines bin?ren Schalters abzubilden. Schnell würde die Anzahl der verwendeten Schalter ein akzeptables Mass übersteigen oder die Kombinationen der zu bet?tigenden Schalter zu komplex werden. Dennoch ist die Verwendung von Fussschaltern in anderen Situationen, wenn z.B. die halbau-tomatische Kalibrierung eines Navigationssystems (Yaniv und Cleary 2006) vorgenommen wird, sinnvoll. Gestensteuerung Bei
der Gesteninteraktion
über K?rpergesten.
oder Armgesten ausgewertet (Penne et al. 2009). Es gibt aber auch Systeme, die Gesichts-, Kopf- oder Ganzk?rpergesten aus-werten. Wie
Review von Yaniv
und Cleary (2006)
zeigte, gibt es
medizinischen
Bereich nur wenige
gestenbasierte Systeme. Beipielsweise nutzt Gratzel (2004) Handgesten, um die
Funktionen einer Computermaus für einen Arzt w?hrend
zug?nglich zu
machen. Als Argumente, die
den Einsatz
von sichtbasierter Gestenerkennung im
sprechen, werden
die konstanten
Lichtverh?ltnisse
Helligkeit
OPs im allgemeinen
von Tages-lichteinflüssen abgeschirmt sind. Zudem erfordern
sicht- bzw. gestenbasierte
Systeme keinen physischen Kontakt, was es erm?glicht,
Operationsfeld
einzusetzen.
Gestenaufnahme
verwendeten Kameras sind mittlerweile klein und leicht, eine Unterbringung im OP wird somit vereinfacht. Teilnehmende Beobachtungen an OPs sowie Gespr?che mit Chirurgen zeigten, dass eine gestenbasierte Handinterak-tion in diesem Nutzungskontext grunds?tzlich m?glich ist. Einh?ndige Gesten bieten sich nach Analyse von OP-Videos hier besonders an, da der Arzt oft noch Operationsbesteck in der dominanten, operierenden Hand h?lt. 3.3 Konzeption der Benutzungsschnittstelle Für die ?bertragung dieser Planungsdaten in den OP-Kontext zur Operationsunterstützung sind die geltenden Rahmenbe-dingungen ausschlaggebend für das Systemdesign. Wichtigster Faktor für das Design war die einfache Bedienbarkeit aller erforderlichen Interaktionsaufgaben. Klickfreie Steuerung Klassische
GUI-Benutzungsschnittstellen
Zeigepunkt
einen bestimmten Bereich wie z.B. einen Button bewegt und eine zus?tzliche Taste gedrückt werden muss, aus. Bei der Verwen-dung einer gestenbasierten Steuerung muss hierfür ein Ersatz gefunden werden. Zwar kann auch eine spezielle Geste zum Ausl?sen vereinbart werden, es existieren jedoch auch alternative Ans?tze für eine klickfreie Steuerung. Ein alternativer Ansatz ist das Goal Crossing (Accot und Zhai 2002). Hierbei werden Aktionen durch das ?berque-ren von Linien ausgel?st. Wobbrock und Gajos (2007) zeigten, dass für Menschen mit motorischen St?rungen diese Einga-bem?glichkeit eine angenehmere
effektivere
Alternative darstellt. Falls also
verwendete
Eingabeger?t Pro-bleme mit der Zielgenauigkeit entstehen, k?nnte Goal Crossing eine Alternative darstellen. Eine weitere Methode des Akti-vierens von Elementen ohne zus?tzliche Maustaste stellt das Wait-to-Click Paradigma (Gratzel 2004) dar. Hier verweilt ein Nutzer
Zeigeger?t auf
einem Punkt,
auszul?sen.
die Steuerung
Prototypen wurde
auf-grund seiner Einfachheit das Wait-to-Click Paradigma gew?hlt. Dabei wird die Zeit, die für ein Ausl?sen der Aktion notwen-dig ist, visuell durch einen anschwellenden, gefüllten Kreis inmitten eines konturierten, den maximalen Durchmesser repr?-sentierenden Kreises dargestellt. Auswahl einer vorkonfigurierten Ansicht Für die
Auswahl einer
vorkonfigurierten
Ansicht wurde
ein Ringmenü
favorisiert. Alternative Entwürfe, die ebenfalls unter-sucht wurden, waren
eine Matrixdarstellung, sowie eine Auswahl anhand von Kriterien, die über visuelle
Kippschalter akti-vierbar waren (Bild 6).
(3) Bild 6: Entwürfe für die Benutzungsschnittstelle zur Auswahl einer vorkonfigurierten Ansicht
enthaltenen
Nummerierungen 1.
dabei für
eine Rotation
nach links
oder rechts.
Wenn der Benutzer auf
Bildschirmrand
zeigt, dann
rotieren die
Ansichten in
entsprechende
Rich-tung.
Das gleiche
den linken
Bildschirmrand.
die richtige Ansicht
gefunden wurde,
des Bildschirms heraus durch eine Handbewegung nach oben (3.) der Auswahlprozess statt.
Wie Hand (1997) beschreibt,
liegt der Vorteil dieser
Art von Menü darin, den Auswahlprozess auf einen Freiheits-grad, also eine eindimensionale Operation, abzubilden. Ein weiterer Vorteil ist, dass beim Wechseln zwischen verschiede-nen Ansichten der Kontext bestehen bleibt. So ist es leichter für den Nutzer, die aktuelle Position im gesamten Datenraum wahrzunehmen.
w?re nicht der
schlichtes
Durchschalten
der Bilder stattfinden
würde. Weiterhin
wird durch die r?umliche Anordnung das ausgew?hlte Objekt im Vordergrund gr?sser dargestellt als die anderen im Hintergrund. Ein Nachteil ist
schlechte Skalierbarkeit der Anzahl der
darzustellenden
Organansichten.
Dieses Kriterium trifft
für die-sen Anwendungsfall
jedoch nicht
Darstellung mit
verschiedenen
noch praktikabel
ist und zumeist weit weniger als 20 Ansichten erstellt werden. Bild 7 zeigt die Realisierung im Prototypen.
Bild 7: Realisierung der grafischen Benutzungsschnittstelle zur Auswahl einer vorkonfigurierten Ansicht Vorkonfigurierte Ansicht betrachten Die
Interaktionsaufgabe
,,Betrachten
3D-Modells“
Aufgabenanalyse
Teilaufgaben Rotieren
und Skalieren. Planungsmodell rotieren Die
Rotieren wird,
aktive Bereiche an
Seiten des
Monitors abgebildet. Somit kann um die horizontale und vertikale Raumachse rotiert werden, wobei auf eine Rotation um den Sicht-richtungsvektor des Betrachters
verzichtet wurde. Sie ist weder notwendig noch sinnvoll.
Zun?chst sah der Entwurf in Bild 8-1 vor, die Funktion Skalieren, also das Vergr?ssern oder Verkleinern der Ansicht, über eine aktive Fl?che in der Mitte des Bildschirmes zu realisieren, die dort über eine senkrechte Bewegung der Hand gesteuert werden sollte (1.). Da dieser Ent-wurf jedoch eher Fehlbedienungen provozierte als fehlertolerant zu sein, wurde die Funktion Skalieren stattdessen in einen eigenen Modus überführt.
(2) Bild 8: Initiale Designstudien für die Benutzungsschnittstelle zur Sichtsteuerung auf das vorkonfigurierte 3D-Modell
Eine alternative Variante
für einen
gemeinsamen
Modus zeigt
Funktionen sind
hier im Halbkreis um das
des Organs
angeordnet. Ein
der Bedienelemente
assoziierte
einer waagerechten
bzw. einer
senkrechten
der entsprechenden Eigenschaft. Eine gr?ssere Bewegung entgegen dieser Richtung hebt die Auswahl auf.
Bild 9 zeigt die prototypische Realisierung der Rotation, bei der ein direktes Umschalten in den Auswahlmodus für eine neue Ansicht oder ein Umschalten zur Skalierungsfunktion durch Wait-to-Click m?glich ist.
Bild 9: Ansicht der Benutzungsschnittstelle zur Rotation des 3D-Planungsmodells Ausschnitt vergr?ssern/verkleinern Die Realisierung der Skalierungsfunktion
entspricht in
Bedienung der
Rotationsfunktion. Ein schneller
Wechsel in
den Auswahlmodus oder zur Rotationsfunktion ist auch hier m?glich. Die Funktionen Vergr?ssern und Verkleinern werden über eine waagerechte Interaktion ausgeführt. Obwohl jeweils die gesamte linke und rechte Seite das Monitors für die Steuerung aktiv ist, sind die Zeichen + und
– auf unterschiedlicher H?he angebracht, um
eine leicht
diagonale, hoch/runter-Geste zur Bedienung
zu f?rdern
(Bild 10).
Im Gegensatz
rein waagerechten
intuitivere
Abbildung erreicht.
Bild 10: Sicht auf das Planungsmodell mit Skalierungsfunktion Wechsel zwischen den Interaktionsaufgaben W?hrend
Auswahl der vorkonfigurierten
Ansicht und die
Interaktion mit dem
3D-Modell über eine
Richtungsbewegung gesteuert
wird, geschieht
der Wechsel
Auswahl, Rotation
und Skalierung über das
zuvor beschriebene Wait-to-Click Paradigma. Die Verwendung
Wait-to-Click für die Feinjustierung der 3D-Ansicht
über Schaltfl?chen
würde einen erheblichen
zus?tzlichen Zeitbedarf bedeuten.
Daher wurde diese Interaktionsform
lediglich für den Wechsel
der Interakti-onsaufgaben
verwendet.
(Schalter)
Interaktionsaufgabe durch eine vergr?sserte
Interaktionsfl?che an. Um den Wechsel
Zeigen zu vereinfachen, werden die Fl?chen vergr?-ssert, sobald sich der Zeigepunkt ihnen n?hert (Target Expansion (McGuffin und Balakrishnan 2005)).
Evaluierung Im Rahmen der
Evaluierung
der Entwurfsphase
wurden durch
die Cooperative
Think Aloud
Methode (Dix
al. 2004) Claims generiert, die dann durch eine Claimsanalyse zurück in den Entwicklungsprozess
fliessen konnten. Folgende Kriterien wurden dabei beurteilt: o Das Interaktionsdesign: die Abfolge von Arbeitsschritten o Das Interfacedesign: die grafische Benutzungsschnittstelle Die Zeigeinteraktion wurde von dieser Evaluierung ausgenommen, der Test einer vergleichbaren
Interaktion ist in der Lite-ratur zu finden (Argyros und Lourakis 2006). Ablauf Nach einem einführenden Gespr?ch
wurde der jeweils testende
Chirurg gebeten, die Interaktionsschritte
eines vorbereite-ten Nutzungsszenarios
durchzuführen.
dabei angehalten,
Gedankeng?nge zu
?ussern. Im
einer Cooperative Think Aloud Evaluierung ist es dem Nutzer im Gegensatz zur einfachen Think Aloud Variante erlaubt, Rückfra-gen an den Testdurchführenden zu stellen. Gemeinsam wurden Probleme identifiziert und protokolliert. Ergebnisse und Auswertung Die Evaluierung wurde mit zwei Chirurgen jeweils einzeln durchgeführt. Beide haben umfangreiche Erfahrungen mit Leber-resektionen und
computergestützter Schnittplanung. Das gew?hlte Nutzungsszenario wurde
realistisch bewertet. Auch
gew?hlten Grundfunktionen und Verein-fachungen
als tauglich
für das gew?hlte Szenario
best?tigt.
best?tigt,
2D-Schichtbilder redundante Informationen darstellen, die nur w?hrend der OP-Vorbereitung genutzt werden, um die durchgeführte Segmen-tierung der einzelnen Strukturen zu
überprüfen. Intraoperativ sei es üblich, sich auf die 3D-Modelle zu verlassen. Auch die Tabellen
Volumeninformationen
angenommen
intraoperativ
Pla-nungsphase ben?tigt.
Im Laufe der Evaluierung wurden drei Funktionswünsche ge?ussert: 1.
Darstellung des
intraoperativ verwendeten Ultraschallbildes auf
gleichen Monitor
w?re wünschenswert, damit der Arzt nicht st?ndig
zwischen den an verschiedenen Orten angebrachten Monitoren hin- und herschauen muss. 2.
Ausserdem wurde eine M?glichkeit zum Ein- und Ausblenden verschiedener Gef?sssysteme innerhalb einer Ansicht gewünscht. 3.
Rotations-
Skalierungszustand
Umschalten
zu anderen
Dieses war im getesteten Prototypen nicht von vornherein der Fall. Der
ge?usserte
Funktionswunsch bezieht
die r?umliche Anordnung
resultiert aus negativen Erfahrungen
Probanden.
Implementierung
sollte diese
Problematik
nach der M?glichkeit
Ausblendens verschiedener Gef?sssysteme (2.) wurde durch ein einfacheres und schnelleres Umschalten
zwischen den verschiedenen Ansichten
und der gleichzeitigen
Bewahrung von Rotations- und Skalierungszu-stand (3.) entsprochen. Die Planungsansichten enthalten in der g?ngigen Praxis Einzelansichten jedes Gef?sssystems.
der grafischen
Benutzungsschnittstelle
,,Ausw?hlen
vorkonfigurierten
wurden folgende Punkte kritisiert: 1.
Es ist nicht deutlich, welche der Ansichten ausgew?hlt ist. 2.
Bei stark vergr?sserten Ansichten ist auch einem Arzt nicht immer sofort klar, welches Gef?sssystem er vor sich hat. Es w?re sinnvoll Beschreibungen einzublenden. 3.
Die 18 Ansichten des Beispielfalles stellen eine ungew?hnlich hohe Anzahl dar. Gew?hnlich sind es ca. 12. 4.
Der Pfeil nach oben fordert nicht deutlich genug zur entsprechenden Auswahlgeste auf. Um zu verdeutlichen, welche
Ansicht ausgew?hlt ist (1.), wurde
nachtr?glich
entsprechenden Bildes vorgenommen. Um Verwechslungen zu vermeiden (2.), erscheint es ausserdem n?tig,
die Namen der Ansichten einzublen-den. Dies wurde
in den vorgestellten Entwürfen
sp?ter ebenfalls
durch Einblendung
über der gew?hlten Ansicht realisiert. Um die
Geste des Ausw?hlens besser
zu erkl?ren
wurde eine
Animation mit
zeigenden Pfeilen
eingefügt, welche die Bewegung der Hand nach oben motiviert. Zudem ist nun ein schneller, direkter Wechsel zwischen den Interakti-onsaufgaben m?glich.
Zur grafischen Benutzungsschnittstelle für die Funktionen Rotieren und Skalieren gab es folgende Anmerkung: o
Rotation nach oben und unten ist nicht m?glich. Die Funktion zum Rotieren nach oben und unten wurde zun?chst weggelassen, um Eingabefehler zu vermeiden, die auftre-ten k?nnen, wenn der Chirurg die Hand nach unten aus dem Sichtfeld der Kamera bewegt. Dennoch wurde diese Funktion sp?ter hinzugefügt.
Die Anmerkungen der Probanden erwiesen sich als ?usserst hilfreich w?hrend der Entwurfsphase der Benutzungs-schnittstelle. Insgesamt ?usserten sich die Probanden sehr positiv über das System und die gebotenen M?glichkeiten. Danksagung Die Autoren danken Stefan Schlichting, Armin Besirevic, Dr. Markus Kleemann (UKSH, Lübeck), Volker Martens (Universi-t?t Lübeck), Prof. Karl Oldhafer, Dr. Gregor
Stavrou (AKH Celle), Prof. Stefan Weber (ARTORG, Uni
Bern) sowie den Mit-arbeitern von MeVis, Bremen für die fruchtbaren Diskussionen, die Teilnahme an Benutzungsstudien und ersten klinischen Tests. Kurzbiographien der Autoren Prof. Heinz-Otto Peitgen, Dr. Felix Ritter, Christian Hansen und Alexander K?hn entwickeln am Fraunhofer MEVIS – Institu-te for Medical Image
Computing in enger Zusammenarbeit mit einem
weltweiten Netzwerk
klinischen Partnern bildba-sierte Diagnose- und Therapiel?sungen für klinisch bedeutsame Fragestellungen. Kjen Wilkens
studiert am Royal College
Art, London
Design Interactions
und interessiert sich
insbesondere für die Langzeitauswirkungen von Emerging Technologies. Literatur Accot, J.; Zhai, S.: More than Dotting the i&s – Foundations for Crossing-based Interfaces. Proc. of the SIGCHI Conference on Human Factors in Computing Systems, 73-80, 2002. Argyros,
Vision-Based
Interpretation
Hand Gestures for
Mouse. Computer Vision in Human-Computer Interaction, 40-51, 2006. Chojecki, P.; Leiner, U.: Berührungslose Gestik-Interaktion im Operationssaal. i-Com, Zeitschrift
interaktive und koope-rative Medien, 2009. Dix, A; Finlay, J.E.; Abowd, G.D.; Beale, R.: Human-Computer Interaction, 2004. Gratzel, C.: A Non-Contact Mouse for Surgeon-Computer Interaction. Technology and Health Care 12(3) (2004) 245-257. Fischer, J.; Bartz, D.; Strasser, W.: Intuitive and Lightweight User Interaction for Augmented Reality. Proc. of Vision, Model-ing, and Visualization. Erlangen, 375-382, 2005.
Hansen, C.; K?hn, A.; Schlichting, S.; Weiler, F.; Zidowitz, S.; Kleemann,
Peitgen, H.-O.: Intraoperative
Modification of Resection Plans for Liver Surgery. International Journal of Computer Assisted Radiology 3(3-4) (2008) 291-297. H?getveit, J.O.; Balansingham, I.; ?yri, K.: Introducing Multiple
Wireless Connections to the Operating Room,
Interference or not?. Proc. of European Medical and Biological Engineering Conference, 2005. Jyrkinen,
Complexity
User Interface of a MRI Guided Surgery System. Proc. of ERCIM “User Interfaces for All” Workshop, 2000. Konrad-Verse O., Preim B., Littmann A.: Virtual Resection with a Deformable Cutting Plane. Proc. of Simulation und Visua-lisierung, 203-214, 2004. Lamadé,
W.; Ulmer,
Ritter, F.;
Peitgen, H.-O.;
Otto, G.; Thon,
K.-P.: Virtuelle
Operationsplanung: Aktueller Stand
und Perspektiven. Chirurgische Gastroenterologie 21(2) (2005) 7-13. Matern U.: Arbeitsbedingungen und Sicherheit am Arbeitsplatz OP. Deutsches ?rzteblatt 103(47) (7-3192. Penne,
Soutschek,
S.; Stürmer,
M.; Schaller,
C.; Placht,
Kornhuber,
J.; Hornegger,
J.: Touchscreen ohne
Touch – Berührungslose
Gesten-Interaktion
den Operationssaal.
Zeitschrift
für interaktive
und kooperative
Medien, 2009. Reitinger, B.; Bornik, A.; Beichel, R.; Schmalstieg, D.: Liver Surgery Planning Using Virtual Reality. Computer Graphics and Applications 26(6) (2006) 36-47. Turrentine, B.; Calland, J. F.; Adams, R.; Shin, T.; Guerlain, S.: Studying Communication Patterns During Surgery. Proc. of Human Factors and Ergonomics Society, 1488-1492, 2003.
Wobbrock, J.O., Gajos,
A Comparison of Area Pointing and Goal Crossing for People with and without Motor Impair-ments. Proc. of ACM SIGACCESS conference on Computers and accessibility, 3-10, 2007. Yaniv, Z.; Cleary, K.: Image-Guided Procedures: A Review. Computer Aided Interventions and Medical Robotics. 2006.
CitationsCitations2ReferencesReferences14Article · Jan 2009 ABSTRACT: Fundamental changes were achieved with the introduction of minimally invasive surgery. In this context, innovations in microtechnology played a significant role in the deployment of new tools. Developments for further integration are still ongoing. Furthermore, decisive progress was made by the timely provision of individual patient data prior to surgery. These comprise imaging data, electrophysiological or functional recordings, and synthetic data gained by modeling and simulation of anatomical or physiological conditions. Aside from the technical aspects of supporting surgery, effective quality management and optimized workflow are essential for therapeutic success. The vision of autonomously operating robots has been dropped in favor of permanently conducted and supervised interventions with the support of intelligent tools for the surgeon. Recent advances in reconstruction and transplantation surgery by tissue engineering and molecular biology are only the beginning of new promising concepts.Article · Aug 2010
Full-text · Thesis · Aug 2007 · i-com Full-text · Article · Jan 2009 +1 more author...Chapter · Jan 1988 · i-comData provided are for informational purposes only. Although carefully collected, accuracy cannot be guaranteed. Publisher conditions are provided by RoMEO. Differing provisions from the publisher's actual policy or licence agreement may be applicable.This publication is from a journal that may support self archiving.