We are giving two presentations at the European Society of Cognitive Psychology (ESCoP) in beautiful Tenerife. Jochen Laubrock, Jinger Pan and Ming Yan use gaze-contingent parafoveal fast-priming to show that parafoveal preview is not always beneficial, but can also incur a cost given enough time for preview processing. David Dubray and Jochen Laubrock summarize their work on illustrator classification and semantic segmentation of comics using deep convolutional neural networks, based on the Graphic Narrative Corpus. See you on Sep 28th!
Autor: Jochen Laubrock
Two Papers Accepted for ICDAR 2019
Two papers have been accepted for this year’s International Conference on Document Image Analysis (ICDAR) and the accompanying GREC workshop on Graphics Image Recognition in Sydney. We will present recent work in which we trained deep fully convolutional neural networks for image segmentation on the Graphic Narrative corpus. David Dubray and Jochen Laubrock present a paper on speech balloon detection and segmentation in comics, which Jochen Laubrock and David Dubray extend to multi-class semantic segmentation.
Neues Preprint verfügbar: CNN-basierte Sprechblasen-Segmentierung
David Dubray und Jochen Laubrock haben ein Preprint über die automatische Entdeckung und Segmentierung von Sprechblasen in Comics mit tiefen Convolutional Neural Networks veröffentlich, https://arxiv.org/abs/1902.08137. Das an das U-Net (Ronneberger et al., 2015) angelehnte Modell wurde trainiert auf unseren GNC-Annotationen und erreicht Bestleisungen bei der Sprechblasen-Segmentierung in verschiedenen Korpora, z.B. GNC und eBDtheque. Eine solche semantische semantische Segmentierung von Bildern ist eine interessante Aufgabenstellung für maschinelles Sehen und Dokumentenanalyse. Segmentierung von Sprechblasen und Textkästen kann auch als wichtiger Schritt auf dem Weg zu einer OCR-Pipeline für die Analyse von Text in Graphic Novels angesehen werden.
Einige Eindrücke vom Comics Annotation Workshop in Potsdam
Poster DH Montreal
Unser Beitrag zur DH 2017, in dem wir skizzieren, wie das Annotationstool durch Eye-Tracking und Convolutional Neural Networks verbessert werden kann. DH 2017 war insgesamt eine hervorragende Konferenz. Besonders gefallen hat mir der Workshop zu Computer Vision in Digital Humanities, bei dem wir auch einen Lightning Talk präsentiert haben.
EMIP’17 Keynote: Eye Movements as Measures of Cognitive Processing of Text and Image when Reading Comics
Jochen Laubrock gibt die Keynote auf der EMIP’17 Spring Academy (Eye Movements in Programming) an der FU Berlin am Donnerstag, 16.3.2017.