CrowdTruth is een crowdsourcingmethodologie ontwikkeld voor het geschikt maken van de IBM Watson voor het beantwoorden van medische vragen na het winnen van het spelprogramma Jeopardy!. Computer Wins on 'Jeopardy!': Trivial, It's Not, The New York Times, 16 februari 2011 Dit project was een samenwerking tussen IBM en de Vrije Universiteit AmsterdamIBM Inspire, "IBM en Vrije Universiteit Amsterdam slaan de handen in elkaar". en later Google AI, Crowdsourcing a Gold Standard for Medical Relation Extraction with CrowdTruth, research.google. Gearchiveerd op 29 januari 2022. gestart door Chris Welty en Lora Aroyo en later Robert-Jan Sips. Crowd's Collective Wisdom vs. Experts: Who Makes IBM Watson Smarter?, figure-eight.com, 29 oktober 2014
Medische AI-systemen zijn traditioneel afhankelijk van trainingsdata (geannoteerde data), gegenereerd door domeindeskundigen. Bij deze annotatie-taken werd uitgegaan van het bestaan van een enkele correcte interpretatie van een taak (de zgn ground truth) en gezocht naar overeenstemming tussen meerdere annotatoren om tot één interpretatie van een taak te komen.
In het CrowdTruth-project werd hiermee gebroken en werden alle annotaties door deskundigen en leken vergeleken. Uit de experimenten bleek dat leken het vaak met elkaar oneens zijn over relatief simpele taken (zoals relatie-extractie uit tekst), maar dat deskundigen dezelfde onenigheid vertonen. Hieropvolgend richtte het onderzoek zich op het toelaten van onenigheid tussen verschillende annotatoren en werden wiskundige modellen ontwikkeld om deze onenigheid wiskundig te kunnen interpreteren. Empirical Methodology for CrowdsourcingGround Truth, Semantic Web 1 (2019), 1-5, IOS Press (pdf). Gearchiveerd op 18 juni 2022.
Externe link Website CrowdTruth
Categorie:Internet Categorie:IBM Categorie:Vrije Universiteit Amsterdam