Die Zielsetzung der farbbasierten Bildersuche ist es, auf eine Suchanfrage Bilder mit möglichst ähnlichen Farbmerkmalen anzuzeigen. Dies geschieht meist mit einer Aufschlüsselung der Bilder in ein Histogramm. In der digitalen Bildverarbeitung versteht man unter einem Histogramm die statistische Häufigkeit der Farbwerte in einem Bild. Das Histogramm eines Bildes erlaubt eine Aussage über die vorkommenden Farbwerte, über Kontrastumfang und Helligkeit des Bildes. Der Nachteil einer Indizierung eines Bilder über das Histogramm ist es, dass die Verteilung der Farben auf dem Bild nicht in die Suche einbezogen wird.

Histpgramm der Abbildung des «ESPER» aus der Einleitung zu diesem Kapitel
In den Bestrebungen die Anordnung der Farbbereiche in die Suche miteinzubeziehen, wurden Bilder beispielsweise von Sticker und Dimai in fünf Bereiche aufgeteilt oder von Hsu[1] in 16 gewichtete Bereiche. Auch eine Wavelet-Analyse, wie sie von Chuck Jacobs verwendet wird, ermöglicht eine Suche nach Komposition.[2]

«QBIC» Color Search:
Das IBM QBIC Interface, das eine gute Gewichtung unterschiedlicher Farben im Zielbild ermöglicht.
Eine rein auf Farben reduzierte Suche ermöglicht z.B. bereits eine gute Eingrenzung einer zusätzlichen text-basierten Suche; zudem kann man auch nach rein farblichen Kriterien «ähnliche» Bildern suchen. Auch eignet sie sich um Bilder bestimmter Genres wie Sonnenuntergänge[3] oder pornograpische Bilder zu erkennen, da diese meist auf die digitale Leinwand betrachtet einen hohen Anteil an Hauttönen aufweisen, dessen Bereich meist heller abgebildet ist, als die Umgebung im Bild.[4]