Prohledávání multimediálního obsahu je asi jedním z nejefektivnějších využití rozpoznávání řeči. Díky automatickému rozpoznání textu nahrávek a jejich indexaci získáváte přístup k informacím v nahrávce obsaženým bez toho, abyste ji museli celou poslouchat. To je obrovská výhoda zejména ve dnešní době, kdy bývá informací a nahrávek, které lze prohledávat, mnohem více než času, který je pro tuto činnost k dispozici. Máte-li k dispozici takto zpracovaný archiv nahrávek, nemusíte je už všechny poslouchat, nemusíte své prohledávání omezovat na kusé informace ve formě manuálně přiřazených klíčových slov, a naopak můžete najít i informaci, která se v dané nahrávce vyskytuje jen okrajově a podle klíčových slov by tedy nebylo možné ji dohledat.

Jazyková část

Tato technologie kombinuje rozpoznávač řeči s fulltextovým vyhledáváním doplněným jazykovými nástroji pro tvaroslovné hledání, případně synonymickým slovníkem nebo dokonce překladačem. Lze ji kombinovat i s vyhledáváním hlasem, čímž vzniká systém, který nejen vyhledává v řeči, ale navíc je řečí i ovládán.

Programové řešení

Jako u asi všech efektivně pracujících vyhledávacích systémů proběhne na prohledávaných záznamech nejprve indexace a následně je možné v nich efektivně vyhledávat s využitím vytvořených indexů.

Klíčovou komponentou této technologie je rozpoznávač řeči, který převádí zvuk na text (v případě nejednoznačného výsledku rozpoznávání může být i text nejednoznačný). Po něm přichází na řadu zpracování textu před indexací (vytvořením rejstříku - indexu), například lemmatizace (převedení slova na základní tvar) pro tvaroslovné vyhledávání, případně překlad do jazyka indexu, a konečně vlastní zanesení do indexu, ve kterém následně vyhledávací stroj vyhledává podle zadaných dotazů. Dotazy jsou rovněž zpracovány, může probíhat například lemmatizace nebo expanze tvarů (k jednomu tvaru slova se doplní i všechny jeho ostatní tvary, aby se našly i výskyty těchto tvarů, nejen tvaru zadaného), případně expanze synonym nebo překlad do jazyka indexu.

Rozpoznávač je poměrně náročný na výpočetní prostředky a jeho výpočetní výkon je nutno stanovit tak, aby byl schopen dostatečně rychle převádět nově indexované záznamy na text. Čas nutný ke zpracování záznamu je zlomkem času k jeho přehrátí normální rychlostí. Vyšší počet jader umožňuje zpracovávat více záznamů paralelně. Pro vyšší zátěž je vhodné umístění rozpoznávačů na speciálně dedikované servery vyhovujících parametrů. Ostatní činnosti při indexaci jsou podstatně rychlejší. Pro vyhledávání může být při velké zátěži omezujícím faktorem rychlost čtení z disku. Toto lze řešit například využitím rychlých, nejlépe SSD disků, nebo jejich zrcadlením na další disky, případně další vyhledávací servery.