UK | FFUK | webmaster

Korpus InterCorp

Korpus InterCorp je hlavním výstupem stejnojmenného projektu, jehož cílem je vybudovat rozsáhlý paralelní synchronní korpus pokrývající co největší množství jazyků. Na jeho tvorbě se významnou měrou podílejí pedagogové a studenti FF UK v Praze a další spolupracovníci ÚČNK.

Po registraci na stránce Prohlášení uživatele korpusů ÚČNK lze korpus prohledávat přes webové rozhraní. Registrace platí pro všechny veřejně přístupné korpusy ÚČNK. Máte-li uživatelské jméno a heslo k české části Českého národního korpusu, další registraci pro paralelní korpus nepotřebujete.

InterCorp má v řadě korpusů budovaných v ÚČNK zvláštní postavení hned v několika ohledech:

• je přístupný přes speciální rozhraní Park, které je naší nadstavbou nad systémem Manatee Pavla Rychlého; stručný návod k použití Parku najdete zde; autorem Parku je Michal Štourač

• jednojazyčné verze všech paralelních korpusů jsou zpřístupněné pomocí webové verze rozhraní Bonito, takže je možné na korpusy jednotlivých jazyků používat standardní nástroje, jako jsou filtry, třídění, kolokace, frekvenční distribuce, náhodné vzorky atd.; stejně jako se všemi cizojazyčnými korpusy je navíc možné pracovat i s odpovídajícími verzemi češtiny

• specifikem InterCorpu je také jeho inkrementální povaha: zatímco většina ostatních korpusů ČNK jsou neměnné referenční entity, objem textů i počet jazyků zpřístupněných v korpusu InterCorp se postupně zvyšuje

Obsah korpusu

InterCorp obsahuje převážně manuálně zarovnané beletristické texty v češtině a dalších jazycích a výběr publistických článků z webových stránek Project Syndicate a Presseurop. Tyto texty jsou zarovnané jen automaticky, v konkordancích tedy může být více vět, které si navzájem neodpovídají.

Každý cizojazyčný textu má v korpusu svou českou verzi. Čeština je tedy tzv. pivot, česká verze textu (originál nebo překlad) je zarovnaná s jednou nebo více verzemi cizojazyčnými. Celkový rozsah zpřístupněné části korpusu ve verzi InterCorp č. 4 (historii verzí najdete zde) ze září 2011 je 92 290 000 slov v zarovnaných cizojazyčných textech. V tomto celkovém počtu slov jsou již započteny zhruba 2,3 - 3 miliony slov z Project Syndicate (pro tyto jazyky: cs, de, en, es, fr, ru) a okolo 0,8 milionu slov z Presseurop (pro tyto jazyky: cs, de, en, es, fr, it, nl, pl, pt, ro), což je přehledně vidět na následujícím grafu. Pod souhrnným názvem "beletrie" jsou v něm zahrnuty všechny ručně zarovnané texty, které jsou z velké většiny tvořeny právě beletrii. Velikost je udávána v milionech slov.

Následující tabulka ukazuje přehled velikostí jednotlivých paralelních korpusů různých jazyků. V řádku jsou uvedeny počty slov příslušného jazyka (v tisících), platné pro průnik s jazykem uvedeným ve sloupci. Např. virtuální bulharsko-chorvatský korpus (1. řádek - "bg") obsahuje celkem 187 tisíc slov v bulharštině (1. řádek - "bg", 9. sloupec – "hr") a 189 tisíc slov v chorvatštině (9. řádek – "hr", 1. sloupec – "bg"). Druhý, zvýrazněný sloupec ukazuje množství slov zarovnaných vůči češtině, a tedy i celkovou velikost jednojazyčného korpusu jazyka uvedeného na příslušném řádku.

	bg	cs	da	de	en	es	fi	fr	hr	hu	it	lt	lv	nl	no	pl	pt	ro	ru	sl	sk	sr	sv
bg	1135	1135	0	82	74	82	74	0	187	141	156	0	0	74	0	156	74	0	0	0	0	0	156
cs	1139	46196	149	10544	6287	12177	1678	4075	6415	1162	3502	418	1128	4175	1815	6217	2109	1416	3563	893	7072	2521	4633
da	0	190	190	87	130	0	0	0	87	0	0	87	0	0	130	136	0	0	130	87	0	87	87
de	87	12167	83	12167	3802	4953	176	3717	1967	295	1654	259	22	1973	1020	1850	749	835	2934	428	431	552	989
en	80	7297	135	3821	7297	3761	438	3448	519	104	1053	381	2	1092	397	1449	876	954	2836	286	0	383	343
es	90	14237	0	5331	4141	14237	353	4072	2409	164	2924	169	0	2150	670	1834	1098	1128	2988	98	133	790	1375
fi	62	1435	0	128	332	325	1435	107	234	73	62	73	0	109	107	242	62	73	81	73	0	98	164
fr	0	5234	0	4228	3947	4207	155	5234	515	0	1181	0	0	948	155	1272	870	873	3003	68	0	78	414
hr	189	6735	76	1736	461	2175	280	409	6735	83	1491	324	43	1084	870	1160	447	277	232	352	54	927	997
hu	132	1123	0	256	81	135	81	0	79	1123	0	81	0	56	202	287	0	81	202	283	284	115	0
it	174	4028	0	1678	1059	2815	84	1064	1607	0	4028	162	0	1308	844	1214	1384	798	62	72	0	732	849
lt	0	358	58	185	259	115	71	0	253	71	113	358	16	196	173	297	43	71	101	129	13	171	58
lv	0	1075	0	18	2	0	0	0	39	0	0	18	1075	2	2	36	0	0	0	19	233	0	0
nl	80	5203	0	2202	1176	2273	149	968	1286	73	1433	281	3	5203	724	1632	1039	1047	64	78	0	482	574
no	0	2158	135	965	394	693	144	144	990	164	891	259	3	706	2158	597	524	0	407	255	263	759	678
pl	143	6173	111	1652	1256	1536	276	1052	1101	296	1063	346	37	1300	503	6173	829	900	237	283	178	220	553
pt	82	2503	0	853	931	1105	82	854	486	0	1454	66	0	1003	519	1002	2503	855	66	0	0	519	263
ro	0	1697	0	900	967	1107	106	817	327	106	814	106	0	968	0	1064	815	1697	0	106	0	578	85
ru	0	3619	99	2636	2581	2444	92	2382	215	197	50	123	0	52	387	230	52	0	3619	268	197	71	163
sl	0	992	81	407	257	106	91	60	377	308	78	172	21	78	297	317	0	91	297	992	237	243	189
sk	0	6961	0	361	0	104	0	0	50	290	0	15	245	0	276	175	0	0	200	220	6961	84	117
sr	0	2736	77	503	346	751	124	62	943	127	692	222	0	405	681	237	477	509	77	242	100	2736	271
sv	178	5234	83	954	339	1366	214	371	1091	0	859	83	0	518	610	645	227	87	187	196	129	256	5234

Morfosyntaktická anotace

Texty v těchto jazycích jsou opatřeny morfologickou anotací.

jazyk	značky	lemmata	stručný popis	podrobný popis	nástroj
angličtina	✔	✔	anglicky	anglicky + dodatky	TreeTagger
bulharština	✔			anglicky	TreeTagger
čeština	✔	✔	česky anglicky *)	anglicky	Morče
francouzština	✔	✔	anglicky		TreeTagger
italština	✔	✔	anglicky		TreeTagger
litevština	✔	✔	česky a anglicky		Vidas Daudaravičius
maďarština	✔			anglicky	HunPos
němčina	✔	✔	německy	německy	TreeTagger
nizozemština	✔				TreeTagger
norština	✔	✔			analyzátor, tagger
polština	✔	✔	anglicky polsky	anglicky	Morfeusz, TaKIPI
ruština	✔	✔	anglicky	anglicky **)	TreeTagger
slovenština	✔	✔	slovensky	slovensky	Radovan Garabík, Morče
španělština	✔	✔	anglicky		TreeTagger

*) Formulaci dotazu, který obsahuje české morfologické značky, usnadní klikátko.

**) Značky v korpusu někdy neodpovídají značkám uvedeným v podrobném popisu. V korpusu se zanedbávají některé morfologické kategorie, např. zájmena jsou vždy označkována jen jako "P-". Všechny značky, tak jak se užívají v korpusu, jsou uvedeny ve stručném popisu.

Jak používat značky při hledání v korpusu se dozvíte v návodu k Parku.

Upozornění

Vyhledávací rozhraní Park se stále vyvíjí, je proto možné, že při hledání v korpusu narazíte na problémy nebo budete postrádat některé funkce, které znáte z vyhledávače v českém (jednojazykovém) korpusu. Popis problémů, připomínky a podněty k dalšímu vývoji rozhraní uvítáme na adrese

Poděkování

Děkujeme za možnost využívat následující software a data:

Předzpracování

• větný segmentátor pro češtinu (autor Pavel Květoň)
• větný segmentátor pro norštinu (autoři Jarle Ebeling a Pavel Vondřička)
• větný segmentátor Punkt pro všechny ostatní jazyky ze sady Natural Language Toolkit
• zarovnávač Hunalign

Značkovače / lematizátory:

• Morče pro češtinu
• TreeTagger pro angličtinu, bulharštinu, francouzštinu, italštinu, němčinu, nizozemštinu, ruštinu a španělštinu
• Morfeusz a TaKIPI pro polštinu
• HunPOS pro maďarštinu
• tagger pro slovenštinu
• tagger pro litevštinu
• analyzátor a tagger pro norštinu

Korpusový manažer:

• Manatee

Data:

• publicistické texty ve více jazycích z webových stránek Project Syndicate
• slovensko-české konkordance ze Slovenského národního korpusu
• povídky ve více jazycích z projektu Můj rok 1989 z Goethe Institutu
• více textů v česko-litevské části korpusu od Patricka Cornesse
• román George Orwella 1984 ve více jazycích z korpusu Multext-East
• ukrajinské a polské texty z korpusu PolUkr (připravuje se)
• texty ve více jazycích z korpusu ParaSol (připravuje se)
• publicistické texty ve více jazycích ze serveru Presseurop
• právnické texty v jazycích EU z korpusu JRC-ACQUIS (připravuje se)
• norské texty z nakladatelství Aschehoug & co., Cappelen Forlag a Forlaget Oktober

Poslední aktualizace: 5. října 2011