Vážná oční choroba, která ho postupně připravuje o zrak, ho přivádí k zuřivosti. Pražská korunovace jeho druhé ženy Beatrix také nedopadla podle očekávání, Češi své nové královně projevili jen pramálo úcty.
Sem tam možná král zaslechne synovu poznámku o svém nešetrném hospodaření, a pokud ne, určitě se najdou tací, kteří mu něco podobného našeptají.
Na svár v rodině Lucemburků je v roce 1337 opět zaděláno. Zlobu svého královského tchána Jana Lucemburského (1296–1346) odnese v první řadě jeho snacha Blanka z Valois (1316–1348). Francouzská princezna a choť Janova syna Karla (budoucího Karla IV.;
1316–1378) se u obyvatel Českého království těší mnohem větší přízni než jejich nová královna Beatrix (asi 1318–1383). Dávají to nepokrytě najevo. Rozmrzelá Beatrix ani ne půlročního syna Václava (pozdějšího lucemburského vévodu;
1337–1383) zanechává v péči kojné a opouští zemi. Pakovat se musí i Blanka, rozčilený král Jan ji vykazuje z Prahy do Brna. Její manžel před otcovým hněvem raději mizí z království úplně. Na cestě na něj přitom čeká jedno velké dobrodružství…
Bez titulu a bez peněz
V lednu 1334 mu Jan Lucemburský přiznal titul moravského markraběte. Nyní za prchajícím Karlem ještě zlostně vzkazuje: „Žádné důchody se nebudou posílat ven ze země do ciziny.“ Syna tak připraví o možný zdroj příjmů.
O tom, že si je Karel dobře vědom ztráty svého postavení, nyní svědčí i titulatura, kterou používá. O markraběti v ní není ani zmínka, na jeho pečeti stojí:
„Pečeť Karla, prvorozeného syna krále českého.“ Míří do Tyrolska, kde „vládne“ jeho mladší bratr Jan Jindřich (1322–1375). Přímo přes Rakousy se ale vypravit nemůže, s tamními vévody je ve při o území, nemuselo by to dopadnout dobře.
Karel raději volí cestu lodí po Dunaji do Budína, kde se dočká vřelého přivítání od uherského krále Karla I. Roberta z Anjou (1288/1291–1342). Znají se už z dřívějška.
V roce 1335 zprostředkoval uherský vladař důležitou dohodu mezi Janem Lucemburským a polským panovníkem Kazimírem III. (1310–1370), která narovnávala vztahy mezi oběma zeměmi. Karel byl jednání v Trenčíně osobně přítomen.
Devět dnů zajatcem
Z Uher se Karel vydává do Chorvatska, kde se v přístavu Senj na pobřeží Jaderského moře naloďuje na plavidlo, které ho má dopravit do blízkosti města Aquileia na severovýchodě Itálie. Náhle ale nejde nic podle plánu.
Krátce poté, co koráb vypluje na moře, se ocitne v hledáčku benátských pirátů. Ti větří velkou kořist a plavidlo i s dědicem českého trůnu zajmou.
„Obklíčili naši loď svými loděmi, takže nemohla nijak uniknout,“ vzpomíná na incident sám Karel IV. ve svém životopise Vita Caroli. Vědí piráti, koho vlastně zajali? To není jisté, prahnou ale po výkupném.
Devět dnů je Karel v jejich zajetí, než plavidlo s ním na palubě přirazí k dalšímu přístavu. Část jeho družiny s piráty a představiteli města vyjednává o výši výkupného, Karel se zatím v nestřeženém okamžiku vydává na útěk.

Ukrytý v sítích
Hlavně potichu a rychle. Těsně vedle pirátského plavidla kotví menší rybářská loďka.
Karel společně se svým věrným druhem Janem z Lipé (†1337), synem významného šlechtice Jindřicha z Lipé (asi 1275–1329), a Bartolomějem Frankopanem, vladařem ze Senje, si ji vyhlédli pro svůj únik.
Ve chvíli, kdy je zrovna nikdo bedlivě nehlídá, se přemístí na druhý bok lodi a spustí se na rybářskou bárku. Na ní se ukryjí pod nákladem pytlů a sítí, a tak se jim podaří s bárkou vymanévrovat z přístavu.
„Propluli jsme jejich loděmi a přistáli jsme na břehu mezi rákosím,“ líčí dramatický okamžik Karel. Do Aquileie pak už raději putuje se svými společníky po souši. Ve starobylém městě si spraví chuť. Místní patriarcha ho hostí po celý měsíc.
Historku s oklamanými benátskými piráty může dávat kralevic k dobru na tamních hostinách.
Dobré zprávy z domova
Pak putuje do Tyrolska. Tam „jsme tehdy vladařili za svého bratra, který byl malým hochem“, vzpomíná již jako císař. Skutečně, Janu Jindřichovi je pouhých 15 let a o panování nejspíš ještě nejeví velký zájem.
Zdá se, že vše tu jde jako po másle, a tak se Karel může rozptýlit válčením v Lombardii na severu Itálie, kde se právě střetávají Benátčané s dalšími rivalskými městskými státy.
Podaří se mu získat města Feltre a Belluno, jejichž obyvatelé jej a jeho bratra Jana Jindřicha nadšeně přijmou za své nové pány. To ale není jediná příznivá zpráva, kterou Karel tehdy obdrží.
Dozvídá se, že jeho otec Jan opustil České království, vyslyšel žádost francouzského krále Filipa VI. (1293–1350) a vydal se mu na pomoc ve válce s Angličany. Karel už na nic nečeká a spěchá domů.
„Zdali zplnomocněn od otce, aneb pouhou potřebou puzen, nelze rozhodnouti,“ uvádí k tomu dávný kronikář. V listopadu 1337 je Karel zpět. Ze všeho nejdřív míří do Brna, kde na něj čeká jeho milovaná Blanka z Valois. Další události donutí Lucemburky zakopat válečnou sekyru.