卡恩的祖父羅爾夫當年為德國海軍工作，當時他的工作地點是在波羅的海一個叫Libau的城市，今天這個城市早已改名叫Liepaja（拉脫維亞國家隊首席前鋒韋爾帕科夫斯基斯也是這裡的人），並且劃歸了拉脫維亞。羅爾夫在當地結婚，娶了一位拉脫維亞女子埃麗卡‧阿爾克斯妮斯，也就是卡恩的祖母。卡恩的父親小羅爾夫1943年12月9日出生在Libau，二戰結束後，卡恩祖父把家搬到了卡爾斯魯厄，26年後，奧利弗‧卡恩刮刮墜地。

卡恩的祖父母回去過兩次拉脫維亞省親，雖然卡恩還不曾去過拉脫維亞尋根，不過當地的人一直把他看作是那裡誕生的英雄人物。拉脫維亞主教練斯塔爾科夫斯也開玩笑說：「如果卡恩父親當年不搬家離開拉脫維亞的話，我一定召喚卡恩加盟國家隊。」卡恩本人則說：「當我跟祖父母接觸的時候，我時常能感覺得到『拉脫維亞』對於他們的影響，我也知道家族的這段歷史。但是很遺憾我感覺自己是一個地地道道的德國人，在周六的比賽中也是如此。」