卡恩的祖父罗尔夫当年为德国海军工作，当时他的工作地点是在波罗的海一个叫Libau的城市，今天这个城市早已改名叫Liepaja（拉脱维亚国家队首席前锋韦尔帕科夫斯基斯也是这里的人），并且划归了拉脱维亚。罗尔夫在当地结婚，娶了一位拉脱维亚女子埃丽卡·阿尔克斯妮斯，也就是卡恩的祖母。卡恩的父亲小罗尔夫1943年12月9日出生在Libau，二战结束后，卡恩祖父把家搬到了卡尔斯鲁厄，26年后，奥利弗·卡恩刮刮坠地。

卡恩的祖父母回去过两次拉脱维亚省亲，虽然卡恩还不曾去过拉脱维亚寻根，不过当地的人一直把他看作是那里诞生的英雄人物。拉脱维亚主教练斯塔尔科夫斯也开玩笑说：“如果卡恩父亲当年不搬家离开拉脱维亚的话，我一定召唤卡恩加盟国家队。”卡恩本人则说：“当我跟祖父母接触的时候，我时常能感觉得到‘拉脱维亚’对于他们的影响，我也知道家族的这段历史。但是很遗憾我感觉自己是一个地地道道的德国人，在周六的比赛中也是如此。”