فولر در ۱۳ آوریل ۱۹۶۰ در شهر «هاناو» واقع در ایالت هسن آلمان، در یک خانواده‌ی فوتبالدوست چشم به جهان گشود. پدرش که مربیگری تیم جوانان این شهر را برعهده داشت، او را از هشت سالگی همراه خود به تمرینات فوتبال می‌برد. فولر از همان آغاز می‌خواست در خط حمله بازی کند و در این پست از خود استعداد زیادی نشان داد.

فولر پانزده ساله بود که توجه مربی تیم دسته دومی «کیکرز اوفن‌باخ» را به خود جلب نمود. اما مادر فولر می‌خواست که او در کنار فوتبال حتما دوره‌ی کارآموزی خود را در رشته‌ی بازرگانی اداری به پایان رساند. چنین نیز شد و فولر در همان تیم باشگاهی خود، دوره‌ی کارآموزی خود را نیز به موازات ورزش فوتبال دنبال کرد.

شانزده ساله بود که برای نخستین بار با بازیکنان حرفه‌ای کیکرز اوفن‌باخ شروع به تمرین نمود. وی به عنوان بازیکن حرفه‌ای روی‌هم ۶۷ بازی برای این تیم انجام داد و ۱۷ گل به ثمر رسانید. در سال ۱۹۸۰ به تیم دسته‌ی اولی «ت.اس.فاو مونیخ ۱۸۶۰» پیوست. مونیخ برای این انتقال ۷۰۰ هزار مارک به باشگاه اوفن‌باخ پرداخت و این رقم نشان می‌داد که فولر در همان زمان بازیکن باارزشی به شمار می‌رفته است.

تیم «مونیخ ۱۸۶۰ » در نخستین سال پیوستن رودی فولر به صفوف خود چهره‌ی موفقی نداشت و به دسته‌ی دوم سقوط کرد. با اینکه رودی فولر در نخستین فصل بازی‌ها در دسته‌ی دوم ۳۷ گل برای این تیم به ثمر رسانید و آقای گل مسابقات دسته‌ی دوم شد، اما تیم مونیخ نتوانست به لیگ برتر صعود کند. از همین رو فولر در سال ۱۹۸۲ به تیم موفق وردربرمن در «بوندس‌لیگا» پیوست.

فولر در همان سال به تیم ملی فوتبال آلمان دعوت شد و نخستین بازی ملی خود را در نوامبر سال ۱۹۸۲ در مقابل ایرلند شمالی انجام داد. آلمان در میان شگفتی، آن بازی را با نتیجه‌ی یک بر صفر واگذار کرد. اما این شکست، آغاز راهی پرافتخار بود. فولر در سال ۱۹۸۶ با تیم ملی فوتبال آلمان به مقام نایب‌قهرمانی جهان و چهار سال پس از آن در ایتالیا به مقام قهرمانی جهان رسید. وی با همین تیم در سال ۱۹۹۲ نایب قهرمان اروپا شد.

رودی فولر در سطح باشگاهی نیز دوره‌های موفقی داشت. وی در نخستین فصل حضورش در وردر برمن، آقای گل مسابقات بوندس‌لیگا شد و در همان سال به عنوان بهترین بازیکن آلمان برگزیده شد. وی روی‌هم ۱۳۷ بازی برای وردربرمن انجام داد و ۹۷ گل برای این تیم به ثمر رسانید.

فولر در سال ۱۹۸۷ به تیم «آ.ث.رم» پیوست و به مدت پنج سال برای این تیم صاحب‌نام ایتالیایی توپ زد. وی با این تیم یک بار قهرمان جام حذفی فوتبال ایتالیا شد. او روی‌هم ۱۴۲ بازی برای «آ.ث.رم» انجام داد و ۴۴ گل به نام او ثبت گردید.

فولر در سال ۱۹۹۲ به تیم پرآوازه‌ی «المپیک مارسی» فرانسه پیوست و یک سال پس از آن با همین تیم قهرمان باشگاههای اروپا شد. ترازنامه‌ی فولر در این باشگاه فرانسوی نیز درخشان بود و او در ۵۸ بازی روی‌هم ۲۴ گل برای این تیم به ثمر رسانید.

فولر در سال ۱۹۹۴ به میهنش بازگشت و این بار در خدمت تیم بایر لورکوزن قرار گرفت. دو سال پایانی فعالیت ورزشی او در این تیم سپری شد و فولر در ۶۲ بازی برای این تیم، ۲۶ بار دروازه‌ی حریفان را فروریخت.

به موازات آن، رودی فولر روی‌هم ۹۰ بازی برای تیم ملی فوتبال آلمان انجام داد و ۴۷ گل برای این تیم به ثمر رسانید. وی در سال ۱۹۹۴ کفش‌های فوتبال خود را به دیوار آویخت، اما این به معنای گسستن پیوندهای او با ورزش فوتبال نبود.

تیم ملی فوتبال آلمان در سال ۲۰۰۰ در حالی در چارچوب رقابت‌های جام ملت‌های اروپا شرکت کرد که مقام قهرمانی اروپا را همراه خود یدک می‌کشید. اما این تیم تحت مربیگری «اریش ریبک» در همان دور مقدماتی در گروه خود آخر شد و از صعود به دور بعدی بازماند. این برای فوتبال آلمان یک فاجعه و آغاز بحرانی جدی بود.

سرانجام پس از کشمکش‌های فراوان میان مسئولان فوتبال در آلمان، برای تعیین مربی جدید تیم ملی، قرار شد این پست به مدت یک سال در اختیار رودی فولر قرار گیرد. تیم ملی فوتبال آلمان تحت مربیگری فولر، توانست بر بحران خود غلبه کند و در مسابقات جام جهانی سال ۲۰۰۲ در ژاپن و کره‌ی جنوبی به دیدار نهایی راه یابد. آلمان آن دیدار را در مقابل تیم ملی فوتبال برزیل با نتیجه‌ی دو بر صفر واگذار و به مقام نایب‌قهرمانی جهان بسنده کرد. این بزرگ‌ترین افتخار ورزشی رودی فولر در مقام مربیگری بود.

پس از اینکه تیم ملی فوتبال آلمان در مسابقات جام ملت‌های اروپا در سال ۲۰۰۴ در رقابت‌های گروهی ناموفق ماند و حذف شد، رودی فولر از مقام مربیگری این تیم کناره‌گیری کرد. فولر پس از آن برای مدت بسیار کوتاهی مربی تیم باشگاه «آ.ث.رم» و بایر لورکوزن بود. او هم‌اکنون مدیر ورزشی باشگاه بایر لورکوزن است.