Wenn man in die Breite skaliert, müssen die Requests an das Gesamtsystem auf die einzelnen Knoten verteilt werden.

Möglichkeiten:

DNS round robin
In der DNS Zone werden einer Domain einfach mehrere A-Records gegeben
-> poor man's load-balancer
Software Loadbalancer
Eine Software übernimmt die Verteilung der Requests an die realen Server.
Mögliche Lösungen: Apache mit mod_proxy/mod_rewrite, Linux Virtual Server (LVS).
Hardware Loadbalancer
Fertige Lösungen, die "nur" noch konfiguriert werden müssen.
Kosten meist ein wenig mehr...

Je nach Applikation sind "Sticky Sessions" nötig. Damit werden alle Requests eines Clients vom Loadbalancer immer auf den selben Node im Backend weitergeleitet.