Der Aufbau eines STM wird im Bild schematisch dargestellt. In der Mitte ist das zu untersuchende Material, die Probe, zu sehen. Unter dieser befinden sich Piezo-Kristalle. Mittels dieser Kristalle kann die Probe sowohl in x- (Breite), in y- (Tiefe), als auch in z- (Höhe) Richtung bewegt werden. Gleich über der Probe ist die Spitze, welche auf der Oberfläche liegt. Diese Spitze wiederum ist an einem Träger (Cantilever) befestigt. Zwischen Spitze und Probe wird eine Spannung angelegt. Der dadurch entstehende Stromfluss wird von der Kontrolleinheit gemessen. Der Strom ist abhängig von der Distanz zwischen Spitze und Probe. Bei Veränderungen wird die Spannung der Z-Piezo-Kristallen angepasst, um der Höhenänderung gerecht zu werden. Indem man so den Stromfluss konstant hält wird sichergestellt, dass die Spitze nie mit der Probe kollidiert.

Die Probe muss elektrisch leitfähig sein, damit zwischen ihr und Spitze eine Spannung angelegt werden kann. Mit dem STM können also nur leitfähige Materialien untersucht werden.

In diesem Fall wird die Probe mit Hilfe der Piezos hin- und hergefahren. In gleicher Weise kann aber auch die Spitze an den Piezos befestigt sein. Somit würde die Spitze ausser in z- auch in x- und y-Richtung bewegt.

Um störende Einflüsse (thermische, mechanische und akustische Vibrationen) zu vermeiden, sollten Probe und Mikroskop ein abgeschlossenes System bilden.