细菌可以保存为化石。科学家曾在35亿年前的古老地层中发现了类似蓝细菌的化石。蓝细菌比大部分细菌都大，能够分泌一层薄薄的细胞壁。蓝细菌能够形成大的层状结构，这种结构被称为叠层石。如果将这种叠层石磨成薄薄的片，在其中可能发现保存精细的蓝细菌和藻类化石。
除了蓝细菌以外，化石细菌的数量并不多。在特定的化学条件下，细菌细胞被无机盐取代后，形成活细胞的复制品或者假晶。一些细菌能够分泌铁质的外鞘，有时也能形成化石。有些细菌可以钻入动物的外壳或岩石中，在壳内或岩石中形成微小的管道，因此可以通过分析不同时期动物外壳化石的这些管道间接认识它们。
另外，琥珀中通常能保存大量精美的细菌，有些细菌甚至经过亿万年之后还能存活。在20亿年前的古老岩石中可分辨出该细菌产生的磁铁矿晶体，其大小为几个微米，这可能是最小的化石了。