Eine robots.txt-Datei gibt Suchmaschinen Anweisungen darüber, welche Bereiche Ihrer Website durchsucht werden dürfen und welche nicht. Sie ist ein wichtiges Tool für die SEO und hilft dabei, den Crawler-Traffic zu steuern.