Если выражаться поэтически, то robots.txt эта лоцманская карта в море вашего сайта, именно она указывает куда стоит следовать судну поискового робота. Если говорить формальным языком, то этот файл несет в себе набор инструкция для поисковых роботов позволяющих исключать из индексации определенные страницы сайта. Сайты одностаничники по большому счету не очень нуждаются в таком файле, но вот если у вас средний или большой сайт, то без определенного набора команд вам просто не обойтись.