Intra pe
https://www.google.com/webmasters/tools/ si adauga site-ul.
Chiar daca ai modificat robots.txt , google nu il va citi in secunda urmatoare, o poate face peste 5 minute sau peste 3 zile.
Din acea consola vei putea 'anunta' google ca ai rezolvat problema si iti va reprograma site-ul pentru crawl.