Question d’entretien chez Lyft

How to design a web crawler?