Go 언어로 Lambda1 Go 코드를 AWS Lambda에서 실행해보기 Go를 공부할때 누구나 시작하는 tour.golang.org/welcome/1 예제를 하나씩 따라가면 마지막 문제가 바로 Web Crawler이다. 예제는 fake data로 하는 것인데. 갑자기 진짜는 어떻게 해야하는지 궁금해졌다. 문제는 난 Web Crawler가 정확히 뭔지 모른다는 것이다. ㅠㅠ 부끄럽... 좀 찾아보니 crawling 할 base url의 페이지 가져와서 그 body에서 링크의 주소들을 다 방문해서 정보를 가져오는 것이란다. 사실 성능좋은 open Go web crawler module 이 이미 있다. 하지만 난 공부하는 단계이니 일단 예제처럼 초보수준의 depth 별 url리스트만 실제로 가져오는 코드를 구현해보자. 검색하면 참조할 코드들이 많이 있다. 복잡한 코드들이라 내가 .. 2020. 12. 31. 이전 1 다음
