본문 바로가기

다운로드3

[0/?] 정부 보도자료 다운로드로 크롤링 기초 다지기 시연영상 파이썬, 셀레늄 및 크롬을 활용하여 보도자료 다운로드하는 코드 시연화면 개인적인 사정으로 정부 보도자료를 많이 다운받아야 할 일이 생겨서 간단히 크롤링을 돌려보았습니다. 재미있게도 제가 시도했던 세 개 부처(행안부, 산업부, 여가부) 모두 30줄이 안 되는 간단한 코드로 다운로드할 수 있게 이루어져 있어서, 입문강의로 만들어보면 어떨까 하는 생각이 갑자기 들어서 녹화를 해놓았다가, 아무 편집 없이 유튜브에 업로드를 해버렸습니다. 구독자 분들께 영양가 없는 알림이 가는 것 같아 죄송한 마음도 들었지만.. 하여튼 위 작업을 주제로 한 크롤링 입문튜토리얼을 제작해서 8월중에 블로그에 무료공개 예정입니다. 강의 제작 중이지만 지금도 코드는 참고하실 수 있습니다. 영상 중간에 세 개 사이트 크롤링을 위해.. 2021. 8. 1.
셀레늄-IE 크롤링 중 파일 자동다운로드 방법(진행중) feat. win32 필자는 내부(폐쇄)망 컴퓨터를 통해 일을 한다. 대부분의 업무는 IE브라우저를 통한 그룹웨어와, 악명(?)높은 아래아한글 문서로 처리하기 때문에 자동화가 수월하지 않다. 로그인 인증은 액티브X를 통해 진행되기 때문에 IE를 떠날 수도 없다. 최신 RPA 툴로는 더욱 자동화하기 힘들다. 이 글을 읽으시는 분이 공무원이거나 공공기관 직원이라면 공감하실 것이다. 특히 파이썬 유저라면, 엑셀파일을 pandas의 DataFrame으로 불러와서 데이터 가공을 하고 싶은데, 내부망에 엑셀파일을 옮기자마자 FasooDRM 때문에 암호화되고... 데이터는 불러와지지도 않는다. 옆의 인터넷망에선 노션과 트렐로, 마소 구글 네이버 카카오 모든 계정 로그인이 불가하고 엎친 데 덮친 격으로 아나콘다도 차단, pip downlo.. 2021. 5. 9.
유튜브 4K영상을 무료로 다운받는 가장 신박한 방법 pytube라는 파이썬 모듈이 있다는 사실을 유튜버 반원코딩(https://www.youtube.com/channel/UCI0MH1C8JwvLumquXyDqSHg)님의 오래전 동영상을 통해서 알게 되었다. 해외에서도 오래 전부터 유명했던 라이브러리였던 것 같은데 파이썬 3.5에서만 안정적이라느니, ffmpeg코덱을 별도로 설치해야 한다느니, 업데이트는 pip을 통해서가 아니라 직접 파일을 건드려서 한다느니 여러 가지 문제가 많았던 것 같다. 하지만 지금은 위의 문제가 모두 해결되었다. 3.8에서도 아무 문제 없이 실행되며, 광고가 없다. QTGUI를 통해서 깔끔하게 GUI도 짜여져 있다. 4k(2160p)나 고음질 mp3를 다운받는 것에도 아무 제한이 없더라. 제일 마음에 드는 점은 소스가 공개되어 있다.. 2020. 4. 10.