본문 바로가기

셀레늄7

[부동산지인 크롤링] 지역/기간별 미분양 세대수 수집하는 파이썬 코드 유튜브의 부동산지인 크롤링 시리즈 중 미분양세대수 수집 프로그램의 최종코드입니다. 미분양데이터 크롤링 1부 미분양데이터 크롤링 2부 파이썬 소스코드 city_list = [ ["1100000000", "1168000000"], # 서울특별시 강남구 ["1100000000", "1174000000"], # 서울특별시 강동구 ["1100000000", "1130500000"], # 서울특별시 강북구 ["1100000000", "1150000000"], # 서울특별시 강서구 ["1100000000", "1162000000"], # 서울특별시 관악구 ["1100000000", "1121500000"], # 서울특별시 광진구 ["1100000000", "1153000000"], # 서울특별시 구로구 ["11000.. 2023. 2. 7.
[Selenium] 티스토리 좋아요 자동클릭 테스트(희생양: 내 블로그) 좋아요 자동클릭이 도대체 블로그에 무슨 영향을 줄까? db에 like += 1 신호 주는 것 말고는 아무 것도 아닌 것 같은데 괜히 이런 게 재미있다. 블로그 강의를 들어보기로는 좋아요 수나 방문 수보다 체류시간이 훠얼~씬 중요하다고 했다. 그럼 자동화할 때 스크롤 올렸다 내렸다 하면서 40초에서 120초 정도 이상을 한 페이지에 머물렀다 나가야 한다는 건데 그럼 컴퓨터 한 대로 돌리는 의미가 없지 않을까? 유의미한 결과를 어떻게 파악하지? 현재는 키워드 최적화가 잘 되어 있어서 관련검색어로 네이버, 다음이나 구글에 검색하면 어차피 다 최상단에 뜨고 있기는 한데, (워낙 경쟁이 없기도 하고) 혹여 이런 테스트로 저품질에 빠지고 하는 게 아닐까 걱정이 조금 되다가도 어차피 돈도 안 벌리는 사이트, 까짓거 .. 2023. 1. 5.
한컴스페이스 웹에디터로 표 만들기 자동화(selenium) 기본적으로 한컴스페이스에 접속해서 새 문서를 여는 일련의 코드는 아래에서 참고하기 바랍니다. 크롬으로 한/글 문서 작성한 후 다운받기 feat. selenium 안녕하세요? 일상의코딩, 일코입니다. 최근 여러 브라우저에서 한/글 문서를 읽을 수 있는 기능을 제공하고 있습니다. 대표적으로 네이버 웨일은 (파일을 서버로 업로드하는 과정을 거친 후에) martinii.fun 한컴에서 제공해주는 무료 hwp 에디터인 한컴스페이스는 정품 아래아한글만큼은 아니지만, 대부분의 기능을 웹으로 지원해줍니다. 이게 또 신박한 것이 거의 모든 단축키가 구현되어 있고, 각종 작업아이콘도 div 태그로 또렷하게 구분되어 있거든요. body에다 send_keys를 통해 텍스트 입력이나 단축키 입력이 가능하고, 메뉴 자체의 htm.. 2022. 1. 28.
크롬으로 한/글 문서 작성한 후 다운받기 feat. selenium 안녕하세요? 일상의코딩, 일코입니다. 최근 여러 브라우저에서 한/글 문서를 읽을 수 있는 기능을 제공하고 있습니다. 대표적으로 네이버 웨일은 (파일을 서버로 업로드하는 과정을 거친 후에) 브라우저로 뷰어 기능을 거의 완벽하게 제공해줍니다. 크롬 브라우저 확장프로그램 중 하나인 hwp.js를 설치하면 크롬에서 hwp문서를 (완벽하진 않지만) 읽기전용으로 불러올 수도 있습니다. 그런데 이번에 소개해드리는 프로그램은 한컴오피스에서 공식적으로 제공하는 웹 hwp 편집기인 한컴스페이스입니다. 한컴스페이스 어디서나 펼쳐지는 오피스 세상 space.malangmalang.com 회원가입만 하시면 개인사용자에 한해서는 freemium이라는 무료 요금제로 2GB의 무료 스토리지와 한/글 프로그램에서 제공하는 대부분의 기.. 2022. 1. 27.
[0/?] 정부 보도자료 다운로드로 크롤링 기초 다지기 시연영상 파이썬, 셀레늄 및 크롬을 활용하여 보도자료 다운로드하는 코드 시연화면 개인적인 사정으로 정부 보도자료를 많이 다운받아야 할 일이 생겨서 간단히 크롤링을 돌려보았습니다. 재미있게도 제가 시도했던 세 개 부처(행안부, 산업부, 여가부) 모두 30줄이 안 되는 간단한 코드로 다운로드할 수 있게 이루어져 있어서, 입문강의로 만들어보면 어떨까 하는 생각이 갑자기 들어서 녹화를 해놓았다가, 아무 편집 없이 유튜브에 업로드를 해버렸습니다. 구독자 분들께 영양가 없는 알림이 가는 것 같아 죄송한 마음도 들었지만.. 하여튼 위 작업을 주제로 한 크롤링 입문튜토리얼을 제작해서 8월중에 블로그에 무료공개 예정입니다. 강의 제작 중이지만 지금도 코드는 참고하실 수 있습니다. 영상 중간에 세 개 사이트 크롤링을 위해.. 2021. 8. 1.
셀레늄으로 인프런 강의정보를 크롤링해서, 수강료 인사이트 얻기[연재] 1. 튜토리얼 개요 국내 최고의 온라인강의 사이트 인프런에 업무자동화 강의를 올릴 예정입니다. 그냥 제 방식, 제 페이스대로 강의를 만들고 싶지만, 문득 궁금해졌습니다. 어떤 강의가 수강생 수가 많을까? (당연히 무료강의겠죠ㅜ) 그래서 강의시간이나 가격, 평점, 태그정보, 분야 뭐 이런 걸 크롤링으로 모아다가 인프런에서 제 강의가 가장 무난하게 잘 팔리게 하려면 어떻게 해야 할지, 전략적인 선택을 해 보고 싶어졌습니다. 뭐, 결국 제 방식으로 제가 아는 것 엮어다가 만들긴 하겠지만요;;; 또 어떤 분야의 강의가 많은지, 나름 RAW한 데이터로 분석해 보고 싶기도 했고요. 또 좋은 강의를 발견하면 수강신청도 하고요. 어느 정도 결론이 나온 상태에서 튜토리얼을 진행하면 재미가 없을 것 같아, 크롤링을 시작하.. 2021. 7. 13.
셀레늄-IE 크롤링 중 파일 자동다운로드 방법(진행중) feat. win32 필자는 내부(폐쇄)망 컴퓨터를 통해 일을 한다. 대부분의 업무는 IE브라우저를 통한 그룹웨어와, 악명(?)높은 아래아한글 문서로 처리하기 때문에 자동화가 수월하지 않다. 로그인 인증은 액티브X를 통해 진행되기 때문에 IE를 떠날 수도 없다. 최신 RPA 툴로는 더욱 자동화하기 힘들다. 이 글을 읽으시는 분이 공무원이거나 공공기관 직원이라면 공감하실 것이다. 특히 파이썬 유저라면, 엑셀파일을 pandas의 DataFrame으로 불러와서 데이터 가공을 하고 싶은데, 내부망에 엑셀파일을 옮기자마자 FasooDRM 때문에 암호화되고... 데이터는 불러와지지도 않는다. 옆의 인터넷망에선 노션과 트렐로, 마소 구글 네이버 카카오 모든 계정 로그인이 불가하고 엎친 데 덮친 격으로 아나콘다도 차단, pip downlo.. 2021. 5. 9.