파이썬 웹크롤링으로 업무 자동화 하는 법

'코딩' 하면 막연히 어렵게만 느껴지시나요? 특히 문과생들에게 코딩은 외국어보다도 더 낯설고, 아예 배우려는 시도조차 못할 정도로 어렵게만 느껴집니다. 그러나 코딩은 우리 사회에서 점점 필수적인 기술로 자리 잡아가고 있습니다. 요즘은 초등학생들도 코딩을 배울 정도니까요.

코딩의 중요성 : 스티브 잡스

아무리 그렇다고 하더라도 IT 업계에서 근무하는 것도 아니고, 코딩과 전혀 상관없는 일을 하는 사람들도 코딩이 필요할까요? 물론 코딩을 모른다고 해서 업무하는데 문제 되는 것은 없을 것입니다. 하지만 코딩을 알게 되면 내 업무가 훨씬 편해지게 된다는 사실을 느끼게 될 것입니다. 

 

어떻게 코딩이 나를 편하게 해줄 수 있는 것일까요? 오늘은 프로그래밍 언어 중에서 최근 가장 핫하면서도 활용 분야도 넓고 배우기도 비교적 쉬운 '파이썬'에 대해 알아보겠습니다. 

 

<목차>

1. 파이썬이란

2. 파이썬의 웹크롤링 기능

3. 웹크롤링과 업무 자동화

4. 파이썬을 배우려면? 

 

파이썬이란?

코딩

먼저 코딩에 대해서 알아봅시다. 사람이 컴퓨터에게 명령을 하려고 할 때 사람의 언어를 사용한다면 컴퓨터는 알아듣지 못할 것입니다. 그래서 사람과 컴퓨터 사이에 '통역사'의 역할이 필요한데 통역사(인터프리터)에게 내가 컴퓨터에게 명령하고자 하는 내용을 전달하는 언어, 그게 바로 '코딩'인 것입니다. 

 

인터프리터에게 명령을 전달하기 위해서는 기계어로 작성을 해야 합니다. 우리는 이러한 기계어의 법칙을 학습하고 이를 응용하면서 컴퓨터에게 일을 시키기 위한 프로그래밍을 하게 되는 것입니다. 

프로그래밍 언어는 매우 다양하게 존재하며 이중에서 파이썬, 자바, C언어 등이 가장 많이 사용되는 언어라고 할 수 있습니다. 파이썬은 문법이 비교적 쉽고 간결하기 때문에 초보자들도 접근하기 쉬운 언어입니다. 저도 문과 출신이며, 평소의 업무도 코딩과 전혀 상관이 없었지만 파이썬 강의를 한번 들은 후 매우 재미있게 업무에 활용해 보려고 했던 적이 있습니다.(계속 공부를 하지 않으니 까먹게 되긴 합니다.^^)

 

이처럼 파이썬은 쉬운 프로그래밍 언어이기 때문에 독학을 하시는 분들도 많으며, 궁금한 점이나 코딩 중에 오류가 생겼어도 구글링만 잘하면 문제를 거의 다 해결할 수 있을 정도로 이미 많은 정보가 온라인상에 공유되고 있습니다. 

 

 

파이썬의 웹크롤링 기능

요즘 직장인들, 특히 비전공자들 사이에서도 파이썬이 인기 있는 이유는 단순히 배우기 쉬워서만은 아닙니다. 그 활용범위가 매우 넓고, 응용만 잘 한다면 내 업무에 커스터마이징 된 자동화 프로그램을 만들 수 있기 때문입니다. 

 

직장에서 누구나 반복적인 업무로 인해 퇴근시간이 늦어지는 경험 많이 하셨죠? 파이썬의 웹크롤링 기능을 통해 이러한 반복업무를 자동화 할 수 있습니다. 직장 업무뿐만 아니라 SNS 활동도 파이썬이 대신해주기도 합니다. 놀랍지 않나요? ㅎㅎ

 

크롤링이란 웹사이트의 정보 자원을 자동화된 방법으로 수집, 분류, 저장하는 것을 말합니다. 파이썬의 강력한 크롤링 기능을 통해서 내가 정보를 취하고자 하는 웹사이트에서 특정 정보를 자동으로 끌어올 수 있습니다. 엑셀, 한글, 텍스트 파일 등 원하는 형태로 저장이 가능합니다. 

 

웹크롤링과 업무자동화

그동안 인터넷에서 내가 원하는 정보를 하나하나 복사해서 엑셀에 붙여넣기 하던 일, 고객별로 각각 이름을 입력하여 메일을 보냈던 일, 매일 아침 네이버 뉴스기사를 직접 스크랩했던 일... 이러한 것들을 모두 자동화할 수 있습니다. 구체적으로 예를 들어 보겠습니다. 

 

인스타그램 '좋아요' 자동으로 누르기

인스타그램을 단순 취미로 운영하는 분들도 계시겠지만 비즈니스 차원으로 운영하는 분들이 많습니다. 콘텐츠의 경쟁력이 뛰어나지 않다면 자신의 계정을 키우기 위해서는 다른 유저들과의 교류가 필수인데요. 이를 위해서는 본인과 관심사가 비슷한 계정에 방문해서 '좋아요'를 누르거나 댓글을 다는 등의 '소통'이 필요합니다. 

인스타 좋아요 누르기 코딩 일부

꾸준히 이런 작업을 해줘야 하는데 이것도 매일 하려면 귀찮은 일이 되기도 합니다. 파이썬을 활용하면 인스타그램에서 특정 키워드로 검색된 계정들에 방문하여 '좋아요'를 누르고 미리 정해진 댓글을 다는 것을 무한대로 할 수도 있습니다. 그러나 무한대로 하는 것은 운영사 측에서 제제를 가할 수 있기 때문에 제한된 범위 내에서 하는 것이 좋습니다. 

 

매일 아침 특정 키워드로 네이버 뉴스 스크랩하여 엑셀파일로 받기

저는 예전에 언론 담당 업무를 했던 적이 있는데요. 매일 아침 가장 기본적으로 해야하는 일은 우리 회사 관련 뉴스를 스크랩하여 정리하는 것이었습니다. 매일매일 네이버에서 검색해서 이것을 엑셀로 정리하는 일은 은근히 귀찮은 일이며 시간도 꽤 오래 걸리는 일입니다. 

 

파이썬은 뉴스 스크랩 업무에 드는 시간을 획기적으로 줄여줍니다. 입력한 키워드를 포함한 뉴스기사를 일단 엑셀로 정리해서 주므로 손댈 곳이 많지 않습니다. 

 

고객명을 자동으로 입력하여 메일 발송하기

업무상 고객들에게 전체 메일을 보내야 하는 경우가 있습니다. 모두 똑같은 내용으로 메일을 보내면 편하지만 고객별로 이름을 넣어서 메일을 보내려고 하면 매우 번거로운 일이 되어 버립니다. 하지만 파이썬을 활용하면 이메일 주소, 고객명, 메일 내용 등을 미리 엑셀로 정리해 놓고 코딩한 내용을 실행하면, 고객 한 명 한 명에게 따로 메일을 보낸 것과 같은 결과를 얻을 수 있습니다. 

자동 메일 발송 코드 일부

위에서 언급한 예시는 정말 일부일 뿐입니다. 본인의 업무 또는 관심사와 연계해서 파이썬에게 어떤 일을 시키면 좋을지 시도해 본다면 그 활용 범위는 무궁무진할 것입니다. 저도 지난 해 파이썬 웹크롤링을 배우고 너무 재미있고 신기해서 한동안 코딩에 푹 빠져있었던 기억이 납니다. 

 

 

파이썬을 배우려면?

제 경험에 비추어 볼 때, 비전공자 분들은 활용 중심으로 공부하는 것이 좋습니다. 코딩의 문법부터 체계적으로 공부한다기 보다는 예제 중심으로 실습하면서 그에 해당하는 문법들을 공부하는 것이 훨씬 이해도가 높았던 것 같습니다. 영어 공부할 때 문법책만 달달 외우느냐, 회화 수업을 하면서 그날 나온 표현에 대한 문법을 배우느냐의 차이인 것 같습니다. 

 

독학을 하려는 분들은 파이썬 기본서인 '점프 투 파이썬'이라는 교재를 추천드리고, 인터넷 강의는 탈잉이나 클래스 101 등에서 평점 높은 강사님을 선택하시면 됩니다. 저는 탈잉에서 수강했었습니다. 무료 강좌는 유튜브에서 코딩으로 유명한 채널들을 이용하시면 좋습니다.(생활코딩, 나도 코딩 등)