모조리 기획해주마

그냥 우분투에서 하세요 (제발)

래퍼런스

http://sacharya.com/crawling-anonymously-with-tor-in-python/

https://gist.github.com/KhepryQuixote/46cf4f3b999d7f658853

ip우회를 통한 크롤링을 하려고 할 때 tor를 주로 사용하게 되는데, 대부분의 가이드는 우분투 환경에 맞추어 작성되어있는 것 같다. (apt-get 명령어라던지)

우분투 환경을 설치하기에는 너무 오래걸리는 관계로..  아래는 맥북에서 해보는 tor를 활용한 크롤링 과정이다.

TOR 소개

https://2019.www.torproject.org/index.html.en

윈도우에는 apt관련 명령어로 설치를 하는 것 같은데, 맥에서는 apt대신 brew를 쓴다.

home brew를 설치하자

>>brew update

>>brew install tor

>>netstat -anp tcp | grep -i "LISTEN"

-mac내에서 tor가 설치되는 루트를 확인하면서 진행해야 하는데, 루트는 /usr/local/etc/tor/torrc.sample에 해당한다.

(https://2019.www.torproject.org/docs/tor-doc-osx.html.en) 에서 설치루트를 확인할 수 있다.

-gedit기능이 역시 없으므로, 쓰고 싶다면 .bash_profile 내에 넣어두어야 하는 것 같다.

>> cd ~/

>> touch .bash_profile

>> open -e .bash_profile 

>> . .bash_profile

>>sudo gedit /usr/local/etc/tor/torrc.sample

>> tor --hash-password [비밀번호를 적는곳]

16:2CEA35E6D1F3544F607FAA55812020A11908D2C5FB3DC9406F58A27DFF

ControlPort 9051 # hashed password below is obtained via `tor --hash-password my_password` HashedControlPassword 

16:2CEA35E6D1F3544F607FAA55812020A11908D2C5FB3DC9406F58A27DFF

CookieAuthentication 1

>> brew install python-stem

>> brew install privoxy

and enable forward-socks5 as follows:

>> forward-socks5 / localhost:9050

Restart privoxy after making the change to the configuration file.

>> sudo /etc/init.d/privoxy restart

privoxy의 bash 파일을 수정해주고 적용해주려고 하는데.. mac에서는 restart가 안된다. OTL  아니 뭐이리 안되는게 많아 스티브잡스개새끼 윈도우만세 내가 왜 맥북을 쓰고있을까?

하지만 여기서 좌절할 내가 아니지.

mac에서의 privoxy 사용법을 다시 확인해서 진행해봅니다. 

[privoxy 사용법]

https://www.andrewwatters.com/privoxy/

Group by Count

data4_dt[, ':=' (COUNT = .N, temp = "justTest" ) , by = job_id]

Order By

data4_dt[order(-COUNT), ]

Delete Column

data4_dt$cnt <- NULL

data4_dt[ , cnt := NULL]

data4_dt

한줄평은 음악 하고 싶게 만드는 영화..

중학교 때 봤던 노다메 칸타빌레의 여주인공 우에노 주리를 보는 재미만으로도 1시간 반이 충분히 즐겁다.