전체 글목록496 [파이썬] 크롤링 ajax , rest api 가져오기 . http://toddhayton.com/2015/03/11/scraping-ajax-pages-with-python/ 그냥 ajax 가져오는거지만 이미 크롤링코드를 사용하고 있으면 다시만들기 번거롭다. 그래서 그냥 크롤링코드에서 request.post 로 ajax 를 크롤링 코드 내부에서 사용하여 json 받아온다.그리고 뒷작업(db, csv, txt)은 크롤링에서 사용하던 방식으로 넣는다. 카테고리 없음 2018. 8. 21. [파이썬] XPath 문법 , xpath 사용하여 가져오기. http://blog.naver.com/PostView.nhn?blogId=cardin9&logNo=20032909370 대충의 문법이 정리되어있음 . 주의사항 중 하나는 xpath 로 가져온 문자열을 수정할 경우 price = sel.xpath('normalize-space(div[@class="info_wrapper"]/a/div[4]/span/text())').extract() #print(str(price)) item['price'] = [it.replace(",", "") for it in price] 이런식으로 for 문안에서 수정해야함. 카테고리 없음 2018. 8. 17. 크롤링 파이썬 설치 scrapy 2020 02 12 윈도우10 재설치로... 다시 설정해보았다 . from scrapy.selector import HtmlXPathSelector 이런 에러가 발생. 이거 주석처리하면 된다. (즉 안쓰면 된다 ) 이게 웃긴게테스트하려고 scrapy shell "www.daum.net" 이걸 쳤다. 근데.. scrapy 프로젝트 내부에서는 작동안하고, 다른 폴더에서는 작동한다. 그래서 에러찾는게 오래걸렸음. 그러니까.. 테스트시에는 작업 프로젝트에서 하지말고 다른곳에서 shell 명령어 시도해보자 ---------------------------------------------------------------------------------------------------------------------.. 카테고리 없음 2018. 8. 7. [mybatis] 동적 sql ognl 문법 http://www.mybatis.org/mybatis-3/ko/dynamic-sql.html 동적 SQL마이바티스의 가장 강력한 기능 중 하나는 동적 SQL을 처리하는 방법이다. JDBC나 다른 유사한 프레임워크를 사용해본 경험이 있다면 동적으로 SQL 을 구성하는 것이 얼마나 힘든 작업인지 이해할 것이다. 간혹 공백이나 콤마를 붙이는 것을 잊어본 적도 있을 것이다. 동적 SQL 은 그만큼 어려운 것이다.동적 SQL 을 사용하는 것은 결코 파티가 될 수 없을 것이다. 마이바티스는 강력한 동적 SQL 언어로 이 상황은 개선한다.동적 SQL 엘리먼트들은 JSTL이나 XML기반의 텍스트 프로세서를 사용해 본 사람에게는 친숙할 것이다. 마이바티스의 이전 버전에서는 알고 이해해야 할 엘리먼트가 많았다. 마이바티.. Web/스프링 2018. 7. 31. google cloud , gcp 어처구니 없는 smpt 방침, ports 25, 465, and 587 https://cloud.google.com/compute/docs/tutorials/sending-mail/ 구글 클라우드 플랫폼, gcp 에서는 아웃바운드에서 smpt 메일 전송을 지원하지 않는단다 .. 이게 말이되나 ? 여기 투표하면 조금이라도 반영 될 것 같음https://googlecloudplatform.uservoice.com/forums/302595-compute-engine/suggestions/10079937-send-and-receive-email-using-tcp-smtp-imap-ports 포트 뚤고, 아웃바운드에서 smpt 가능하게 요청하는 곳 다른 회사도 아니구 구글에서 이런 기능을 막아놧다는게 이해가 가지 않는다 .. 이거 때문이라도 aws 쓰는 사람이 많겟네 .. SERVER/구글 클라우드 플랫폼 GCP 2018. 7. 23. Spring Security로 Java 코드에서 "hasRole"을 확인하는 방법 Spring Security로 Java 코드에서 "hasRole"을 확인하는 방법은 무엇입니까? https://code.i-harness.com/ko/q/2e1990 public String createForm(HttpSession session, HttpServletRequest request, ModelMap modelMap) { if (request.isUserInRole("ROLE_ADMIN")) { // code here } } Web/스프링시큐리티[security] 2018. 7. 21. ::after 을 이용해 css 삼각형 , 화살표 가르키기 방향 , https://m.blog.naver.com/PostView.nhn?blogId=eunjin10914&logNo=221004085897&proxyReferer=https%3A%2F%2Fwww.google.com%2F 출처 윗 이직을 하고 나서 무지 바빠져서 포스팅 할 시간이 없네요. 코드 정리하기도 시간이 빠듯합니다. 오늘은 제가 자주 사용하는 삼각형을 css로 그려보도록하겠습니다. 제목에서 언급한 것 처럼 ::after 를 사용할 건데요. :after를 사용하며 IE9 이하에서도 맞출순 있지만 css로 transform을 사용하기때문에~! IE9버전 이상부터 적용이 됩니다! 위의 이미지를 구현해 보도록 하겠습니다. 코드는 아주 간단합니다. html css .area-main-ment{ backgroun.. Web/HTML_CSS 2018. 7. 13. [bootstrap] Popover with custom css styled radio buttons 팝오버 내부 라디오버튼 https://codepen.io/geek4christ/pen/QwpBLx Web/HTML_CSS 2018. 7. 13. 스프링 시큐리티 파라미터 매치 http https://stackoverflow.com/questions/10467930/spring-security-cannot-match-parameter-format 정규식으로 가능. 3 버전, 4버전과 http 변수 request-matcher 이 변수명이 다름 Web/스프링시큐리티[security] 2018. 7. 5. 정규표현식 테스트 사이트 https://regexr.com/ Web/Javascript_Jquery 2018. 7. 3. <intercept-url> parameter로 스프링 시큐리티 적용하기 4 버전 이상부터는 이방식으로 써야댐 3버전은 다름 . 찾아보길 권함 4번 참고 https://stackoverflow.com/questions/10467930/spring-security-cannot-match-parameter-format Web/스프링시큐리티[security] 2018. 7. 2. [DB/Redis]Redis에 대해서 공부하기, Redis vs Ehcache vs Memcached 비교하며 파악하기 출처: http://postitforhooney.tistory.com/entry/DBRedisRedis에-대해서-공부하기-Redis-vs-Ehcache-vs-Memcached-비교하며-파악하기 [PostIT] http://postitforhooney.tistory.com/entry/DBRedisRedis%EC%97%90-%EB%8C%80%ED%95%B4%EC%84%9C-%EA%B3%B5%EB%B6%80%ED%95%98%EA%B8%B0-Redis-vs-Ehcache-vs-Memcached-%EB%B9%84%EA%B5%90%ED%95%98%EB%A9%B0-%ED%8C%8C%EC%95%85%ED%95%98%EA%B8%B0 Web 2018. 5. 30. 이전 1 ··· 21 22 23 24 25 26 27 ··· 42 다음