1/1 페이지 열람 중
5. 장문추출자 이제 기본적인건 다 했습니다.앞 강좌까지 잘 따라오셨다면 이제 웬만한건 할 수 있겠다란 자신감이 생겼을 겁니다.그럼 이제 악마의 질문을 던지겠습니다. ㅋㅋㅋ다음 구문에서 녹색부분만 데이터로 추출해 보세요------<문자열 시작>--------------------- <div id="bo_v_img"></div> <!-- 본문 내용 시작 { --> <div class="view-content"&g…
4. 데이터추출앞 전 강좌에서 추출한 부분이 다음과 같습니다.<a href="http://www.cong2.kr?a=AAA&b=BBB&c=CCC&d=e=EEE&f=FFF&g=GGG그럼 여기서 어떻게 http://...GGG 부분만 추출해 낼 수 있을까요?여기서 데이터로 쓸 부분을 추출해 내야 합니다.정확히 말하자면 그룹으로 분리하는건데 데이터라고 표현하겠습니다.데이터를 추출할때는 괄호 "(", ")" 를 사용합니다.앞 전 강좌의 정규식을 봅시다.&…
3. 집합부정집합은 이해가 되셨나요?이해 안되셨으면 복습하고 연습을 더 해보세요.그럼 이번에는 집합부정을 해볼께요.이건 간단합니다.그리고 아주 자주 쓰입니다.특히 URL을 추출할때 유용합니다.집합은 대괄호 안에 해당하는 문자라고 했죠?집합부정은 반대입니다.대괄호안에 해당하지 않는 문자입니다.표현은 아래와 같습니다[^0-9]0,1,2,3,4,5,6,7,8,9 에 해당하지 않는 문자란 뜻입니다.대괄호 안쪽에서 제일 앞에 "^" 을 쓰면 됩니다.실습해볼께요테스트문자열에 아래와 같이 입력합니다.12345abcdefghij…
2. 집합앞 시간에서 \d 는 숫자 \w는 알파벳,숫자,"_" 이라고 했습니다.숫자를 골라낼때는 \d 를 쓰면되고 문자를 골라낼때는 \w를 쓰면 됩니다.그런데 말입니다~숫자중에서 나는 0~5까지에 해당하는 숫자만 찾고 싶다!그럴땐 어떡하면 될까요?\d 는 숫자전체를 의미하니까 0~9까지의 숫자가 모두 해당됩니다.이럴때는 집합을 사용하면 됩니다.집합은 대괄호 "[" 와 "]" 을 사용합니다.대괄호 안에 원하는 걸 작성하시면 됩니다0에서 5까지의 숫자는 0,1,2,3,4,5 입니다[…
1. 기본표현식본격강좌 1부입니다.처음이니까 간단한거부터 할께요\d\D\s\S\w\W\d 는 숫자를 말합니다.digit 의 이니셜입니다.\s 는 공백(스페이스)입니다space 의 이니셜입니다\w 는 알파벳,숫자,'_'를 아우르는 표현입니다자 그럼 각각의 대문자는 무엇을까요?그건 바로 아닌것,부정,not 입니다.반대인거죠\D는 \d(숫자)가 아닌것\S는 \s(공백)이 아닌것\W는 \w(알파벳,숫자,'_')이 아닌것간단하죠?참, 여기서 \는 키보드의 역슬래쉬입니다.한글윈도우에서는 이것이 원화(한국돈) 단위 표시로 나옵니다.그럼 실습을 …
정규표현식이란?정규표현식을 간단하게 설명하면 어떤 문자열에서 내가 원하는 특정한 문자열을 골라낼때 사용하는 패턴언어입니다.이 패턴언어를 알게 되면 많은 이점이 있습니다.예를 들어 봅시다.오과장님 왈,"김대리~ 우리 고객데이타에서 이메일만 좀 뽑아놔봐!""김대리~ 우리 홈페이지 소스 전부 분석해서 URL링크만 좀 뽑아놔줘~""김대리~ 그리고 고객데이타를 엑셀(CSV) 형식으로 다 만들어줘~""김대리~ 그 문서에서 공백이 여러개 들어간거 공백 한개로 다 통일해 줘~"…
크롤러 콩이파싱기를 사용하기 위해서는정규표현식을 기본적으로 알고 있어야 사용하는데 지장이 없습니다.정규표현식을 처음 접하시는분은 다소 어렵다라고 생각할수 있지만,조금 개념을 잡고 나면 누구나 사용할수 있습니다.정규표현식의 강의를 링크 올려드립니다.시간이 좀 허락하시는 분은 차근차근 보시면 될듯합니다.정규표현식 무료강좌보러가기"위키피디아"의 설명정규 표현식(正規表現式,영어:regular expression, 간단히regexp[1]또는regex, rational expression)[2][3]또는정규식(正規式)은 특정…
파싱기 소개웹사이트 파싱정규식 및 몇몇 항목만 입력하시면 웹페이지를 긁어와서 워드프레스 게시판에 등록해줍니다.1. 읽어올 웹사이트를 무제한 추가가능.2. 읽어올 웹사이트는 무엇이든 가능.3. 읽어올 게시글의 이미지를 다운로드 받아 자신의 웹사이트경로로 바꿈. -이미지에 워터마크 자동삽입 기능.4. 첨부파일 다운로드 가능-정규식에 첨부파일입력5. 프록시 서버 경유 기능.6. 실제 브라우저와 동일안 요청 헤더 지원.7. 302 redirection 코드 반응.8. UserAgent 선택 가능.9. 사이트 과부하 방지를 위한 딜레이 기능…
◆ 콩이 파싱기 프로그램 소개◆◇ 개요정규식 및 몇몇 항목만 입력하시면 웹페이지를 읽어와 그누보드 게시판에 등록해줍니다.콩이파싱기 프로그램은 최신 php7.3를 지원하고 있습니다.php7은 기존 php5의 속도보다 3배이상 빠른걸로 실제 테스트 확인을 하였습니다.사용자의 환경에 따라 7배 이상 속도가 향상된다고 알려져 있습니다.웹사이트의 속도는 검색엔진 최적화에 밀접한 관계가 있습니다.빠른환경에서 웹사이트는 검색엔진 최적화에 많은 이점이 있습니다.구글서치콘솔에서 AMP를 강조하는것도 그 이유입니다.좀더 빠른환경에서 사용할수 있도록 …
