반응형 전체 글438 사이트 기술 분석 페이지 http://builtwith.com/ 2013. 11. 11. robots.txt란 인터넷 검색로봇의 접근 허용 여부나 대상 지역 등을 설정할 수 있는 표준 규약.웹사이트 정보를 수집하는 검색 로봇은 웹페이지 특정 정보를 수집하기 전에 우선 robots.txt 파일을 기준으로 해당 정보 수집 여부를 결정함.http://googlekoreablog.blogspot.kr/2008/04/robotstxt.html 1. 로봇의 문제점 로봇이라는 프로그램이 네트워크를 돌아다니게 되면 자칫 네트워크에 엄청난 트래픽(Traffic)이 발생할 수 있습니다. 즉, 네트워크에 과부하가 걸려 특정 사이트에 접속이 잘 되지 않거나 속도가 느려지는 문제가 생길 수 있습니다. 또한 동호회 명단, 직장 전화번호 등 원치 않은 정보가 검색엔진에 노출되는 결과가 생길 수도 있습니다. 2. 해결방안 이를 해결하기 위한.. 2013. 11. 8. 검색 서비스 방식 검색 서비스는 웹 로봇을 이용하여 여러 웹 사이트의 콘텐츠를 수집함. 웹 로봇은 무작위 접근 방식의 크롤링 기법을 이용하여 콘텐츠를 수집. 웹서버에 많은 부하를 줄 수 있고 정형화 되지 않은 URL과 수집 내용 때문에 검색 서비스에서도 수집 결과를 분석하기 어려운 단점이 있음. 2013. 11. 8. 네이버 신디 케이션 네이버 신디 케이션 네이버 신디 케이션 프로젝트 사이트(샘플 소스 존재,네이버 개발자 페이지)http://dev.naver.com/projects/fa582 연동 관련 정보http://www.phpschool.com/gnuboard4/bbs/board.php?bo_table=tipntech&wr_id=73096http://blog.blogrankey.com/entry/%EC%8B%A0%EB%94%94%EC%BC%80%EC%9D%B4%EC%85%98-API-%EC%97%B0%EB%8F%99-2-%EC%9B%B9%EB%AC%B8%EC%84%9C-%EC%A0%84%EB%8B%AC-syndiechoasp-%EC%9D%98-%EC%97%AD%ED%99%9C http://hkh.dothome.co.kr/syndic.. 2013. 11. 8. 네이버 신디케이션 네이버 신디케이션 글 작성 시 네이버에서 ping을 전달해서 네이버에서 확인 후 웹문서에 노출ping 전달 후 해당 문서에 대해서만 검수 후 노출이됨.홈페이지에서 컨텐츠가 생성되면 봇에서 신호를 보내주어 긁어가는 시스템네이버로 핑을 줘서 검색 엔진의 로봇이 방문 하도록 만듦.기존의 크롤링과 차이 있음.(보통 크롤링 방식은 검색 로봇이 올 때까지 기다리지만, 신디케이션은 능동적) 유사문서, 품문서 대량등록, 스팸문서는 노출 안됨( 네이버 웹문서 정책에 위배되면 노출이 안됨)직접 창작한 웹문서만이 노출이 됨. 검수에 걸려서 삭제 되는 경우도 있고, 글쓰기와 지우기를 반복하다보면 옐로카드가 날라오는 경우도 있다. 신디케이션서버는 호스트네임이 있는 도메인과 없는 도메인을 각기 다른 가입자로 인식. 검색 서비스는.. 2013. 11. 8. NAVER LIVE TOGETHER NAVER LIVE TOGETHER 2013. 11. 8. 이전 1 ··· 19 20 21 22 23 24 25 ··· 73 다음 반응형
