언제나 휴일

5.1.3 NeedCollectUrl 저장 프로시저 이번에는 수집할 필요가 있는 페이지인지 확인하는 NeedCollectUrl 저장 프로시저를 만듭시다. 입력 인자로 페이지 주소와 OUTPUT 유형으로 수집할 필요가 있는지 여부를 결정하는 인자가 필요하겠죠.CREATE PROCEDURE dbo.NeedCollectUrl ( @Url varchar(200), @Need int OUTPUT ) 저장 프로시저의 알고리즘은 이미 작성한 ExistedCandidate 저장 프로시저를 이용해 존재하는 페이지 주소인지 확인합니다. 존재 여부를 확인하기 위한 변수를 선언해야겠죠.Declare @Existed intExec ExistedCandidate @Url, @Existed OUTPUT 만약 존재하지 않으면 Exi..

5.1.2 ExistedPostedUrl 저장 프로시저 이번에는 이미 수집한 페이지인지 확인하는 저장 프로시저를 만들어 봅시다. 저장 프로시저 이름은 ExistedPostedUrl로 합시다. 입력 인자로 페이지 주소를 받고 OUTPUT 유형의 인자로 존재 여부가 필요합니다. CREATE PROCEDURE dbo.ExistedPostedUrl ( @Url varchar(200), @Existed int OUTPUT ) 저장 프로시저 내부에서는 PostedUrlTable에 입력 인자로 받은 Url이 있는지 확인한 결과를 존재 여부를 결정하는 인자에 설정합니다. 앞에서 작성한 ExistedCandidate 저장 프로시저와 테이블 이름만 차이가 있어 하나의 저장 프로시저로 일반화할 수 있지만 여기에서는 일반화하..

5.1.1 ExistedCandidate 저장 프로시저 ExistedCandidate 저장 프로시저는 입력 인자로 사이트 주소와 OUTPUT 형태의 인자로 존재 여부가 있습니다. CREATE PROCEDURE dbo.ExistedCandidate ( @Url varchar(200), @Existed int OUTPUT ) 존재하는지 확인은 Select 쿼리문의 결과를 이용합시다. SQL 쿼리문을 사용해 본 적이 없다면 별도의 레퍼런스를 통해 학습이 필요합니다. if exists (select * from CandidateTable where Url=@Url) begin set @Existed = 1 end else begin set @Existed = 0 end 다음은 ExistedCandidate 저장..

5. DBM 설계 및 구현 이번에는 DBMS에 정보를 저장하거나 검색할 때 사용하는 컴포넌트를 설계 및 구현합시다. 이와 같은 컴포넌트에는 DBM ForAll과 DBM ForSearch가 있습니다. 이번 작업에서는 DBMS에 자주 사용하는 쿼리를 저장 프로시저 형태로 만드는 작업도 진행합니다. 5.1 DBM ForAll필요한 저장 프로시저 구현 DBM ForAll은 웹 로봇과 형태소 분석기, 역 파일 생성기 등에서 수집 결과나 분석 결과 등을 저장하는 작업을 수행하는 컴포넌트입니다. 검색 서비스에서 검색 결과를 얻어오는 부분은 DBM ForSearch 컴포넌트가 담당하기로 하였습니다. 여기에서는 DBM ForAll 컴포넌트를 설계하고 이를 구현할 것입니다. 그리고 구현에 필요한 저장 프로시저가 있으면 같..

4. 5 RankedUrl 클래스 구현 검색 요청이 오면 랭커는 검색 결과에 점수를 부여하여 점수 순으로 정렬한 결과 컬렉션을 제공합니다. 이 때 검색 결과를 RankedUrl 형식으로 표현합시다. Search 시퀀스 다이어그램에서 RankedUrl 형식이 있는데 멤버로 수집한 웹 페이지와 점수를 갖고 있어야 합니다. RankedUrl에는 PostedUrl 개체 정보를 멤버 필드로 갖고 멤버 속성으로 이를 참조할 수 있게 제공합시다.PostedUrl postedurl;public PostedUrl PUrl{ get { return postedurl; }} 그리고 웹 사이트 주소를 참조할 수 있는 속성을 제공합시다. 웹 사이트 주소는 따로 기억할 필요는 없습니다. 멤버 개체인 postedurl의 Url 속..

4. 4 InvertedElem 클래스 구현 역 파일 생성기에 의해 DBMS에 저장한 정보로 사이트 주소와 참조 개수를 멤버로 갖는 역 파일의 항목 형식을 InvertedElem이라 합시다. InvertedElem클래스를 추가하세요. InvertedElem은 형태소 분석기에 의해 분석한 결과로 사이트 주소와 참조 개수를 멤버로 하여 특정 형태소 테이블의 항목으로 저장한 내용을 프로그램 데이터로 가져와 사용하는 형식입니다. 따라서 형태소 분석기에 의해 분석한 결과를 역 파일 생성기에 의해 DBM ForAll에게 저장 요청할 때 사용합니다. 그리고 검색 요청할 때 랭커에 의해 DBM ForSearch에게 검색 질의에 포함한 형태소를 역 파일 테이블에서 포함하는 사이트 주소와 참조 개수를 알아낼 때 결과로 얻..

4. 3 Morpheme 클래스 구현 분석한 형태소를 표현할 Morpheme 클래스를 추가하세요. 분석한 형태소는 형태소 별로 페이지에 나타난 개수를 포함하여 기록합니다. 이는 역 파일 생성기에 의해 DBMS에 저장하며 랭커에 의해 검색 결과를 순위화할 때 사용합니다. MophemeParse와 MakeInvertedFile 시퀀스 다이어그램을 보면 어떠한 멤버가 필요한 지 확인할 수 있습니다. Morpheme 형식에는 형태소 이름과 참조 개수를 멤버 속성으로 추가하고 기본 생성자, 정보를 입력 인자로 받는 생성자를 추가하고 ToString 메서드를 재정의합니다. 마찬가지로 형식과 멤버를 public으로 지정하여 외부에 노출하고 Serializable 특성을 지정합니다. [Serializable]publi..

4. 2 PostedUrl (수집한 사이트)클래스 구현 수집한 웹 페이지 정보를 표현할 PostedUrl 클래스를 추가하세요. 웹 로봇에 의해 수집한 웹 페이지는 DBM ForAll을 통해 수집한 정보를 DBMS에 저장 요청을 합니다. 이 때 사용할 형식이 PostedUrl입니다. StorePostedUrl 시퀀스 다이어그램을 보면 PostedUrl 형식에는 수집한 페이지 주소와 요청한 페이지 주소, 페이지의 내용, Seed 사이트에서의 상대적 깊이, 수집한 DateTime과 페이지 제목이 필요하다는 것을 알 수 있습니다. 이와 같은 멤버를 갖는 PostedUrl 클래스를 작성합시다. 클래스의 노출 수준을 public으로 지정하고 Serializable 특성을 지정합니다.[Serializable]publ..

4. 1 Candidate(수집 후보 사이트) 클래스 구현 Candidate 클래스를 추가하세요. Candidate 클래스는 수집할 대상 사이트를 표현할 클래스입니다. 먼저 클래스의 노출 수준을 public으로 설정합니다. 라이브러리에 정의한 형식을 다른 곳에서 사용하려면 노출 수준을 public으로 설정해야 합니다. 그리고 서비스에서 직렬화하여 사용할 수도 있으니 Serializable 특성을 지정합시다. [Serializable] public class Candidate{} Candidate 클래스에는 멤버 속성으로 사이트 주소와 Seed 사이트 주소에서의 상대적 깊이를 설정하고 가져오기 가능한 멤버가 필요합니다. 노출 수준을 public으로 지정하여 멤버 속성 Url과 Depth를 추가합니다. 가져..

4. WSE Core 설계 및 구현 이번에는 EH WSE 솔루션의 여러 컴포넌트에서 공통적으로 사용할 형식들을 제공하는 WSE Core 라이브러리를 설계하고 구현합시다. WebCollect 시퀀스 다이어그램과 NeedGetUrls에서는 수집할 대상 사이트를 얻어오는 부분이 있습니다. 이를 Candidate 형식으로 정의합시다. 웹 로봇은 웹 사이트를 수집하였을 때 이를 DBM ForAll을 통해 DBMS에 저장을 요청합니다. 이를 위해 PostedUrl 형식을 정의합시다. 웹 사이트의 내용이나 검색 질의는 형태소 분석기에 의해 분석하고 이 결과를 사용하여 역 파일을 만드는 작업이나 검색에 사용합니다. 이를 Morpheme 형식으로 정의합시다. 검색 요청 시에 랭커는 검색 결과에 순위를 부여합니다. 이 때..