david's daily developer note

Oracle에서는, 질의를 통해서가 아니라, 그 보다 낮은 단계에서 직접 대용량 데이터를 넣을 수 있게 끔 BULK LOADING을 지원한다. INSERT엔 무슨 문제가 있나? 없다,하지만... 대부분의 경우, 테이블로 새로운 데이터를 추가하기 위해 기존에 해왔던 방법은 INSERT문장이다. 그러나 대용량 데이터 로딩은 성능에 대한 당면과제를 안고 있는 데 이것은 각 레코드나 레코드 셋을 위한 분리된 문장을 보내는 전통적인 방법보다는 스트리밍 기술을 사용하는 것으로 가장 잘 대처를 할수 있다는 것이다. 당신이 INSERT 문장을 보낼 때, 당신은 효과적으로 문장들의 배치나 각 문장의 데이터 값과 선형 메타데이터를 보낸다. 스트리밍에서는 당신은 데이터 값들의 연속적인 스트림에 따른 메타데이터를 한번에 보낸..

Twitterizer Class의 사용 예를 보자. TwitterUser 클레스는, Twitter 유저의 계정과 user-centric API methods와 상호 호환되는 methods를 제공한단다... TwitterUser The TwitterUser class represents a twitter user account and provides methods for interacting with user-centric API methods. TwitterUser 클레스를 써보자. 앞서 인증후에 저장된 .config파일 정보를 이용해서, 인증 토큰을 생성한다. this.oauthTokens = new OAuthTokens() { AccessToken = ConfigurationManager.AppSet..

Twitter API를 사용한 어플리케이션을 만들려면,, Twitter 계정이 있어야 하고, 어플리케이션을 등록 시켜야 한다. 등록 후 받는 ConsumerKey와 ConsumerSecret로 AccessToken를 요청 할 수 잇고, AccessToken으로 Twitter 리소스에 접근할 수 있다. 그 과정은 아래 링크에 자세히 나와 있다. http://smok95.tistory.com/213 Twitter API는 많은 언어를 지원하고, API를 컨트롤 하는 다양한 오픈 소스가 존재한다. 개발 환경에 맞게 선택하거나, 자신이 손에 익은 언어를 선택하면 되겠다. 그래서~나는 C#과 오픈소스인 twitterizer를 이용한다. twitterizer에 대한 정보는 아래 사이트에 있다. Documentati..

Open Street Map (OSM)의 특정 맵에서 Xml데이터를 추출해서, 파싱(Parshing)하고, 오라클 공간 자료형(SDO_geometry)을 사용해서 저장하고, 질의하는 Viewer를 만들어 봤다. 아래는 파싱된 공간 데이터를 저장하기 위한 환경을 만드는 전체 SQL을 간단히 요약했다. drop table OSM; delete from user_sdo_geom_metadata where table_name ='OSM'; create table OSM -- 1. OSM의 XML에서 추출할 데이터를 고려해서 다음의 스키마를 생성했다. ( id varchar(20) primary key, -- 추출된 Geometry의 식별자. 그 밖에 많은 추가 데이터가 존재하지만 생략한다. -- ex 위,경도,..