redJu(홍주)

Hadoop Big Data와 Hadoop 은 상당히 언급이 많이 되고 있는 사항들입니다. 간략히 Hadoop에 대해서 정리해보았습니다. 가. Hadoop의 정의 - 클라우드의 핵심 기술로써 아파치의 오픈소스 프로젝트중 하나인 대용량 데이터 처리를 위해 대규모 분산처리를 지원하는 프레임워크 (더그 커팅 창시) - 인터넷 서비스를 위해 대용량 데이터를 대규모 저가 노드 기반 클러스터 시스템에 분산 관리하는 오픈 소스 기술 나. Hadoop 등장배경 - 비정형 파일 데이터의 양이 기하급수적으로 증가 (PB, ZB) - 대규모의 비정형 데이터 분석을 배치로 처리 요구 - 빅 데이터’에 대한 가장 현실적인 대안 (아마존, 야후, 구글 등에서 활용 중) 다. Hadoop의 구성요소 구분 내용 HDFS -Hadoo..

요즘 화두가 되고 있는 Big Data에 대한 내용을 간략히 정리해보겠습니다. I. Big Data 개념 가. 빅 데이터(Big Data)의 정의 - 기존의 관리 및 분석 체계로는 감당하기 어려운 정도의 막대한 양의 데이터(Petta, Zetta) - 수천 TB 에 달하는 거대한 데이터 집합뿐만 아니라 관련도구, 플랫폼, 분석기법까지 포괄 나. 빅 데이터 분석의 중요성 - 멀티미디어, SNS, RFID, 센서네트워크, 소셜데이터, 전자상거래, 천문/대기, 의료정보 관련 등 폭발적인 데이터 생산 - 급격히 늘어나는 데이터 속에서 필요한 정보를 식별 의사결정에 활용(기존 분석 체계로는 불가 II. 빅 데이터의 3가지 요소와 분석의 어려움 가. 빅데이터의 3가지 요소 구분 설명 VOLUME -대용량의 많은 데..

새로 RC 버전이 출시되었습니다 아래 링크를 참조 하시기 바랍니다 http://www.microsoft.com/sqlserver/en/us/learning-center/resources.aspx

PASS Summit 2011 – Big Data 오늘은 Big Data 주제로 David DeWitt 교수의 키노트가 있었습니다, 아래 링크를 참조하십시오. http://www.sqlpass.org/summit/2011/Live/LiveStreaming/LiveStreamingFriday.aspx Big Data Not Only SQL HaDoop, MapReduce, Hive, Pig 등 개안을 하는 기분이었습니다. 또한 앞으로의 방향이랄까..,

PASS Summit 2011 – Keynote(2) 키노트 동영상에 대한 내용은 다음을 참고하실 수 있습니다. http://www.sqlpass.org/summit/2011/Live/LiveStreaming.aspx 아래 사진처럼 12 가지에 대한 내용으로 SQL Server 2012에 대한 내용을 주로 다루었습니다. l AlwaysOn l ColumnStore Index n SSRS의 보고서의 Response Time이 45초 였는데 ColumnStore Index를 적용하니 0.31초로 성능 차이가 많이 납니다. l Appliance- Dell, HP l SQL Azure & SQL Azure Federation n 사례로 삼성 스마트 TV가 나오더군요. l 추가로 SQL Azure 에 대한 새로운..

PASS Summit 2011 PASS Summit 2011이 열리고 있습니다. 키노트는 웹을 통해 보실 수 있으니 첫째 날의 키노트는 아래를 참고해보십시오. http://www.sqlpass.org/summit/2011/Live/LiveStreaming/LiveStreamingWednesday.aspx 데모만 보셔도 아주 좋을 것 같습니다. Deep Dive 2 책의 사인회가 열리고 있습니다. (김정선 아저씨는 어디???)

커뮤니티에 약간 자주 String Concat, String Group By가 올라와서.., USE AdventureWorks GO SELECT c.Name ID, s.Name INTO #t FROM Production.ProductCategory c JOIN Production.ProductSubcategory s ON c.ProductCategoryID=s.ProductCategoryID SELECT * FROM #t Bikes Mountain Bikes Bikes Road Bikes Bikes Touring Bikes Components Handlebars Components Bottom Brackets Components Brakes Components Chains Components Cranks..

에러 핸들링(Error Handlig ) SQL Server의 Try Catch 에 대한 내용 BEGIN TRY --실행문 END TRY BEGIN CATCH SELECT @Err_Number=ISNULL(error_number(),0) ,@Err_Message=ISNULL(error_message(),'NULL Message') ,@Err_Severity=ISNULL(error_severity(),0) ,@Err_State=ISNULL(error_state(),1) ,@Err_Line=ISNULL(error_line(),'NULL Message') ,@Err_Procedure=ISNULL(error_message(),'') ,@UserName=SUSER_NAME() ,@HostName=HOST_NAME..

커뮤니티의 게시판에 Excel에서는 날짜를 정수로 변경하면 SQL Server에서 변환한 값과 2일의 차이가 난다는 내용이 올라와서 이리저리 찾아서 정리합니다. 예전 Lotus 1-2-3에서는 시작일을 1899-12-31로 잡고 있습니다. 호환성 때문에 Excel은 0 일을 1899-12-31로 계산하고 있습니다. 1900-01-01을 Excel에서 정수로 변경하면 1 이 나오는 것을 알 수 있습니다. 또한 1900-02-29이 Excel에서는 존재합니다. 하지만 날짜를 비교하거나 할 경우 SQL Server에서는 시작일을 1900-01-01 로 처리하고 있습니다. 이른바 0 일이 되는 거죠. 1900-02-29을 T-SQL에서 변환하면 에러가 발생합니다. SELECT CONVERT(DATETIME,'1..

데이터베이스에 대한 연결의 spid를 한번에 KILL 할 수 있도록 구성해주는 쿼리문 DECLARE @kill VARCHAR(MAX) SELECT @kill=COALESCE(@kill,'') + 'KILL ' + CAST(spid AS VARCHAR(10)) +'; ' FROM sys.sysprocesses WHERE DBID=DB_ID('AdventureWorks') PRINT @kill --결과 KILL 53; KILL 71; KILL 86;