Data Analysis/BIG DATA

Oracle Big Data SQL 소개

2015. 6. 11. 19:31

우선적으로 얘기 하자면 오라클 ERP 및 Application DBA 를 겸하고 있어서 이쪽분야에 관심이 있다보니

관련업무를 하다가 자주 보는거 뿐이지 오라클하고는 전혀 관계가 없습니다. 


거의 대부분 혼자서 개인적으로 경험했거나 정리용으로 글을 올리고 있는데 미처 정리 하지 못한 몇가지를 더 쓰고 블로그를 손봐야 겠네요.



■ 얘들뭐야 무서워;;


구글의 경우에는 모바일사용자의 데이터사용량을 줄이는 플러그인을 만들었는데, 해당 웹 주소를 넣으면 자동으로 압축해서 적은 데이터로 재전송해주는 편리하고 무서운(?) 

기능이 있습니다. 뭐 모바일 사용자가 아니더라도 우회할수 있다는 기능때문에 사용 목적이 주객전도가 되는것 같은 기능을 많은분들이 알려주고 계시네요;;


이경우 추측이지만 해당 웹사이트의 정보가 수집이 될거라고 생각이 듭니다.

구글의 많은 방법으로 수집하던 방식과 사용자가 직접 던져준 웹 접속 정보를 통해서 데이터를 모아서 얼마나 많은 놀랄만한 일을 할지 궁금해집니다.



■ 니네 DB 뭐 거시기 만드는데 아니냐? 


오라클의 경우는 사실 IT 를 하는사람들과도 얘기를 해보면 Database 업체로 많이 아는경우가 대부분입니다. 

하지만 HW/OS/Middleware/Application 등 IT 분야에서 안만드는게 없을정도로 많은것을 만들어 팔고 있습니다. 


SW의 경우 공식 사이트에서 다운로드를 할수 있는 제품만해도 적지않은 수가 있고,

공식사이트 : http://www.oracle.com/technetwork/indexes/downloads/index.html


Oracle Software Delivery Cloud를 이용하면 제품군별 버전별,OS별 등 분류된 소프트웨어를 사용할수 있습니다. (라이센스 주의)


빅데이터 시장이 꿈틀거리면서 분산처리 및 저장시스템 + 오라클 NoSQL + R + HW까지 결합해서 빅데이터 어플라이언스를 내놓았죠.


워낙에 소프트웨어들도 많다보니 통합시켜서 하나의 제품군으로 만들어 버리는 전략을 사용하고 있고,

이러다보니 일단 설치를 시켜놓고 라이센스는 별도로 내게끔 하는 영업 전략도 숨어 있어서 기업체들이 사용했다가 낭패를 볼수가 있습니다.


(하나의 DB 에도 유저별, 코어별 라이센스 정책도 가지 각색이고, 추가 기능별로 라이센스가 따로 있으며, 

Application을 설치 함에 따라 포함된 DB의 라이센스정책도 또다르고 어쨌든 지들도 다 모름;;;)


■ 얼마나 돈을 버는지 알려주마


2014년 기준 매출액이 MS 에 이어서 소프트웨어 부분에서 2위를 차지 하고 있는데,

참조: http://www.zdnet.co.kr/news/news_view.asp?artice_id=20140401090542


2013년에 세계적으로 296억달러 매출이니까 한국 돈으로 30조가 넘네요.(MS 는 657억달러)

올해 데이터는 아직 잘모르지만 MS 나 오라클 최근에 소프트웨어 업체들이 소프트웨어 단속을 통한 라이센스 구매를 하게끔 하는 전략이 

어느정도 매출액을 늘렸는지 궁금하네요.


비교가 될지는 모르겠지만 그래도 국내와 비교하자면 지금은 일본에 상장된 넥슨이 2014년 1700억엔(약 1조5천억) 정도매출을 보인것으로 보입니다.


어떻게 보면 라이센스가 별도로 있는 제품들의 사용비용을 받는게 당연하지만, 기업체에서는 라이센스 부분이 명확히 파악하지 못하고 사용하는경우도 있어서 

추후에 별도의 라이센스비용을 지불하는 경우도 발생 합니다.


참조 기사: 

http://www.etnews.com/20141128001445 : 움츠린 증권업계 불어닥친 오라클 라이선스 `광풍`

http://www.ciokorea.com/tags/1273/%EA%B0%90%EC%82%AC/22906 : "오라클 라이선스 관행, 고객사 불신 양산" CCL 설문조사


2014년에는 MS 라이센스 문제로 한참 시끄럽게 추가 계약을 했고, 2015년 올해는 오라클도 거대기업이 아닌 중견기업에서 사용하는 곳까지 

공문을 보내와 협상을 진행 했습니다.(운영하고 있는곳)


조금 다른얘기지만 라이센스 정책을 갑자기 바꿔서 법무대리인을 통한 소송으로 한창 시끄러울때가 있었죠. (캡쳐 프로그램과 원격프로그램)

여기서 더 나아가서 랜섬웨어를 통해서 암호화 시켜놓고 돈을 뜯어내는 뻔뻔한 녀석들도 생기고 있구요.

어찌됐던지간에 사용자들의 주의도 점점 더 많이 필요해지고 있네요.


최근 큰 기업들의 소프트웨어를 보면 특정기능을 위한 유틸리티의 형태에서 제품들을 통합하는 제품군의 형태로 공급하는 경우가 많이 보이고 있습니다.

엑셀과 오피스로, 포토샵과 Creative suite(CS),토드와 DBA suite 등등등 소프트웨어들의 기능이 확장되면서 


여전히 각자 필요한 소프트웨어만 사용할수 있지만 상술(?각각 구매할때보다 묶어서 싸게 공급)에 의해서 잘 사용하지 않는 소프트웨어들까지 

포함해서 설치 하기도 하고 그런 트렌드인것 같습니다. 

PC 게임도 확장팩, DLC, 합본, 프리미엄, 특별판, 한정판 등등 한가지의 게임에도 많은 매출전략(?)들이 있죠.


오라클의 경우에는 OS/ DB/ HW 등등 손을 안댄 부분이 없을정도지만 IT 를 하지않는 업무사용자및 일반 이용자들의 대부분이 

윈도우OS가 설치된 PC에서의 업무에 익숙해서 데이터베이스 만드는 회사 정도로만 인식 되고 있는것으로 보입니다.

다행히도 일반 사용자들이 사용하기 어렵고 불편(?)하게 만들고 있어서 유지보수나 운영인력들이 먹고 살수 있게 해준다는 점을 좋아 해야 하려나 모르겠습니다.



■ 얘들또 뭘 만든거지


뭐 암튼 오라클도 이것 저것 내놓고 있는데 그중에 들리는 얘기로는 국내 어느 업체에서 빅데이터 어플라이언스(BDA) 

도입을위한 POC(Proof of Concept) 를 진행 했다고는 하는데 정보가 부족하네요.


포스팅을 하기 위한 목적이 뭐 였는지 잠시 까먹었는데

빅데이터 관련해서 비정형 DB 와 분산처리 시스템등등  많은 빅데이터 관련 기술도 통합해서 내놓았는데,

눈길을 끄는게 있어서 글을 썼지만 정작 내용은 위에 적은 내용들 보다 더 분량이 적습니다.



■ 결국 뭐땜에 포스팅을 했냐


Oracle Big Data Appliance Software  유저가이드 부분을 보다가 Oracle Big Data SQL 관련 자료를 같이 보게 됐는데 

어떤녀석이나면 빅데이터에서 사용하는 비정형 데이터와 RDBMS 데이터 시스템을 따로 접근하지말고

묶어서 SQL 문장으로 보자는 겁니다. 


예전 포스팅에서 toad for cloud databases 에 대해서 간단히 소개하기도 했지만 어쨌든 내용을 적자면


요렇게 따로따로 노는 녀석들을




요렇게 쓰자~!!



그림출처 : Oracle Big Data SQL WHITE PAPER



PLSQL 패키지(CREATE_EXTDDL_FOR_HIVE)를 통해서 외부 테이블로 만든다거나,

RDBMS 에서 datapump로 생성후 HDFS 에 옮기는 작업을 할수 있고, Select 구문으로 데이터도 조회가 가능하도록 기술문서에 나타나있습니다.


빅데이터를 주도 하고 있는 분산처리 저장시스템과 비정형DB 를 기존의 RDBMS의 강자가 품으려는 움직임처럼 보여서 흥미롭습니다.

자바와 RDBMS와 HW 를 가지고 있는 오라클이 독자적으로 발전하고 있는 빅데이터 시장까지 어떤 영향을 미칠지는 지켜봐야 겠습니다.

하다하다 안되면 MYSQL하고 자바(sun)처럼 사버리면 되나;;


결론: 이런게 있다.




추가 : 오라클테이블이 HIVE 변환시 타입 매핑 테이블

 별다른건 아니고 데이터 카피가 이루어질때 자동으로 이렇게 된다 정도로 참고 하면 될것 같습니다.


■ Copying Oracle Tables to Hadoop



Copy to BDA automatically converts the data in an Oracle table to an appropriate Hive data type. Table 8-1 shows the default mappings between Oracle and Hive data types.

Table 8-1 Oracle to Hive Data Type Conversions


Oracle Data TypeHive Data Type

NUMBER

INT when the scale is 0 and the precision is less than 10

BIGINT when the scale is 0 and the precision is less than 19

DECIMAL when the scale is greater than 0 or the precision is greater than 19

BINARY_DOUBLE

DOUBLE

BINARY_FLOAT

FLOAT

CHAR

NCHAR

CHAR

VARCHAR2

NVARCHAR2

VARCHAR

DATE

TIMESTAMP

TIMESTAMP

TIMESTAMP

TIMESTAMPTZ

TIMESTAMPLTZ

Unsupported

RAW

BINARY


■ 라이센스 부분참고 

Copy to BDA is licensed under Oracle Big Data SQL. You must have an Oracle Big Data SQL license to use Copy to BDA.



저작자표시 비영리 동일조건

'Data Analysis > BIG DATA' 카테고리의 다른 글

Oracle Big Data Lite Virtual Machine 소개  (0) 2015.03.16

Data Analysis/BIG DATA

Oracle Big Data Lite Virtual Machine 소개

2015. 3. 16. 15:47


참고 사이트

http://www.oracle.com/technetwork/database/bigdata-appliance/downloads/index.html


다운로드 주소

http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html


Oracle Big Data Lite Virtual Machine 4.1버전기준 


공식 사이트 내용

To get started:

  • Download and install Oracle VM VirtualBox and 7-zip
  • Download each of the 7-zip files
  • Run the 7-zip extractor on the bigdataliteXx.7z.001 file only. This will create the BigDataLiteX.x.ova VirtualBox appliance file
  • In VirtualBox, import BigDataLiteXx.ova
  • Start BigDataLite-X.x
  • Log in as oracle/welcome1

See the Deployment Guide for details.


상세 설명 

  • Oracle VM Virtual Box 및 7zip  프로그램 다운로드 및 설치
  • 압축파일 각각 다운로드
  • 7-zip 이용해서 7z001 파일만 압축해제 BigDataLiteX.x.ova 파일 생성
  • VirtualBox에서  BigDataLiteXx.ova Import
  • BigDataLite-X.x 시작
  • 리눅스 로그인 oracle/welcome1

리눅스 가상시스템 구동후 문서확인

Please note: This appliance is for testing and educational purposes only; it is unsupported and not to be used in production.
이 가상머신은 테스트와 교육목적으로만 사용가능함

Introduction

Oracle Big Data Lite Virtual Machine provides an integrated environment to help you get started with the Oracle Big Data platform. Many Oracle Big Data platform components have been installed and configured - allowing you to begin using the system right away. The following components are included on Oracle Big Data Lite:

■  Big Data Lite Virtual Machine 에 기본적으로 포함 되어 있는 소프트웨어

    Oracle Enterprise Linux 6.5
    Oracle Database 12c Release 1 Enterprise Edition (12.1.0.2) - including Oracle Big Data SQL-enabled external tables, Oracle Multitenant, Oracle Advanced Analytics, Oracle OLAP, Oracle Partitioning, Oracle Spatial and Graph, and more.
    Cloudera Distribution including Apache Hadoop (CDH5.3.0)
    Cloudera Manager (5.3.0)
    Oracle Big Data Connectors 4.1
        Oracle SQL Connector for HDFS 3.1.0
        Oracle Loader for Hadoop 3.3.0
        Oracle Data Integrator 12c
        Oracle R Advanced Analytics for Hadoop 2.4.1
        Oracle XQuery for Hadoop 4.1.0
    Oracle NoSQL Database Enterprise Edition 12cR1 (3.2.5)
    Oracle JDeveloper 12c (12.1.3)
    Oracle SQL Developer and Data Modeler 4.0.3
    Oracle Data Integrator 12cR1 (12.1.3)
    Oracle GoldenGate 12c
    Oracle R Distribution 3.1.1
    Oracle Perfect Balance 2.3.0


Big Data Lite includes software products that are optional on the Oracle Big Data Appliance (BDA), including Oracle NoSQL Database Enterprise Edition and Oracle Big Data Connectors.
Additional Software

There is complementary software that you may want to use that is not included in the VM.

■ Big Data Lite Virtual Machine 에 미포함 되어 있는 소프트웨어

    Cloudera JDBC drivers enable Hive access in Oracle SQL Developer and Data Modeler. See install instructions.
    R software: Simple scripts are provided in /home/oracle/scripts that facilitate installation.
        R Studio - install using install_rstudio.sh
        Numerous R Packages that provide additional analytics and visualizations. Install using install_additional_packages.sh

■ 설치 후 확인
각 소프트웨어별 서비스 가동 확인


저작자표시 비영리 동일조건

'Data Analysis > BIG DATA' 카테고리의 다른 글

Oracle Big Data SQL 소개  (0) 2015.06.11

Developer/DataBase

R 에서 Mongo DB(nosql DB) 데이터로 plot 그리기 예제

2012. 5. 29. 17:26

1. 몽고디비에서 0~1사이의 Random 데이터 생성 (50만건)

for(i=0; i<500000; i++) {
db.test.insert({"seq" : i,"random": Math.random(), "date": new Date() }); 
}

2. R 에서 rmongodb 패키지 사용해서 plot 찍기 (10건 : limit=10L)

library(rmongodb) 
mongo <-mongo.create(host="-- HOST IP --", name="",username="", password="", db="test")
if (mongo.is.connected(mongo)) {
    buf <- mongo.bson.buffer.create() 
    query <- mongo.bson.from.buffer(buf)
    cursor <- mongo.find(mongo, "test.test", query, limit=10L)
    # Step though the matching records and display them
    while (mongo.cursor.next(cursor)) { 
     a<- mongo.bson.to.list(mongo.cursor.value(cursor))
    print(a$seq)
    print(a$random)
    plot(a$seq,a$random,xlim=c(0,10),ylim=c(0,1))
    axis(1,at=seq(0,10,1))
    axis(2,at=seq(0,1,0.1))
    par(new=T)
    }
}

결과 확인 

'Developer > DataBase' 카테고리의 다른 글

테이블스페이스 관리  (0) 2012.10.16
언젠가 한번쯤은 쓸만한 함수  (0) 2012.07.24
Toad for Cloud Database 에서 무료 호스팅 MongoDB 접속 조회(정리중)  (0) 2012.05.03
Toad for cloud database 에서 mongo DB 접속 조회  (0) 2012.05.02
리눅스에서 ORACLE NOSQL 설치(언제 다 정리 하나...)  (0) 2012.04.26

Developer/DataBase

Toad for Cloud Database 에서 무료 호스팅 MongoDB 접속 조회(정리중)

2012. 5. 3. 10:37

무료 MongoDB 호스팅 (무료 240M, 더 많은 공간을 선택 사용 할경우 유료)

https://mongolab.com/home

전 위의 사이트와는 전혀 상관없는 사람입니다.

1. 가입 및 Database 생성

Database명 :mongolab

User 명 :mongolab

- 생성후 정보 확인

Shell 접속이 가능한지 아직 미확인이지만 사용시 아래와 같은 방법으로 접속

 

 

2. Toad for Cloud Database 에서 접속

Data source name : Cloud_MongoDB  (임의로 생성)

위에서 생성한 Database 명,Port, 사용자 정보 입력

 

- 가상환경 원격 디비에서 접속시와 동일한절차(내용추가는 언제쯤이나;;;)

'Developer > DataBase' 카테고리의 다른 글

언젠가 한번쯤은 쓸만한 함수  (0) 2012.07.24
R 에서 Mongo DB(nosql DB) 데이터로 plot 그리기 예제  (0) 2012.05.29
Toad for cloud database 에서 mongo DB 접속 조회  (0) 2012.05.02
리눅스에서 ORACLE NOSQL 설치(언제 다 정리 하나...)  (0) 2012.04.26
오라클 Database 11gR2 문서 링크  (0) 2011.12.02

Developer/DataBase

리눅스에서 ORACLE NOSQL 설치(언제 다 정리 하나...)

2012. 4. 26. 14:14

참고
http://docs.oracle.com/cd/NOSQL/html/quickstart.html

linux 비트 확인
1.
 getconf LONG_BIT
2.
file /sbin/init

/**************** 자바 관련 설정 *************/
http://www.oracle.com/technetwork/java/javase/downloads/index.html
1.자바 다운로드 .rpm.bin
   -- A. NO SQL rpm.bin 실행법
   -- B. 권한 확인후
   -- C. ./파일명
  
  
2.복사후 ./파일명

3.위치 확인
4. 기존 자바 버젼 변경

/usr/sbin/alternatives --install /usr/bin/java java /usr/java/default/bin/java 2

/usr/sbin/alternatives --config java


There are 2 programs which provide 'java'.

  Selection    Command
-----------------------------------------------
*+ 1           /usr/lib/jvm/jre-1.4.2-gcj/bin/java
   2           /usr/java/default/bin/java
  
Enter to keep the current selection[+], or type selection number: 2
/**************** 자바 관련 설정 *************/

 

1. download
http://www.oracle.com/technetwork/database/nosqldb/downloads/index.html
 gunzip kv-ce-1.2.116.tar.gz
 tar xvf kv-ce-1.2.116.tar

설치후 테스트
콘솔1
java -jar lib/kvstore-1.2.116.jar kvlite

콘솔2
java -jar lib/kvstore-1.2.116.jar ping -port 5000 -host localhost.localdomain

자바 예제
javac -cp examples:lib/kvclient-1.2.116.jar examples/hello/HelloBigDataWorld.java
java -cp examples:lib/kvclient-1.2.116.jar hello.HelloBigDataWorld

결과
Hello Big Data World!

-----------------------------------------------------------------------
테스트 종료

------------------------------------------------------------------------

추가1 : Nosql host 변경작업 테스트  (config.xml 에서 host 부분 설정)

추가2 : Toad For Cloud Database 사용해서 접속시도 (삽질후 포기; 지원을 아직 안하는지 내가 엄한데 파고 있는지 파악 불가)

추가3 : mongo db  설치후 Toad For Cloud Database 툴 테스트예정  (2012.05.)

추가4: mongo db 설치후 리눅스에서 작동확인 -Toad For Cloud Database 사용해서 접속시도 (실패: 삽질후 방화벽 해제 (원인 :가상머신 재부팅후 방화벽 자동 실행됨: 망할;;;;;) ->방화벽 해제후 접속성공

-- 로컬 가상머신에서 테스트 및 http console 확인 되었을경우 방화벽 포트 확인(기본적으로 방화벽 부터 확인해놓자)

'Developer > DataBase' 카테고리의 다른 글

R 에서 Mongo DB(nosql DB) 데이터로 plot 그리기 예제  (0) 2012.05.29
Toad for Cloud Database 에서 무료 호스팅 MongoDB 접속 조회(정리중)  (0) 2012.05.03
Toad for cloud database 에서 mongo DB 접속 조회  (0) 2012.05.02
오라클 Database 11gR2 문서 링크  (0) 2011.12.02
오라클 실행계획보기  (0) 2009.04.23
Profile
bluebyte 꿈은 끊임없이 진화 한다.
admin write link

notice

category

recent posts

recent comments

tag cloud

my link

statistics

  • total :
  • today :
  • yesterday :

티스토리툴바