這是小編兩年前在 HadoopCon 2014 分享的一場 talk,感謝 王耀聰 提供機會讓小編試試身手 XD
下面是當時提供的大綱:
1. HBase brief introduction:簡單介紹 HBase 的運作原理
2. Rowkey(Schema) design:Rowkey 的設計與 AP 的效能息息相關,如何設計 Rowkey 是 HBase 非常重要的一個課題
3. Best practice in Java:如何在操作 HBase 時,可以少碰一些雷
4. API Blueprint:分享如何將 HBase 設計出來的 Dataflow,整理成文件
5. HBase Dataflow:可以利用這套工具,將設計出來的 Dataflow 傳承下去,利於保存
---
其實現在小編仍然是用類似的方式來設計 rowkey 及 schema,重點就是能一次 scan 就不要多次 get,畢竟 RPC 次數太多可是很恐怖啊!
另外就是,要讀取的時候速度快,那在寫入時就多寫幾個 table 吧,時間與空間互相轉換是不變的真理。
HBase Dataflow:https://kewang.github.io/hbase-dataflow
投影片:http://www.slideshare.net/kewang/how-to-build-a-scalable-sns-using-hbase
PS. 小編公司現在持續招募中喔,看了這篇有興趣的可以隨時跟小編聯絡。
#hbase #hadoop #rowkeydesign #hadoopcon
同時也有10000部Youtube影片,追蹤數超過62萬的網紅Bryan Wee,也在其Youtube影片中提到,...
table schema工具 在 [SQL ] 將資料庫所有Table(含Schema)名稱匯出- 看板Database 的八卦
因為小弟我最近有這需求
整理了SQL Server和DB2版本
網路上找到的大多是沒帶Schema
另外寫了一隻C#小工具,可以把匯出清單轉成自己要的SQL語法
https://bitbucket.org/rexhuang/c-_sqlstringconcatenate
執行檔在 / SQLStringConcatenate / bin / Release /
提供參考
謝謝
SQL指令文字檔 https://goo.gl/rJN3Kj
<1>SQL Server查詢方式(透過SSMS)
SELECT TABLE_SCHEMA + '.' + TABLE_NAME as '結果'
FROM INFORMATION_SCHEMA.TABLES
WHERE TABLE_TYPE = 'BASE TABLE'
AND TABLE_SCHEMA = 'dbo';
備註:
在SSMS執行,再複製結果貼上文字檔另存成INPUT.txt
<2>SQL Server查詢方式(透過SSMS的SQLCMD Mode)
:!!sqlcmd -d AdventureWorks2014 -h-1 -Q "set nocount on;SELECT TABLE_SCHEMA
+ '.' + TABLE_NAME FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_TYPE = 'BASE
TABLE' AND TABLE_SCHEMA = 'dbo'" -o "D:\INPUT.txt"
備註:
執行指令前請先選取SSMS的工具列『查詢(Q)』-->『SQLCMD模式(M)』
<3>SQL Server查詢方式(透過命令提示字元使用sqlcmd指令)
sqlcmd -S 127.0.0.1 -d AdventureWorks2014 -h-1 -Q "set nocount on;SELECT
TABLE_SCHEMA + '.' + TABLE_NAME FROM INFORMATION_SCHEMA.TABLES WHERE
TABLE_TYPE = 'BASE TABLE' AND TABLE_SCHEMA = 'dbo'" -o "D:\INPUT.txt"
備註:
-S 127.0.0.1 資料庫位址如有不同請自行修改
-d AdventureWorks2014 請改成要查的資料庫名稱
<4>DB2查詢方式
export to INPUT.txt of del modified by nochardel select
CONCAT(CONCAT(rtrim(TABSCHEMA),'.'),rtrim(TABNAME)) from syscat.tables where
type = 'T' AND TABSCHEMA = 'SYSIBM'
備註:
SYSIBM請改成自己要查的Schema
<4>其他資料庫
請參考以下網址
How to List All Tables and Describe Tables in Oracle, MySQL, DB2 and
PostgreSQL
https://onewebsql.com/blog/list-all-tables
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.214.115.19
※ 文章網址: https://www.ptt.cc/bbs/Database/M.1460877795.A.598.html
... <看更多>