yyyy40,hadoop表名规则?

2023-06-28 15:12:03 41阅读

yyyy40,hadoop表名规则?

为了避免底层业务变动对上层需求影响过大,屏蔽底层复杂的业务逻辑,尽可能简单、完整的在接口层呈现业务数据,建设高内聚松耦合的数据组织,使数据从业务角度可分割,显得尤为重要。从整个集团业务条线出发,形成数据仓库总体概念框架,并对整个系统所需要的功能模块进行划分,明确各模块技术细节,建设一套完整的开发规范。

分层规范

yyyy40,hadoop表名规则?

ODS(原始数据层):也被称为贴源层,ODS层是数据仓库准备区,为DWD层提供基础原始数据。

DWD(明细数据层):和ODS粒度一致的明细数据,对数据进行去重,脏数据过滤,空处理,保证数据质量。

DWS(服务数据层):轻度汇总数据及建宽表(按主题)存放数据。

ADS(应用数据层):存放应用类表数据。

ODS - DWD - DWS - ADS

ODS - DW(轻度数据汇总层、高度数据汇总层) - DM(数据集市)

表规范

命名

维表 命名形式:dim_描述

事实表 命名形式:fact_描述_[AB]

临时表 命名形式:tmp_ 正式表名_ [C自定义序号]

宽表 命名形式:dws_主题_描述_[AB]

备份表 命名形式:正式表名_bak_yyyymmdd

表命名解释:

1)表名使用英文小写字母,单词之间用下划线分开,长度不超过40个字符,命名一般控制在小于等于6级。

2)其中ABC第一位"A"时间粒度:使用"c"代表当前数据,"h"代表小时数据,"d"代表天数据,"w"代表周数据,"m"代表月数据,"q"代表季度数据, "y"代表年数据。

3)其中ABC的第二位"B"表示对象属性,用"t"表示表,用"v"表示视图。

4)其中ABC的第三位"C"自定义序号用于标识多个临时表的跑数顺序。

注释

注释要结合表的英文名,要求注释简洁明了,体现出表的业务出处、主题和用途。

存储格式

所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式,如果指定了方式,那么在向表中插入数据的时候,将会使用该方式向HDFS中添加相应的数据类型。在数仓中建表默认用的都是PARQUET存储格式,相关语句如下所示:

STORED AS INPUTFORMAT

'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'

OUTPUTFORMAT

'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'

字符集

Hadoop和hive 都是用utf-8编码的,在建表时可能涉及到中文乱码问题,所以导入的文件的字符编码统一为utf-8格式。

约定

理论上在数仓落地的表不应该出现null未知类型,对于可能出现null的字段,如果为字符型统一为空字符串,如果是数值则给0。

字段规范

命名

1)使用英文小写字母,单词之间用下划线分开,长度不超过30个字符,命名一般控制在小于等于4级;

2)和源数据ods层表字段名一致,如为新增字段,尽量言简意赅;

3)英文名尽量专业,符合业界要求,不得使用汉语拼音;

4)尽量避免使用关键字。如无法避免,使用”`”转义;

5)指标字段能使用缩写的尽量使用统一的缩写,如申请金额统计apply_amt_sum。

注释

注释本着简洁、详实、完整的原则,对于有业务含义的字段,在注释中需要枚举并解释其业务含义,如ods_loan_apidata_order_info.order_status 订单状态:1待支付,2支付不成功,3支付成功;

类型

日期时间等格式统一用string类型,字符串也是用string,数值的话,会根据字段定义来确定,对于有小数点要求的,比如某些金额、利率,需要用到decimal类型,无小数点要求的用浮点类型double和整数类型(int,bigint)。

代码规范

sql编码

1)关键字右对齐,代码注释详尽,查询字段时每行不超过三个字段,缩进时空四格等相关书写规范。

2)明细数据层依赖于ods层,应用数据层依赖于服务数据层,原则上,不允许跨层查询。

3)如果SQL语句连接多表时,应使用表的别名来引用列。

4)WHERE条件中参数与参数值使用的类型应当匹配,避免进行隐式类型转化。

5)在SELECT语句中只获取实际需要的字段。

shell脚本

调度脚本主要是通过跑shell脚本,shell脚本的注意点:

1)命名与所跑的目标表名相同,注释要完善,后缀以.sh结尾。

2)脚本头需要加上分割线、作者、日期、目的、描述等信息。

45道计算题怎么写?

oracle数据库网上经典45道练习题及答案写法(有删减)

/*CREATE TABLE STUDENT1

(SNO VARCHAR(3) NOT NULL,

SNAME VARCHAR(4) NOT NULL,

SSEX VARCHAR(2) NOT NULL,

SBIRTHDAY DATE,

CLASS NUMBER NOT NULL);

CREATE TABLE COURSE1

(CNO VARCHAR(5) NOT NULL,

CNAME VARCHAR(10) NOT NULL,

TNO VARCHAR(10) NOT NULL);

CREATE TABLE SCORE1

(SNO VARCHAR(3) NOT NULL,

CNO VARCHAR(5) NOT NULL,

DEGREE NUMBER NOT NULL);

CREATE TABLE TEACHER1

(TNO VARCHAR(3) NOT NULL,

TNAME VARCHAR(4) NOT NULL,

TSEX VARCHAR(2) NOT NULL,

TBIRTHDAY DATE NOT NULL,

PROF VARCHAR(6),

DEPART VARCHAR(10) NOT NULL);*/

/*INSERT INTO STUDENT (SNO,SNAME,SSEX,SBIRTHDAY,CLASS) VALUES (108 ,‘曾华’ ,‘男’ ,to_date(‘1977-09-01’,‘yyyy-mm-dd’),95033);

INSERT INTO STUDENT (SNO,SNAME,SSEX,SBIRTHDAY,CLASS) VALUES (105 ,‘匡明’ ,‘男’ ,to_date(‘1975-10-02’,‘yyyy-mm-dd’),95031);

INSERT INTO STUDENT (SNO,SNAME,SSEX,SBIRTHDAY,CLASS) VALUES (107 ,‘王丽’ ,‘女’ ,to_date(‘1976-01-23’,‘yyyy-mm-dd’),95033);

INSERT INTO STUDENT (SNO,SNAME,SSEX,SBIRTHDAY,CLASS) VALUES (101 ,‘李军’ ,‘男’ ,to_date(‘1976-02-20’,‘yyyy-mm-dd’),95033);

INSERT INTO STUDENT (SNO,SNAME,SSEX,SBIRTHDAY,CLASS) VALUES (109 ,‘王芳’ ,‘女’ ,to_date(‘1975-02-10’,‘yyyy-mm-dd’),95031);

INSERT INTO STUDENT (SNO,SNAME,SSEX,SBIRTHDAY,CLASS) VALUES (103 ,‘陆君’ ,‘男’ ,to_date(‘1974-06-03’,‘yyyy-mm-dd’),95031);

commit;*/

/*INSERT INTO COURSE(CNO,CNAME,TNO)VALUES (‘3-105’ ,‘计算机导论’,825);

INSERT INTO COURSE(CNO,CNAME,TNO)VALUES (‘3-245’ ,‘操作系统’ ,804);

INSERT INTO COURSE(CNO,CNAME,TNO)VALUES (‘6-166’ ,‘数据电路’ ,856);

INSERT INTO COURSE(CNO,CNAME,TNO)VALUES (‘9-888’ ,‘高等数学’ ,100);

commit;*/

/*INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (103,‘3-245’,86);

INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (105,‘3-245’,75);

INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (109,‘3-245’,68);

INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (103,‘3-105’,92);

INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (105,‘3-105’,88);

INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (109,‘3-105’,76);

INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (101,‘3-105’,64);

INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (107,‘3-105’,91);

INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (108,‘3-105’,78);

INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (101,‘6-166’,85);

INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (107,‘6-106’,79);

INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (108,‘6-166’,81);

commit;*/

/*INSERT INTO TEACHER(TNO,TNAME,TSEX,TBIRTHDAY,PROF,DEPART) VALUES (804,‘李诚’,‘男’,to_date(‘1958-12-02’,‘yyyy-mm-dd’),‘副教授’,‘计算机系’);

INSERT INTO TEACHER(TNO,TNAME,TSEX,TBIRTHDAY,PROF,DEPART) VALUES (856,‘张旭’,‘男’,to_date(‘1969-03-12’,‘yyyy-mm-dd’),‘讲师’,‘电子工程系’);

INSERT INTO TEACHER(TNO,TNAME,TSEX,TBIRTHDAY,PROF,DEPART) VALUES (825,‘王萍’,‘女’,to_date(‘1972-05-05’,‘yyyy-mm-dd’),‘助教’,‘计算机系’);

INSERT INTO TEACHER(TNO,TNAME,TSEX,TBIRTHDAY,PROF,DEPART) VALUES (831,‘刘冰’,‘女’,to_date(‘1977-08-14’,‘yyyy-mm-dd’),‘助教’,‘电子工程系’);

commit;*/

–1、查询Student表中的所有记录的Sname、Ssex和Class列。

select sname,ssex,class

from student1;

–2、查询教师所有的单位即不重复的Depart列。

select distinct depart

from teacher1;

–3、查询Student表的所有记录。

select * from student1;

–4、查询Score表中成绩在60到80之间的所有记录。

select * from score1

where degree<80 and degree>60;

–5、查询Score表中成绩为85,86或88的记录。

select * from score1

where degree=85 or degree=86 or degree=88;

–6、查询Student表中“95031”班或性别为“女”的同学记录。

select * from student1

where class=‘95031’ or ssex=‘女’;

–7、以Class降序查询Student表的所有记录。

select * from student1

order by class desc;

–8、以Cno升序、Degree降序查询Score表的所有记录。

select * from score1

order by cno asc,degree desc;

–9、查询“95031”班的学生人数。

select count(1)

from student1

where class=‘95031’;

–10、查询Score表中的最高分的学生学号和课程号。

select *

from (select sno,cno,degree

from score1

group by sno,cno,degree

order by degree desc)

where rownum<2;

–11、查询‘3-105’号课程的平均分。

select avg(degree)

from score1

where cno=‘3-105’;

–12、查询Score表中至少有5名学生选修的并以3开头的课程的平均分数。

in ----- exists

select cno,avg(degree)

from score1

where cno in (select cno

from score1

where cno like ‘3%’

group by cno

having count(cno)>=5)

group by cno;

–13、查询最低分大于70,最高分小于90的Sno列。

select sno

from score1

group by sno

having min(degree)>70 and max(degree)<90;

–14、查询所有学生的Sname、Cno和Degree列。

select sname,cno,degree

from student1,score1

where student1.sno=score1.sno

group by sname,cno,degree;

–17、查询“95033”班所选课程的平均分。

select avg(degree)

from score1,student1

where student1.sno=score1.sno and class=‘95033’;

–19、查询选修“3-105”课程的成绩高于“109”号同学成绩的所有同学的记录。

select sno,cno,degree from score1

where cno=‘3-105’ and degree>(select degree

from score1 where sno=‘109’ and cno=‘3-105’);

(有问题)–20、查询score中选学一门以上课程的同学中分数为非最高分成绩的记录。

select * from (select sno,cno,degree from score1

group by sno,cno,degree

having count(cno)>1

order by sno asc,degree asc)

where degree != (select max(degree) from(select sno,cno,degree from score1

group by sno,cno,degree

having count(cno)>1));

–21、查询成绩高于学号为“109”、课程号为“3-105”的成绩的所有记录。

select distinct * from score1

where degree>(select degree

from score1

where sno=‘109’ and cno=‘3-105’);

–22、查询和学号为108的同学同年出生的所有学生的Sno、Sname和Sbirthday列。

select sno,sname,sbirthday

from student1

where to_char(sbirthday,‘yyyy’)=(select to_char(sbirthday,‘yyyy’) from student1 where sno=‘108’)

and sno<>‘108’;

–23、查询“张旭“教师任课的学生成绩。

select degree

from teacher1,score1,course1

where teacher1.tno=course1.tno and score1.cno=course1.cno and tname=‘张旭’;

–24、查询选修某课程的同学人数多于5人的教师姓名

select tname

from teacher1

where tno=(select tno from (select tno,course1.cno from score1,course1

where score1.cno=course1.cno group by tno,course1.cno

having count(1)>5));

–25、查询95033班和95031班全体学生的记录。

select * from student1

where class in (‘95033’,‘95031’)

order by class asc;

–26、查询存在有85分以上成绩的课程Cno.

select distinct cno

from score1

where degree>85;

–27、查询出“计算机系“教师所教课程的成绩表。

select course1.tno,degree

from score1,course1,teacher1

where score1.cno=course1.cno and teacher1.tno=course1.tno

and depart=‘计算机系’

group by course1.tno,degree;

–32、查询所有“女”教师和“女”同学的name、sex和birthday.

select sname,ssex,sbirthday,tname,tsex,tbirthday

from student1,course1,score1,teacher1

where student1.sno=score1.sno and

score1.cno=course1.cno and

teacher1.tno=course1.tno and

ssex=‘女’ and tsex=‘女’

group by sname,ssex,sbirthday,tname,tsex,tbirthday;—不全

分步查询

女学生:

select sname,ssex,sbirthday

from student1

where ssex=‘女’

group by sname,ssex,sbirthday;

女教师:

select tname,tsex,tbirthday

from teacher1

where tsex=‘女’

group by tname,tsex,tbirthday;

–33、查询成绩比该课程平均成绩低的同学的成绩表。

select sno,cno,degree

from score1 b

where degree<(select avg(degree) from score1 a where a.cno=b.cno)

group by sno,cno,degree;

–34、查询所有任课教师的Tname和Depart.

select distinct tname,depart

from teacher1,course1,score1

where score1.cno=course1.cno and teacher1.tno=course1.tno;

–35、查询所有未讲课的教师的Tname和Depart.

select tname,depart from teacher1

where tname not in (select distinct tname

from teacher1,course1,score1

where score1.cno=course1.cno and teacher1.tno=course1.tno);

–36、查询至少有2名男生的班号。

select class

from student1

where ssex=‘男’

group by class

having count(ssex)>=2;

–37、查询Student表中不姓“王”的同学记录。

select * from student1

where sname not like ‘王%’;

–38、查询Student表中每个学生的姓名和年龄。

select sname,floor(months_between(sysdate,sbirthday)/12) “年龄”

from student1;

–39、查询Student表中最大和最小的Sbirthday日期值。

select max(sbirthday),min(sbirthday)

from student1;

–40、以班号和年龄从大到小的顺序查询Student表中的全部记录。

select sno,sname,ssex,sbirthday,class,floor(months_between(sysdate,sbirthday)/12) “年龄”

from student1

group by sno,sname,ssex,sbirthday,class

order by class desc,“年龄” desc;

–41、查询“男”教师及其所上的课程。

select course1.cno,tname,tsex,cname

from course1,teacher1,score1

where score1.cno=course1.cno and teacher1.tno=course1.tno and tsex=‘男’

group by course1.cno,tname,tsex,cname;

–42、查询最高分同学的Sno、Cno和Degree列。

select *

from (select sno,cno,degree from score1 group by sno,cno,degree

order by degree desc)

where rownum <2;

–43、查询和“李军”同性别的所有同学的Sname.

select sname

from student1

where ssex=(select ssex from student1 where sname=‘李军’) and sname !=‘李军’;

–44、查询和“李军”同性别并同班的同学Sname.

select sname

from student1

where ssex=(select ssex from student1 where sname=‘李军’) and

class=(select class from student1 where sname=‘李军’) and

sname !=‘李军’;

–45、查询所有选修“计算机导论”课程的“男”同学的

select student1.sno,sname,ssex,degree

from student1,score1,course1

where score1.cno=course1.cno and student1.sno=score1.sno and cname=‘计算机导论’ and

ssex=‘男’

group by student1.sno,sname,ssex,degree;

一般什么原因可以导致oracle数据库归档日志过快增长?

通过这个语句可以查看每天的日志产生量,然后就可以看到从哪一天出现日志增长大。

SELECT TO_CHAR (first_time, 'YYYY-MM-DD WW') AS "DATE" ,TO_CHAR (first_time, 'DAY') week ,ROUND (SUM ( (blocks + 1) * block_size) / 1024 / 1024, 0) AS "SIZE_MB" ,COUNT (*) AS "NUMBER_OF_SWITCHES_PER_DAY" FROM v$archived_log WHERE dest_id = 1 and first_time>=trunc(sysdate)-40GROUP BY TO_CHAR (first_time, 'YYYY-MM-DD WW'), TO_CHAR (first_time, 'DAY')ORDER BY TO_CHAR (first_time, 'YYYY-MM-DD WW') DESC;

雷军是怎样一个人?

在中国的互联网界,雷军多年以来都是响当当的一位大佬。早些年,在马云、马化腾这些人还没有什么知名度的时候,雷军已经是金山软件的总经理,在中关村闯出一片天。后来虽然雷军的名号被BAT的大佬们盖过,但它靠自己天使投资人的身份自成一极,继续保持着他在互联网领域的巨大影响力。

当然,更多人知道雷军,是因为小米手机。如果没有小米手机的存在,雷军依然会是一位中国互联网界的顶级大佬,但有了小米,雷军成为了可以跟马云、李彦宏、马化腾等站在第一排的巨头。

事实上,在当时创办小米手机之前,雷军已经功成名就,很多人是不建议他继续创业的。因为一旦失败,可能就身败名裂了。但雷军依然坚持创业,勇气真是可嘉,并且短时间内横扫中国智能手机市场,也说明了他的魄力、实力和眼光。

然而,雷军后面的如何如何成功,其实都要感谢一个人,因为这个人在雷军早期最艰难的时候拯救过他。雷军大学毕业之后进入金山软件工作,28岁即成为金山软件的总经理。但是,他上任金山总经理的时候,金山其实已经面临很大的困境了,甚至是差点儿关门了。这个时候,是联想集团给雷军的金山投资了450万美金帮助金山渡过难关,也拯救了雷军。而这450万美金和联想集团背后站着的人,就是大名鼎鼎的创业教父,柳传志。

试想,如果没有这450万美金的投资,金山当时可能就撑不过去了,雷军的职业生涯在很年轻的时候就遭遇了如此大难,恐怕后续的整个经历都会被改写。

所以,雷军一直奉柳传志为恩人。雷军在接受采访的时候就曾经说过下面这样的话:

我有幸能够和柳总一起工作,得到他的言传身教。他是对我影响最大的人。作为“中关村教父”,他已经70多岁了,还保持着奋斗的热忱,拥有了太多值得我学习的品质:严于律己、志存高远、持之以恒。他提出的“复盘”,对我影响很深,让我不断对自己、对小米的战略进行反思。

泸州飞机场航班时刻表?

昆明到泸州 06:35

07:55 昆明长水国际机场

泸州云龙机场 1234567 东方航空

MU5857 ¥450起

04-23周二

2019-04-23

查看

广州到泸州 06:50

08:50 广州白云国际机场

泸州云龙机场 1234567 中国国航

CA4352 -

yyyy-mm-dd

查看

丽江到泸州 07:15

08:35 丽江三义机场

泸州云龙机场 1234567 祥鹏航空

8L9653 -

yyyy-mm-dd

查看

南宁到泸州 07:40

09:25 南宁吴圩国际机场

泸州云龙机场 1234567 北部湾航空

GX8805 -

yyyy-mm-dd

查看

贵阳到泸州 07:45

08:35 贵阳龙洞堡国际机场

泸州云龙机场 1234567 多彩航空

GY7115 -

yyyy-mm-dd

查看

兰州到泸州 08:00

09:45 兰州中川机场

泸州云龙机场 1234567 北部湾航空

GX8932 -

yyyy-mm-dd

查看

西安到泸州 08:40

10:20 西安咸阳国际机场

泸州云龙机场 1234567 四川航空

3U8199 -

yyyy-mm-dd

查看

稻城到泸州 08:45

09:55 稻城亚丁机场

泸州云龙机场 1234567 四川航空

3U8217 -

yyyy-mm-dd

查看

珠海到泸州 10:05

12:10 珠海金湾机场

泸州云龙机场 1234567 南方航空

CZ8701 -

yyyy-mm-dd

查看

福州到泸州 10:40

14:45 福州长乐国际机场

泸州云龙机场 1234567 厦门航空

MF8629 -

yyyy-mm-dd

查看

福州到泸州 10:40

14:45 福州长乐国际机场

泸州云龙机场 1234567 河北航空

NS8629 -

yyyy-mm-dd

查看

深圳到泸州 11:05

13:00 深圳宝安国际机场

泸州云龙机场 1234567 南方航空

CZ8649 -

yyyy-mm-dd

查看

深圳到泸州 11:10

13:10 深圳宝安国际机场

泸州云龙机场 1234567 南方航空

CZ8649 -

yyyy-mm-dd

查看

武汉到泸州 11:45

14:00 武汉天河国际机场

泸州云龙机场 1234567 东方航空

MU5886 -

yyyy-mm-dd

查看

杭州到泸州 11:55

14:45 杭州萧山国际机场

泸州云龙机场 1234567 东方航空

MU5884 -

yyyy-mm-dd

查看

深圳到泸州 12:00

14:05 深圳宝安国际机场

泸州云龙机场 1234567 南方航空

CZ8649 -

yyyy-mm-dd

查看

揭阳到泸州 12:05

14:05 揭阳潮汕机场

泸州云龙机场 1234567 东方航空

MU5796 -

yyyy-mm-dd

查看

北京到泸州 12:15

15:45 北京首都国际机场

泸州云龙机场 1234567 东方航空

MU9710 -

yyyy-mm-dd

查看

南京到泸州 12:40

15:20 南京禄口国际机场

泸州云龙机场 1234567 祥鹏航空

8L9654 -

yyyy-mm-dd

查看

石家庄到泸州 12:45

15:25 石家庄正定国际机场

泸州云龙机场

由于无法甄别是否为投稿用户创作以及文章的准确性,本站尊重并保护知识产权,根据《信息网络传播权保护条例》,如我们转载的作品侵犯了您的权利,请您通知我们,请将本侵权页面网址发送邮件到qingge@88.com,我们会做删除处理。