yyyy40,hadoop表名规则?
yyyy40，hadoop表名规则？
为了避免底层业务变动对上层需求影响过大，屏蔽底层复杂的业务逻辑，尽可能简单、完整的在接口层呈现业务数据，建设高内聚松耦合的数据组织，使数据从业务角度可分割，显得尤为重要。从整个集团业务条线出发，形成数据仓库总体概念框架，并对整个系统所需要的功能模块进行划分，明确各模块技术细节，建设一套完整的开发规范。
分层规范
ODS(原始数据层)：也被称为贴源层，ODS层是数据仓库准备区，为DWD层提供基础原始数据。
DWD(明细数据层)：和ODS粒度一致的明细数据，对数据进行去重，脏数据过滤，空处理，保证数据质量。
DWS(服务数据层)：轻度汇总数据及建宽表(按主题)存放数据。
ADS(应用数据层)：存放应用类表数据。
ODS - DWD - DWS - ADS
ODS - DW(轻度数据汇总层、高度数据汇总层) - DM(数据集市)
表规范
命名
维表 命名形式：dim_描述
事实表 命名形式：fact_描述_[AB]
临时表 命名形式：tmp_ 正式表名_ [C自定义序号]
宽表 命名形式：dws_主题_描述_[AB]
备份表 命名形式：正式表名_bak_yyyymmdd
表命名解释：
1)表名使用英文小写字母，单词之间用下划线分开，长度不超过40个字符，命名一般控制在小于等于6级。
2)其中ABC第一位"A"时间粒度：使用"c"代表当前数据，"h"代表小时数据，"d"代表天数据，"w"代表周数据，"m"代表月数据，"q"代表季度数据， "y"代表年数据。
3)其中ABC的第二位"B"表示对象属性，用"t"表示表，用"v"表示视图。
4)其中ABC的第三位"C"自定义序号用于标识多个临时表的跑数顺序。
注释
注释要结合表的英文名，要求注释简洁明了，体现出表的业务出处、主题和用途。
存储格式
所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了方式，那么在向表中插入数据的时候，将会使用该方式向HDFS中添加相应的数据类型。在数仓中建表默认用的都是PARQUET存储格式，相关语句如下所示：
STORED AS INPUTFORMAT
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
字符集
Hadoop和hive 都是用utf-8编码的，在建表时可能涉及到中文乱码问题，所以导入的文件的字符编码统一为utf-8格式。
约定
理论上在数仓落地的表不应该出现null未知类型，对于可能出现null的字段，如果为字符型统一为空字符串，如果是数值则给0。
字段规范
命名
1)使用英文小写字母，单词之间用下划线分开，长度不超过30个字符，命名一般控制在小于等于4级；
2)和源数据ods层表字段名一致，如为新增字段，尽量言简意赅；
3)英文名尽量专业，符合业界要求，不得使用汉语拼音；
4)尽量避免使用关键字。如无法避免，使用”`”转义；
5)指标字段能使用缩写的尽量使用统一的缩写，如申请金额统计apply_amt_sum。
注释
注释本着简洁、详实、完整的原则，对于有业务含义的字段，在注释中需要枚举并解释其业务含义，如ods_loan_apidata_order_info.order_status 订单状态：1待支付，2支付不成功，3支付成功；
类型
日期时间等格式统一用string类型，字符串也是用string，数值的话，会根据字段定义来确定，对于有小数点要求的，比如某些金额、利率，需要用到decimal类型，无小数点要求的用浮点类型double和整数类型(int，bigint)。
代码规范
sql编码
1)关键字右对齐，代码注释详尽，查询字段时每行不超过三个字段，缩进时空四格等相关书写规范。
2)明细数据层依赖于ods层，应用数据层依赖于服务数据层，原则上，不允许跨层查询。
3)如果SQL语句连接多表时，应使用表的别名来引用列。
4)WHERE条件中参数与参数值使用的类型应当匹配，避免进行隐式类型转化。
5)在SELECT语句中只获取实际需要的字段。
shell脚本
调度脚本主要是通过跑shell脚本，shell脚本的注意点：
1)命名与所跑的目标表名相同，注释要完善，后缀以.sh结尾。
2)脚本头需要加上分割线、作者、日期、目的、描述等信息。
45道计算题怎么写？
oracle数据库网上经典45道练习题及答案写法(有删减）
/*CREATE TABLE STUDENT1
(SNO VARCHAR(3) NOT NULL,
SNAME VARCHAR(4) NOT NULL,
SSEX VARCHAR(2) NOT NULL,
SBIRTHDAY DATE,
CLASS NUMBER NOT NULL);
CREATE TABLE COURSE1
(CNO VARCHAR(5) NOT NULL,
CNAME VARCHAR(10) NOT NULL,
TNO VARCHAR(10) NOT NULL);
CREATE TABLE SCORE1
(SNO VARCHAR(3) NOT NULL,
CNO VARCHAR(5) NOT NULL,
DEGREE NUMBER NOT NULL);
CREATE TABLE TEACHER1
(TNO VARCHAR(3) NOT NULL,
TNAME VARCHAR(4) NOT NULL,
TSEX VARCHAR(2) NOT NULL,
TBIRTHDAY DATE NOT NULL,
PROF VARCHAR(6),
DEPART VARCHAR(10) NOT NULL);*/
/*INSERT INTO STUDENT (SNO,SNAME,SSEX,SBIRTHDAY,CLASS) VALUES (108 ,‘曾华’ ,‘男’ ,to_date(‘1977-09-01’,‘yyyy-mm-dd’),95033);
INSERT INTO STUDENT (SNO,SNAME,SSEX,SBIRTHDAY,CLASS) VALUES (105 ,‘匡明’ ,‘男’ ,to_date(‘1975-10-02’,‘yyyy-mm-dd’),95031);
INSERT INTO STUDENT (SNO,SNAME,SSEX,SBIRTHDAY,CLASS) VALUES (107 ,‘王丽’ ,‘女’ ,to_date(‘1976-01-23’,‘yyyy-mm-dd’),95033);
INSERT INTO STUDENT (SNO,SNAME,SSEX,SBIRTHDAY,CLASS) VALUES (101 ,‘李军’ ,‘男’ ,to_date(‘1976-02-20’,‘yyyy-mm-dd’),95033);
INSERT INTO STUDENT (SNO,SNAME,SSEX,SBIRTHDAY,CLASS) VALUES (109 ,‘王芳’ ,‘女’ ,to_date(‘1975-02-10’,‘yyyy-mm-dd’),95031);
INSERT INTO STUDENT (SNO,SNAME,SSEX,SBIRTHDAY,CLASS) VALUES (103 ,‘陆君’ ,‘男’ ,to_date(‘1974-06-03’,‘yyyy-mm-dd’),95031);
commit;*/
/*INSERT INTO COURSE(CNO,CNAME,TNO)VALUES (‘3-105’ ,‘计算机导论’,825);
INSERT INTO COURSE(CNO,CNAME,TNO)VALUES (‘3-245’ ,‘操作系统’ ,804);
INSERT INTO COURSE(CNO,CNAME,TNO)VALUES (‘6-166’ ,‘数据电路’ ,856);
INSERT INTO COURSE(CNO,CNAME,TNO)VALUES (‘9-888’ ,‘高等数学’ ,100);
commit;*/
/*INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (103,‘3-245’,86);
INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (105,‘3-245’,75);
INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (109,‘3-245’,68);
INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (103,‘3-105’,92);
INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (105,‘3-105’,88);
INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (109,‘3-105’,76);
INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (101,‘3-105’,64);
INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (107,‘3-105’,91);
INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (108,‘3-105’,78);
INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (101,‘6-166’,85);
INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (107,‘6-106’,79);
INSERT INTO SCORE(SNO,CNO,DEGREE)VALUES (108,‘6-166’,81);
commit;*/
/*INSERT INTO TEACHER(TNO,TNAME,TSEX,TBIRTHDAY,PROF,DEPART) VALUES (804,‘李诚’,‘男’,to_date(‘1958-12-02’,‘yyyy-mm-dd’),‘副教授’,‘计算机系’);
INSERT INTO TEACHER(TNO,TNAME,TSEX,TBIRTHDAY,PROF,DEPART) VALUES (856,‘张旭’,‘男’,to_date(‘1969-03-12’,‘yyyy-mm-dd’),‘讲师’,‘电子工程系’);
INSERT INTO TEACHER(TNO,TNAME,TSEX,TBIRTHDAY,PROF,DEPART) VALUES (825,‘王萍’,‘女’,to_date(‘1972-05-05’,‘yyyy-mm-dd’),‘助教’,‘计算机系’);
INSERT INTO TEACHER(TNO,TNAME,TSEX,TBIRTHDAY,PROF,DEPART) VALUES (831,‘刘冰’,‘女’,to_date(‘1977-08-14’,‘yyyy-mm-dd’),‘助教’,‘电子工程系’);
commit;*/
–1、查询Student表中的所有记录的Sname、Ssex和Class列。
select sname,ssex,class
from student1;
–2、查询教师所有的单位即不重复的Depart列。
select distinct depart
from teacher1;
–3、查询Student表的所有记录。
select * from student1;
–4、查询Score表中成绩在60到80之间的所有记录。
select * from score1
where degree<80 and degree>60;
–5、查询Score表中成绩为85，86或88的记录。
select * from score1
where degree=85 or degree=86 or degree=88;
–6、查询Student表中“95031”班或性别为“女”的同学记录。
select * from student1
where class=‘95031’ or ssex=‘女’;
–7、以Class降序查询Student表的所有记录。
select * from student1
order by class desc;
–8、以Cno升序、Degree降序查询Score表的所有记录。
select * from score1
order by cno asc,degree desc;
–9、查询“95031”班的学生人数。
select count(1)
from student1
where class=‘95031’;
–10、查询Score表中的最高分的学生学号和课程号。
select *
from (select sno,cno,degree
from score1
group by sno,cno,degree
order by degree desc)
where rownum<2;
–11、查询‘3-105’号课程的平均分。
select avg(degree)
from score1
where cno=‘3-105’;
–12、查询Score表中至少有5名学生选修的并以3开头的课程的平均分数。
in ----- exists
select cno,avg(degree)
from score1
where cno in (select cno
from score1
where cno like ‘3%’
group by cno
having count(cno)>=5)
group by cno;
–13、查询最低分大于70，最高分小于90的Sno列。
select sno
from score1
group by sno
having min(degree)>70 and max(degree)<90;
–14、查询所有学生的Sname、Cno和Degree列。
select sname,cno,degree
from student1,score1
where student1.sno=score1.sno
group by sname,cno,degree;
–17、查询“95033”班所选课程的平均分。
select avg(degree)
from score1,student1
where student1.sno=score1.sno and class=‘95033’;
–19、查询选修“3-105”课程的成绩高于“109”号同学成绩的所有同学的记录。
select sno,cno,degree from score1
where cno=‘3-105’ and degree>(select degree
from score1 where sno=‘109’ and cno=‘3-105’);
(有问题)–20、查询score中选学一门以上课程的同学中分数为非最高分成绩的记录。
select * from (select sno,cno,degree from score1
group by sno,cno,degree
having count(cno)>1
order by sno asc,degree asc)
where degree != (select max(degree) from(select sno,cno,degree from score1
group by sno,cno,degree
having count(cno)>1));
–21、查询成绩高于学号为“109”、课程号为“3-105”的成绩的所有记录。
select distinct * from score1
where degree>(select degree
from score1
where sno=‘109’ and cno=‘3-105’);
–22、查询和学号为108的同学同年出生的所有学生的Sno、Sname和Sbirthday列。
select sno,sname,sbirthday
from student1
where to_char(sbirthday,‘yyyy’)=(select to_char(sbirthday,‘yyyy’) from student1 where sno=‘108’)
and sno<>‘108’;
–23、查询“张旭“教师任课的学生成绩。
select degree
from teacher1,score1,course1
where teacher1.tno=course1.tno and score1.cno=course1.cno and tname=‘张旭’;
–24、查询选修某课程的同学人数多于5人的教师姓名
select tname
from teacher1
where tno=(select tno from (select tno,course1.cno from score1,course1
where score1.cno=course1.cno group by tno,course1.cno
having count(1)>5));
–25、查询95033班和95031班全体学生的记录。
select * from student1
where class in (‘95033’,‘95031’)
order by class asc;
–26、查询存在有85分以上成绩的课程Cno.
select distinct cno
from score1
where degree>85;
–27、查询出“计算机系“教师所教课程的成绩表。
select course1.tno,degree
from score1,course1,teacher1
where score1.cno=course1.cno and teacher1.tno=course1.tno
and depart=‘计算机系’
group by course1.tno,degree;
–32、查询所有“女”教师和“女”同学的name、sex和birthday.
select sname,ssex,sbirthday,tname,tsex,tbirthday
from student1,course1,score1,teacher1
where student1.sno=score1.sno and
score1.cno=course1.cno and
teacher1.tno=course1.tno and
ssex=‘女’ and tsex=‘女’
group by sname,ssex,sbirthday,tname,tsex,tbirthday;—不全
分步查询
女学生：
select sname,ssex,sbirthday
from student1
where ssex=‘女’
group by sname,ssex,sbirthday;
女教师：
select tname,tsex,tbirthday
from teacher1
where tsex=‘女’
group by tname,tsex,tbirthday;
–33、查询成绩比该课程平均成绩低的同学的成绩表。
select sno,cno,degree
from score1 b
where degree<(select avg(degree) from score1 a where a.cno=b.cno)
group by sno,cno,degree;
–34、查询所有任课教师的Tname和Depart.
select distinct tname,depart
from teacher1,course1,score1
where score1.cno=course1.cno and teacher1.tno=course1.tno;
–35、查询所有未讲课的教师的Tname和Depart.
select tname,depart from teacher1
where tname not in (select distinct tname
from teacher1,course1,score1
where score1.cno=course1.cno and teacher1.tno=course1.tno);
–36、查询至少有2名男生的班号。
select class
from student1
where ssex=‘男’
group by class
having count(ssex)>=2;
–37、查询Student表中不姓“王”的同学记录。
select * from student1
where sname not like ‘王%’;
–38、查询Student表中每个学生的姓名和年龄。
select sname,floor(months_between(sysdate,sbirthday)/12) “年龄”
from student1;
–39、查询Student表中最大和最小的Sbirthday日期值。
select max(sbirthday),min(sbirthday)
from student1;
–40、以班号和年龄从大到小的顺序查询Student表中的全部记录。
select sno,sname,ssex,sbirthday,class,floor(months_between(sysdate,sbirthday)/12) “年龄”
from student1
group by sno,sname,ssex,sbirthday,class
order by class desc,“年龄” desc;
–41、查询“男”教师及其所上的课程。
select course1.cno,tname,tsex,cname
from course1,teacher1,score1
where score1.cno=course1.cno and teacher1.tno=course1.tno and tsex=‘男’
group by course1.cno,tname,tsex,cname;
–42、查询最高分同学的Sno、Cno和Degree列。
select *
from (select sno,cno,degree from score1 group by sno,cno,degree
order by degree desc)
where rownum <2;
–43、查询和“李军”同性别的所有同学的Sname.
select sname
from student1
where ssex=(select ssex from student1 where sname=‘李军’) and sname !=‘李军’;
–44、查询和“李军”同性别并同班的同学Sname.
select sname
from student1
where ssex=(select ssex from student1 where sname=‘李军’) and
class=(select class from student1 where sname=‘李军’) and
sname !=‘李军’;
–45、查询所有选修“计算机导论”课程的“男”同学的
select student1.sno,sname,ssex,degree
from student1,score1,course1
where score1.cno=course1.cno and student1.sno=score1.sno and cname=‘计算机导论’ and
ssex=‘男’
group by student1.sno,sname,ssex,degree;
一般什么原因可以导致oracle数据库归档日志过快增长？
通过这个语句可以查看每天的日志产生量，然后就可以看到从哪一天出现日志增长大。
SELECT TO_CHAR (first_time, 'YYYY-MM-DD WW') AS "DATE" ,TO_CHAR (first_time, 'DAY') week ,ROUND (SUM ( (blocks + 1) * block_size) / 1024 / 1024, 0) AS "SIZE_MB" ,COUNT (*) AS "NUMBER_OF_SWITCHES_PER_DAY" FROM v$archived_log WHERE dest_id = 1 and first_time>=trunc(sysdate)-40GROUP BY TO_CHAR (first_time, 'YYYY-MM-DD WW'), TO_CHAR (first_time, 'DAY')ORDER BY TO_CHAR (first_time, 'YYYY-MM-DD WW') DESC;
雷军是怎样一个人？
在中国的互联网界，雷军多年以来都是响当当的一位大佬。早些年，在马云、马化腾这些人还没有什么知名度的时候，雷军已经是金山软件的总经理，在中关村闯出一片天。后来虽然雷军的名号被BAT的大佬们盖过，但它靠自己天使投资人的身份自成一极，继续保持着他在互联网领域的巨大影响力。
当然，更多人知道雷军，是因为小米手机。如果没有小米手机的存在，雷军依然会是一位中国互联网界的顶级大佬，但有了小米，雷军成为了可以跟马云、李彦宏、马化腾等站在第一排的巨头。
事实上，在当时创办小米手机之前，雷军已经功成名就，很多人是不建议他继续创业的。因为一旦失败，可能就身败名裂了。但雷军依然坚持创业，勇气真是可嘉，并且短时间内横扫中国智能手机市场，也说明了他的魄力、实力和眼光。
然而，雷军后面的如何如何成功，其实都要感谢一个人，因为这个人在雷军早期最艰难的时候拯救过他。雷军大学毕业之后进入金山软件工作，28岁即成为金山软件的总经理。但是，他上任金山总经理的时候，金山其实已经面临很大的困境了，甚至是差点儿关门了。这个时候，是联想集团给雷军的金山投资了450万美金帮助金山渡过难关，也拯救了雷军。而这450万美金和联想集团背后站着的人，就是大名鼎鼎的创业教父，柳传志。
试想，如果没有这450万美金的投资，金山当时可能就撑不过去了，雷军的职业生涯在很年轻的时候就遭遇了如此大难，恐怕后续的整个经历都会被改写。
所以，雷军一直奉柳传志为恩人。雷军在接受采访的时候就曾经说过下面这样的话：
我有幸能够和柳总一起工作，得到他的言传身教。他是对我影响最大的人。作为“中关村教父”，他已经70多岁了，还保持着奋斗的热忱，拥有了太多值得我学习的品质：严于律己、志存高远、持之以恒。他提出的“复盘”，对我影响很深，让我不断对自己、对小米的战略进行反思。
泸州飞机场航班时刻表？
昆明到泸州 06:35
07:55 昆明长水国际机场
泸州云龙机场 1234567 东方航空
MU5857 ¥450起
04-23周二
2019-04-23
查看
广州到泸州 06:50
08:50 广州白云国际机场
泸州云龙机场 1234567 中国国航
CA4352 -
yyyy-mm-dd
查看
丽江到泸州 07:15
08:35 丽江三义机场
泸州云龙机场 1234567 祥鹏航空
8L9653 -
yyyy-mm-dd
查看
南宁到泸州 07:40
09:25 南宁吴圩国际机场
泸州云龙机场 1234567 北部湾航空
GX8805 -
yyyy-mm-dd
查看
贵阳到泸州 07:45
08:35 贵阳龙洞堡国际机场
泸州云龙机场 1234567 多彩航空
GY7115 -
yyyy-mm-dd
查看
兰州到泸州 08:00
09:45 兰州中川机场
泸州云龙机场 1234567 北部湾航空
GX8932 -
yyyy-mm-dd
查看
西安到泸州 08:40
10:20 西安咸阳国际机场
泸州云龙机场 1234567 四川航空
3U8199 -
yyyy-mm-dd
查看
稻城到泸州 08:45
09:55 稻城亚丁机场
泸州云龙机场 1234567 四川航空
3U8217 -
yyyy-mm-dd
查看
珠海到泸州 10:05
12:10 珠海金湾机场
泸州云龙机场 1234567 南方航空
CZ8701 -
yyyy-mm-dd
查看
福州到泸州 10:40
14:45 福州长乐国际机场
泸州云龙机场 1234567 厦门航空
MF8629 -
yyyy-mm-dd
查看
福州到泸州 10:40
14:45 福州长乐国际机场
泸州云龙机场 1234567 河北航空
NS8629 -
yyyy-mm-dd
查看
深圳到泸州 11:05
13:00 深圳宝安国际机场
泸州云龙机场 1234567 南方航空
CZ8649 -
yyyy-mm-dd
查看
深圳到泸州 11:10
13:10 深圳宝安国际机场
泸州云龙机场 1234567 南方航空
CZ8649 -
yyyy-mm-dd
查看
武汉到泸州 11:45
14:00 武汉天河国际机场
泸州云龙机场 1234567 东方航空
MU5886 -
yyyy-mm-dd
查看
杭州到泸州 11:55
14:45 杭州萧山国际机场
泸州云龙机场 1234567 东方航空
MU5884 -
yyyy-mm-dd
查看
深圳到泸州 12:00
14:05 深圳宝安国际机场
泸州云龙机场 1234567 南方航空
CZ8649 -
yyyy-mm-dd
查看
揭阳到泸州 12:05
14:05 揭阳潮汕机场
泸州云龙机场 1234567 东方航空
MU5796 -
yyyy-mm-dd
查看
北京到泸州 12:15
15:45 北京首都国际机场
泸州云龙机场 1234567 东方航空
MU9710 -
yyyy-mm-dd
查看
南京到泸州 12:40
15:20 南京禄口国际机场
泸州云龙机场 1234567 祥鹏航空
8L9654 -
yyyy-mm-dd
查看
石家庄到泸州 12:45
15:25 石家庄正定国际机场
泸州云龙机场
