2016 - 2024

感恩一路有你

kettle如何创建通用的数据库连接 大数据工程师需要会什么?

浏览量:2242 时间:2023-06-19 14:42:08 作者:采采

大数据工程师需要会什么?

Java基础

HTML、CSS与Java

LinuxHadoopt体系

Spark生态体系

Storm生态体系

实战:数据获取、数据处理、数据分析、数据应用

等等...

spoon输出表找不到数据库?

答:spoon输出表一直找不到数据库的解决方法步骤不胜感激。驱动文件安装好失败。最后确认如何确定安装好了驱程文件。上网下载对度应数据库的驱动jar包放进kettle下的lib目录下,oracle数据库再连接的时候,必须在表也可以数据库的前面算上前缀词。

kettle如何把文件保存到服务器?

先把系统接受下升级,接着再把服务器的数据通过下,梳理升级,到最后找到ktr文件,然后再就也可以通过需要保存了,之后确认就可以了。

再说文件路径、数据库直接连接参数变化的问题,肯定用环境变量来解决的办法,最简单的方法,把这些可能会会变化的参数写在文件中,然后再在转换和作业中不使用${参数名}语句,那样在服务器上移动数据库和文件路径的时候,只必须改文件去掉,不要直接修改装换本身。

现在哪些采集工具,可以采集我做科研的临床数据吗?就是医院里面的软件数据?

你好现在的喂养灵兽工具很多,看你们科研数据是结构化数据我还是非结构化数据。结构化是关系型数据库中的数据,如:mysql,Oracle,Sql server等数据库中的数据。非结构化诸如你们医疗系统每天晚上启动的日志,每件精密仪器运行产生的数据。

两类数据差异很小,采药的工具也完全不同。结构化数据看你采药储存到哪里。要不然没有都用到大数据技术,只有用kettle工具采药了。这个工具功能比较大。再采集导入到各种存储的系统中,也可以不库对库,库对文件等。

非结构化的数据,这类数据不能用FTP工具来半自动哪采了。就算会脚本开发语言,写哪采脚本也能实现。

当然,采集数据工具很多,就看是那一类数据了。与此同时计算机技术快速发展,现在的采集工具挺好用,给楼主帮我推荐几种:DataX,Sqoop,flume,kafka等。这些技术都能实现方法三千多种数据彼此间导入导出。只希望对你有用吗,谢谢了!

想做数据库管理员需要学什么?

你说的数据库是更适合于BI商业数据分析那就DBA数据库管理员。

如果没有是BI,说一些我很清楚的:

BI数据分析先要把数据灌注进自己的系统。这过程牵涉到一些etl工具,公司在用的是kettle;

对SQL语句语言特别要求挺高的,他们都会写一些非人类的sql,sql简直就是一门编程语言;

报表制作,我们公司也是不使用一些现成的报表系统,开源的诸如clickhouse、metabase等;

一些商业软件会把BI的工作集成主板到了一个系统中,.例如SAPBO系统。BI就说这么说多吧,非专业人士。

如果没有是做DBA,反而数据库要学,操作系统层面的知识也要学:

sql是基础,增删改查,一些比较普遍的数据设计规范、权限管理等等;

要所了解关系型数据库的各种存储结构,例如什么是B-Tree,各种索引结构;

数据库安装配置优化都要懂吧,怎么分析什么问题、怎末接受系统的优化啊;

Linux要很熟悉,比如要分析什么一些网络问题,IO问题;

DBA也又不是我的专业,只不过相对于比BI懂的多点。

后来跪求python。个人感觉上,DBA估计不怎么用python。

在商业数据分析方面,python肯定有不少用武之地。如果没有要学它在数据分析方面的运用,python中几个数据分析库这个可以清楚下,它们分别是应用于数据运算与分析的numpy和pandas、作用于可视化作图的matplotlib。

数据 数据库 工具 文件 系统

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。