又是一年 1024

server/2024/10/25 6:49:53/

    今天是 1024 程序员节,现在是一名大数据讲师,我和往常一样,依旧在讲课中度过。对于很多程序员来说,这一天也许是属于代码、调试和无数行 SQL 查询的,而对于我来说,虽然工作内容不同,却也和数据、代码息息相关。

    今天的课堂上,我带学生们讨论了数据处理中的几个常见问题,比如kettle 循环 ,kettle 变量 , 比如 kettle 怎么连接  hive 处理。

还学习的hive 元数据的作用

SELECT * FROM metastore  .DBS---存数据库
SELECT * FROM metastore.TBLS    ---存数据库的表
SELECT * FROM metastore.COLUMNS_V2 cv  ---表字段
SELECT * FROM metastore.SDS s ---表字段 存在哪里 
-----------------------------------------------------------------
SELECT * FROM metastore.PARTITIONS p --分区的基本信息
SELECT * FROM metastore.PARTITION_KEYS pk --分区的字段信息
SELECT * FROM metastore.PARTITION_KEY_VALS pkv ---分区的字段的值
SELECT * FROM metastore.PARTITION_PARAMS pp ---分区的属性
-----------------------------------------------------------------

看着学生们在操作台上自行操作、解决问题我不禁想起自己当初作为程序员时的经历——那种面对成千上万行数据的挑战,偶尔的卡顿和偶尔的PUA,和经常加班。也让我想起来了曾经看过的一本书《疯狂的程序员》 ,2008 出版 也是曾经的 CSDN 明星博主,可惜了有一些事情是一辈子都不能干,大家有空还是可以看看挺有意思。比如:“DOS”就是“Disk Operating System”,磁盘操作系统。“TMD”是“战区导弹防御系统”,“NMD”是“国家导弹防御系统”。比如:什么程序优化啊,都抵不上有钱,有钱就是最好的优化。说什么“效率就是金钱”,其实“金钱就是效率”。

这本书让我想起的以前在京东的日子 ,那些没日没夜的加班也是没啥了。所以有的时候痛并快乐着。程序员已经是构建现代数字社会的基石,编写的代码、设计的系统,影响着亿万人的生活。从数据隐私到人工智能决策,从自动驾驶技术到医疗诊断系统,小到蓝牙耳机,大到火箭飞机都有程序员的心情付出。但除了技术的提升, 思想品德,道德伦理更重要。我也经常和学生们说了数据隐私的重要性。因为每天处理着大量的用户数据,这些数据可能涉及个人身份、财务信息,甚至隐私敏感信息。如何在开发应用时确保用户的隐私得到保护,是开发人员,数据工程师必须面对的伦理挑战。我们不仅要遵守法律法规,更要在设计和开发阶段主动思考如何加强安全措施,避免数据泄露。如 《网络安全法》,《数据安全法》《个人信息保护法》,建议大家都需要学习,也可以少走很多弯路 。

另外 有幸参加了 10 月 19 日上海 CSDN 举办的程序员节活动,收获满满。活动中,我学习了关于 RAG(Retrieval-Augmented Generation)以及产品经理的一些最新技术知识,这些内容不仅让我对新技术的应用有了更深入的理解,也让我看到了技术创新的广阔前景。

让我感触最深的,除了学习到的新知识,还有现场那些大一新生们的激情和努力。我们在活动中实操了一个嵌入式蓝牙耳机的项目,感觉已经更不上大学生的节奏了,真的都很厉害,他们虽然刚刚步入大学,却展现出对编程和技术强烈的好奇心,令我钦佩。在这个充满机遇与挑战的时代,看到这些年轻人奋发图强,不禁让我回想起自己刚入行时的那份激情。

在活动中,我也认识了其他的 CSDN 博主,作为一名大数据讲师,这样的机会让我不仅可以分享自己的教学经验,还能从其他技术人身上获得新的启发。

总的来说,这次活动不仅让我拓宽了视野,还加深了我对行业发展的理解,也让我更加坚信,无论是讲师还是程序员,都要不断学习和进步,紧跟技术的脚步。

最后分享一张1024程序员节图 

最后,愿每一位程序员都能在职业生涯中找到热爱与使命,创造出改变世界的作品!


http://www.ppmy.cn/server/134633.html

相关文章

AMD XILINX 20nm器件价格上调25%

随着市场回暖,台积电也在调整价格策略,近期台积电上调了20nm的出厂价格。 据相关消息显示,AMD为了保障持续的供货和服务,也计划将20nm器件的价格统一上调25%,预计将于11月发布正式的涨价通知,并于2025年Q1开…

【软件工程】软件项目管理/工程项目管理复习资料

第一章 软件项目管理概述习题 一. 填空题 实现项目目标的制约因素有( 项目范围 )、( 成本 )、( 进度计划 )、( 客户满意度 )等。 项目管理( 启动过程组 )、…

从算盘到云计算:计算机发展的壮丽历程

早期的计算器 在计算机发展史上,早期的计算器起到了重要的作用。而其中最早的计算器便是算盘。算盘是古代中国人使用的一种计算工具,它由一根木棍和一些珠子组成。通过将珠子在木棍上移动,人们可以进行简单的加减乘除运算。虽然算盘的计算速…

[蓝桥杯 2018 省 B] 乘积最大-题解

[蓝桥杯 2018 省 B] 乘积最大 题目描述 给定 N N N 个整数 A 1 , A 2 , ⋯ , A N A_1, A_2,\cdots, A_N A1​,A2​,⋯,AN​。请你从中选出 K K K 个数,使其乘积最大。 请你求出最大的乘积,由于乘积可能超出整型范围,你只需输出乘积除以…

数学建模与优化算法:从基础理论到实际应用

数学建模和优化算法,它们不仅帮助我们理解和描述复杂系统的行为,还能找到系统性能最优化的解决方案。本文将从基础的数学理论出发,逐步深入到各种优化算法,并探讨它们在实际问题中的应用。 思维导图文件可获取:https:…

Spring+SpringMVC+SpringJDBC搭建web项目实现商品查询

准备工作:创建商品数据库,以及商品表 #创建数据库 DROP DATABASE IF EXISTS goodsDB; CREATE DATABASE goodsDB; USE goodsDB; #创建商品表 goods #id number 商品编号,主键 #name Varchar2(50) 商品名称,非空 #Price Numbe…

SSRF+Redis进行内网渗透

SSRFRedis进行内网渗透 一 环境搭建 准备一台服务器,开启了lampp以及redis,redis只允许内网访问 把上面这个注释放开后,redis就只能内网访问 启动redis 使用kali进行端口扫描,扫不到6379端口 kali连接不上redis ssrf漏洞代码 &…

CentOS7 上安装GitLab的经历

一、安装必要的基础环境 1.安装依赖包 [rootgitlab-server ~]#yum install curl policycoreutils openssh-server openssh-clients postfix wget git patch -y [rootgitlab-server ~]# systemctl start postfix 2.配置yum源(由于网络问题,国内用户请使用清华大学…