通过 SQL 训练机器学习模型的引擎

bigegpt 2025-05-16 11:52 4 浏览

关注薪资待遇的同学应该知道，机器学习相关的岗位工资普遍偏高啊。

同时随着各种通用机器学习框架的出现，机器学习的门槛也在逐渐降低，训练一个简单的机器学习模型变得不那么难。但是不得不承认对于一些数据相关的工作人员来说，依然存在着较大的门槛，对于他们来说 SQL 可能是他们的通用技能。

所以今天要推荐的工具就是：SQLFlow，一个可以通过 SQL 语法来训练机器学习模型的引擎，它的目标是连接 SQL 引擎与 TensorFlow、XGBoost 等机器学习框架，作为你升职加薪的桥梁（这句是小编加的）。

SQLFlow 的开发动机比较单纯，就是让普遍被大家接受的 SQL 语法也能训练机器学习应用。在现在的很多的公司，对于开发一个以机器学习为基础的应用，整个团队需要包括数据工程师、数据分析师、商业分析师等等，同时还需要懂高级编程语言，比如 Python、Julia、R 等。这些额外需要的工具和开发环境增加了机器学习模型训练的难度。所以如果我们能够使用大家广为接受和使用的 SQL 来训练机器学习系统，那么可以想象，机器学习将会得到更为广泛的普及。

目前在工业界已经有不少尝试来降低降低机器学习的门槛，比如：

微软的 SQL Server 可以通过 R 或 Python 作为扩展脚本来训练机器学习应用
Teradata SQL 机器学习系统，通过扩展 SQL SELECT 的语法来实现机器学习支持
谷歌 BigQuery 可以通过 CREATE MODEL SQL 命令来创建机器学习模型

但是整体来看还是不够简单通用。我们来看看通过 SQLFlow 如何训练一个机器学习模型。

sqlflow> SELECT *
FROM iris.train
TO TRAIN DNNClassifier
WITH model.n_classes = 3, model.hidden_units = [10, 20]
COLUMN sepal_length, sepal_width, petal_length, petal_width
LABEL class
INTO sqlflow_models.my_dnn_model;

...
Training set accuracy: 0.96721
Done training


sqlflow> SELECT *
FROM iris.test
TO PREDICT iris.predict.class
USING sqlflow_models.my_dnn_model;

...
Done predicting. Predict table : iris.predict

项目地址：
https://github.com/sql-machine-learning/sqlflow

是不是很简洁？更多使用方法查看如下项目地址。

sqlflow

上一篇：鼠须管输入法rime for Mac
下一篇：新一代开源爬虫平台:SpiderFlow

通过 SQL 训练机器学习模型的引擎

相关推荐

idea本地配置连接远程hadoop集群的一些网络问题解决汇总

Ceph运维手册(基于P版本)

无缓存不行?例行升级的入门级阿斯加特AN2 SSD装机点评

大数据开发前要做什么准备?8台Hadoop服务器进行集群规划前配置

Tensorflow分类loss函数总结 tensorflow绘制loss曲线

R语言学习笔记(七) -离散型数据的模型预测2

iOS Runtime详解

7 个对 Java 意义重大的性能指标，你知道几个?

PHP 远程调试最佳实践

Laravel框架使用图片处理简单教程