Millennium Parade

用Claude Code从零搭建自动化URL发现与语义过滤系统

前言 前段时间,我投了一家叫 WLDM 的公司,参与他们 full remote Data Scientist 职位的招聘流程。WLDM 是一家远程办公的数字营销公司,base在海外,团队分布在各个国家。他们的业务覆盖 SEO、CRO、PPC、Backlinks 等领域,客户遍布多个行业。 招聘流程中有一个 trial task 环节:给一份含约 3000 个噪音根域名和 961 个目标...

时间序列的周期性检测方法

前言 最近做项目(又)接触到了时间序列,任务是给一段序列,要求能检测出是否存在一个较为明显的周期性模式。 咨询了一下同行,主要利用快速傅立叶变换来进行频谱提取。在公司的数据上尝试了一下,效果还不错,在此总结一下思路。 本科的时候学习信号处理有接触过傅立叶变化,对时间域、频率域有一定了解。FFT算法的思想主要是基于频率域的信息。 基本思想 在原始波形上应用快速傅立叶变换(fft)...

XGBoost4j-Spark实战

前言 最近做项目,首次使用了XGBoost4j-Spark,踩了不少坑,日常就是查Spark、XGBoost、Scala的API文档…… 所以简单总结一下遇到的问题和解决方法。 需要预备的知识 Scala: https://www.scala-lang.org Spark: https://spark.apache.org/docs/2.3.0/ XGBoost4j-Spark...

使用flask+gunicorn+supervisor进行python web部署

最近需要直接在服务器上部署xgboost模型。之前也做过模型部署方式的调研,具体需要根据实际情况来选择合适的部署方式。由于项目使用python进行开发,所以选择部署为python web service是最方便的做法。 之前实习的时候,开发帮忙部署过一次python web,我对其中细节其实并不太清楚。这次正好自己在公司的云平台上实验了整个流程,在此记录步骤。 主要参考了这篇教程。 部...

使用lstm、xgb进行时间序列预测

时间序列(Time Series) 时间序列(Time Series)指以时间为维度的一系列数值,常见的时间序列包括股市价格走势、天气预报中的温度走势等。下图展示了一个典型的时间序列: 时间序列预测 时间序列预测问题,即从当前时间点出发,去预测未来某个时间段内的数据值及波动情况。 时间序列预测方法包括传统的基于统计的方法、基于有监督机器学习的方法、基于深度学习的方法等。时间序列预...