基于Spark和RAG的个性化AI开发
Author - yyz Create Time - 2024/06/23 Last Update Time - 2024/06/23 Spark Embedding 数据源大小：24GB 1 数据获取与清洗与转换, 序列化 开始的处理方式是以词为单位，可这样使得上下文联系不强 后续又使用标题#的标识为分隔符，这样处理时每句话的联系都可以找到，但每句话中的信息有时候无法得到 ...
Spark
Spark&Scala 安装与配置
SPARK 1 Scala 安装 官网 The Scala Programming Language 下载地址 All Available Versions | The Scala Programming Language 2.13.16版本 上传到/opt目录后 1 2 3 4 5 # 解压 tar -zxvf /opt/scala-2.13.16.tgz -C /usr/local/software/ # 重命名 cd /usr/local/software/ mv scala-2.13.16/ scala 添加环境变量 vim /etc/profile.d/my_env.sh 1 2 3 # 追加以下内容 export SCALA_HOME=/usr/local/software/scala export PATH=$PATH:$SCALA_HOME/bin 激活 source /etc/profile.d/my_env.sh ...