博文

Install ollama on Android

-
图片
按照惯例先贴一张图当文章封面，我用Stable Diffusion画的，庆祝掌握ControlNet，画手部不再崩。接着以下是在Android运行ollama的实际演示视频： 最近Google迭代了他们的LLM开源模型，推出了Gemma2，阿里云的通义千问也是几乎差不多的时机开源了千问2代，我实际在电脑安装测试了一下，Gemma2:2b体积才1.6GB左右，千问更小，直接做了一个1.5b模型，体积在1GB左右而已，但也因为压缩到极致，牺牲了一部份内容，而换来了超快的响应速度，所以CPU运行也是没压力，秒回。 其实本来是没抱多少期待，毕竟这种阉割的AI模型的用途非常有限，之前测试过Tinyllama，那几乎就是不可用的状态，答非所问，属于脑残智能。但这次测试的Gemma2和Qwen2，那简直是一个天一个地的分别，已经没出现答非所问的现象，大部份时候都逻辑清晰，虽说也只是2b级别的模型，但那也是16000本书的知识量，用处还是不少的。 于是我想了想，能不能把它装进手机？理论上是可能的，毕竟现在Android手机RAM大到多余，12GB RAM勉强能跑7b模型，而2b模型应该轻轻松松。于是就折腾了一下，ollama是支持linux的，Android用Termux应该能安装，但最头痛的就是Android的省电机制，太耗电，杀后台，CPU高压运行，也杀后台，连运行一些脚本也会有Phantom process limit的问题，所以ollama是跑起来了，但就是一直闪退。 除非把手机Root了吧，不然很难取得手机的完全使用权限，但这样一来一些银行App又会运行不了，很纠结。为了寻找安装方法，爬了Github几百楼，终于才学到大神的方法用use adb debug tools关掉Phantom process limit，再取巧的用分屏方式运行termux和ollama ui，避免termux放在后台发热被杀，就这样手机SOC几乎满载发热，但还真的offline都能运行AI,测试12GB RAM的Mediatek 8200 ultra跑7b模型也没问题，而另一台旧手机SD855则因为只有6GB RAM,只能跑2b模型，虽然一旦挂载AI模型，CPU直接满载发热，但能跑就是感觉够奇妙了。 至于为什么需要这么折腾？原因还是Tokens，人家ChatGPT的API每个Tokens都要算钱
发表评论
展开，阅读全文 »

Text Generation AI入门感想

-
图片
首先，先来梳理一下什么是Text Generation AI？ 说人话的话，就是你输入一句话，它回答你一句话，有点像Chat Bot的感觉，但当然不止于此。 首先，它是利用深度学习（Deep Learning）的原理，使用神经网络进行数据的表征学习。深度学习模型通常由多个层（包括输入层、隐藏层和输出层）组成，这些层通过加权的连接和非线性激活函数来处理输入数据。然后再进一步用自然语言处理技术（NLP，Natural Language Processing）生成类似于人类书写的文本内容。 而目前主流可以实现这类AI技术的有以下这些领域： 1.词嵌入（Word Embeddings）： 词嵌入是将单词表示为向量的技术。常见的方法有Word2Vec、GloVe和FastText。词嵌入捕捉了单词之间的语义关系，将单词转化为可以输入到神经网络的数值向量。 2. 循环神经网络（RNN，Recurrent Neural Network）： RNN是一种适用于处理序列数据的神经网络，具有时间步长的记忆能力。RNN可以记住先前时间步长的信息，并将其用于当前时间步长的计算。 长短期记忆网络（LSTM，Long Short-Term Memory）和门控循环单元（GRU，Gated Recurrent Unit）是RNN的改进版本，解决了标准RNN中梯度消失和梯度爆炸的问题。 3. Transformer： Transformer是当前生成式文本模型的核心架构。它由编码器和解码器组成，使用自注意力机制（Self-Attention）来捕捉序列中不同位置的关系。与RNN不同，Transformer可以并行处理序列数据，提高了训练和推理速度。 自注意力机制（Self-Attention）：通过计算序列中每个位置与其他位置之间的关系（注意力权重），自注意力机制能够捕捉到长距离的依赖关系。 4. 预训练和微调（Pretraining and Fine-tuning）：  预训练（Pretraining）：在大量未标注的文本数据上训练模型，使其学习通用的语言知识。常见的预训练任务包括语言模型任务（如预测下一个单词）和遮蔽语言模型任务（如BERT中的Masked Language Modeling）。 微调（Fine-tuning）：在特定任务或领域的数据上进一步训练预训练模型，使其适应特定应用需求
发表评论
展开，阅读全文 »

韩国美女系列（1）

-
图片
闲来无事用Stable Diffusion画的韩国美女系列,主要咒语以下： 1girl,indoor,rock band,mini concert,night time,spot light,dancing,music,beer,rock,sexy,medium breasts,dress,korea idol,smile, Negative prompt: worst quality, low quality,lowres,monochrome, grayscale,  duplicate, morbid, mutilated, tranny, mutated hands, poorly drawn hands, blurry, bad anatomy, bad proportions, extra limbs, disfigured, extra legs, fused fingers, too many fingers,missing fingers,watermark, Steps: 35, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 951085979, Size: 512x768, Model hash: 7c819b6d13, Model: majicmixRealistic_v7, Denoising strength: 0.56, Hires upscale: 2, Hires upscaler: R-ESRGAN 4x+
发表评论
展开，阅读全文 »

心经和吸引定律

-
图片
读了下心经，突然感觉内容和<秘密>何其相似？  “观自在菩萨，行深般若波罗蜜多时，照见五蕴皆空，度一切苦厄。” 菩萨通过修习般若智慧，明白了五蕴，即色、受、想、行、识，都是空无自性，从而超脱了一切的痛苦和困境。所以想解脱生死轮回，就要认识到一切现象都是因缘和合而成的，没有固定的实体，也没有永恒的我。只有这样，才能破除执着和妄想，达到清净和平的境界。 而<秘密>所谓的吸引定律，关键的问题还是内心不纯，想的和做的相违背，自然什么都得不到。如果看到五蕴皆空，人的智慧自然不可能停留在“我的梦想是躺着每天玩游戏，但某天会突然的，莫名其妙的成为富豪”。 简单的说，越是明白因缘因果，自然越是明白种瓜得瓜，那就很难做出言行不一致的行为，于是戒律会成为修炼，比如不妄语，至少也不自欺欺人，想着成功的事，做着最懒的活，那又怎能算是明白因果？ 感觉上世间的真理其实都是大致相通的呀。
发表评论
展开，阅读全文 »

和AI聊天的感触

-
图片
用Silly Taverns和AI角色扮演聊天了好一阵子后，深有感触。 为AI打上一个“思想钢印”，它就会以假乱真的像你设定的人格般和你交流，比如说...设定活了几千年的森林精灵，又或者暗恋你的邻家女孩，你会发现和他们聊着聊着会触发很多有趣的对话，但AI几乎拿捏得很好，不会回答你很出戏得问题，比如你和森之精灵聊着聊着来句“美国总统是谁？”，大概率它不会直接回答你，毕竟那就出戏了，不像角色了。 所谓游戏里得NPC(Non-Playable Character)，没有人会觉得他们拥有自我意识，但和AI聊天的过程，我最大得感触其实是人类所谓的自我意识，是不是有点太高估它的复杂性？毕竟看看那些AI Agent，你为他们打上思想钢印后，其实他们的个性会变得非常真实，虽说功劳完全是强大的AI可以虚拟出人格，但想深入点，其实人类的个性又何尝不过是一系列人生经历所打上的“思想钢印”？ 简单的说，你活到至今为止，开心的，伤心的，不管什么经历，大脑搜集所有这些情报，整合，过滤，沉淀，最终就会成为你的性格或人格，这和一个AI模型何其相似啊？你给一堆Data Set练AI模型，就能得到一个怎样的AI出来，比如用医学资料练模型，自然能得出懂回答医学问题的AI，你用编程的资料练AI模型，自然能得到一个懂回答编程问题的AI,以此类推。 反观人类，如果你活得很失败，贫困潦倒，一蹶不振。是不是可以用AI的角度来诠释，其实根本原因只是你用了一堆失败的Data Set在训练你的大脑不是吗？你死抓曾经失败的经验，你执着过往不开心的经历，于是日复一日里培养出了满是忧郁的大脑，不管想什么都是负面输出结果。 如果从今往后，你大量阅读书籍，到处拜师学习，硬是把各种成功的，正面的资讯塞进脑里，其实很大概率，你可以重新训练你的大脑，从此走向积极正面的正循环回路。是什么在阻碍你行动？也许...是自己根本不想对自己的思维负责，反正我就是这么想？反正我就是失败，反正这就是我？ 这让我联想到佛法里“无我”的概念，说得严重点...如果一个人陷在自己的自我人格中，无法自省，无法改变，那这个人其实就像一个AI模型的劣化版而已，只用过往的经验去诠释世界，无法跳出格子，无法意识到自己的自我在限制自己的一切，这么看来这种人像不像NPC? 也难怪说有些人天生就是世界的主角，确实呢...毕竟大部份的普通人就像衬托主角的NPC而已，世界怎么改
发表评论
展开，阅读全文 »