ИМПОРТ СОБСТВЕННЫХ ФАЙЛОВ IPYNB В GOOGLE COLAB

У меня есть файл в Google Collab x.ipynb
и я хотел бы открыть его. Простой

 %run x.ipynb

  

запустит его, но внутри одной ячейки.

Вместо этого я хотел бы получить тот же эффект, что и при загрузке этого файла:

Это открывает для меня новый блокнот Colab.
Я искал фрагменты кода «открытые», но не нашел того, что мне нужно.

спросил 14 сен 2019 в 10:03

Сначала подключитесь к своим файлам на Google Диске —

 from google.colab import drive
drive.mount('/content/drive')

  

Затем скопируйте блокнот на Диск —

 cp x.ipynb /content/drive/My\ Drive/

  

Затем используйте xattr
чтобы получить идентификатор файла —

 !xattr -p 'user.drive.id' /content/drive/My\ Drive/x.ipynb

  

Затем вы можете открыть этот блокнот следующим образом:

ответ дан 14 сен 2019 в 17:10

Боб Смит

11 золотых знаков
99 серебряных знаков
91 бронзовый знак

 import sys, os

sys.path.append('models/research')

sys.path.append('models/research/object_detection')

  

Вы можете сначала загрузить блокнот на Google Диск, а затем открыть его оттуда.

1. зайдите на сайтdrive.google.com

2. зайти в каталог «Блокноты Colab»

3. выберите «Новый» > «Загрузка файла»

4. После загрузки щелкните новый файл

5. Выберите «Открыть с помощью Colaboratory» вверху

ответ дан 14 сен 2019 в 17:41

Я работаю с блокнотом Jupyter, используя Google Colab (все файлы находятся на диске). У меня есть 2 файла: Exploratory_Data_Analysis.ipynb и PCA.ipynb.
Я хочу импортировать, чтобы использовать данные, поступающие из первого, во второй.
используя только блокнот Jupyter локально (не с помощью лаборатории Google), импорт работает просто следующим образом:

 !pip install import-ipynb
import import_ipynb
import Exploratory_Data_Analysis as eda

  

 !pip install import-ipynb
import import_ipynb

!pip install -U -q PyDrive
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials
import os
import pandas as pd
auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)

listed = drive.ListFile({'q': "'1CXqv7-PZmYrWes4MOk' in 
parents and trashed=false"}).GetList()
for file in listed:
    print('title {}, id {}'.format(file['title'], file['id']))

eda = os.path.join(download_path, 'Exploratory_Data_Analysis.ipynb')
temp_eda = drive.CreateFile({'id': '1YpDhXGeJVtzuxUJS5gKsUbm'})
temp_eda.GetContentFile(eda)

import Exploratory_Data_Analysis

  

и получаю это:

 importing Jupyter notebook from Exploratory_Data_Analysis.ipynb
NotJSONError: Notebook does not appear to be JSON: ''...

  

есть ли другие способы импортировать собственные файлы ipynb в Google Colab?

спросил 12 нояб. 2018 в 0:44

Удалось ли вам импортировать файл блокнота/ipynb в проект Google Colab?
Я переношу свою текущую работу из локального блокнота Jupyter в Google Colab с помощью Github и Clouderizer. Этот метод также позволяет мне работать в среде ноутбука Jupyter, как будто я делаю это локально, но могу синхронизировать
мою работу в Google Colab мгновенно
. Кроме того, этот метод позволяет мне импортировать модули .ipynb/.py в мой текущий блокнот, над которым я работаю, просто выполнив что-то вроде import <my own python/ipynb module>
. Я бы порекомендовал эту настройку вместо использования запутанной командной строки Linux в Google Colab.

Вот руководство, как легко настроить блокнот с GitHub на Google Colab с помощью Clouderizer: Среднее руководство
.

По сути, это шаги, необходимые для настройки вашего блокнота ipynb, а также папки набора данных с помощью Clouderizer:

---

Содержание

1. Введение: Что такое файл .ipynb?
2. Открыть файлы .ipynb онлайн
3. 1. Google Colab
4. Создайте новый файл .ipynb в Google Colab
5. Редактировать внешний вид блокнота Colab
6. Включите бесплатный графический процессор и TPU в своем ноутбуке
7. Открытие файлов .ipynb локально
8. 1. Анаконда
9. 2. Код В.С.
10. Оставайтесь с нами
11. Преимущества:
12. Шаги:
13. Примечание
14. Подключите свой Google-диск в Google Colab
15. Вставьте каталог
16. проверить текущий путь к каталогу
17. Импортируйте свой модуль или файл
18. Настройка проекта Clouderizer
19. Предпосылки

Введение: Что такое файл .ipynb?

.ipynb
означает « I
интерактивный Ру
Тон Нет
tebook», формат файла Jupyter Notebook.

Попробуйте Jupyter Notebook здесь
!

Jupyter Notebook — один из популярных инструментов среди исследователей, занимающихся гуманитарным анализом, благодаря его способности облегчать интерактивное исследование и визуализацию данных. В этой статье мы представим несколько бесплатных и простых в использовании способов открытия Jupyter Notebooks. Независимо от того, являетесь ли вы ученым-гуманитарием, специалистом по данным или любознательным учеником, Jupyter Notebooks предлагает удобную и интерактивную среду для проведения исследований и анализа на основе данных.

Открыть файлы .ipynb онлайн

1. Google Colab

Создайте новый файл .ipynb в Google Colab

Чтобы создать новый .ipynb
файл, нажмите « + Новый
» в верхнем левом углу и выберите « Google Colaboratory
«.

Редактировать внешний вид блокнота Colab

Перейдите в «Настройки», щелкнув значок шестеренки .
в верхнем правом углу
, вы можете настроить внешний вид записной книжки.

Включите бесплатный графический процессор и TPU в своем ноутбуке

Открытие файлов .ipynb локально

1. Анаконда

Anaconda упрощает установку и управление программными пакетами для языка программирования Python. Вы можете легко запускать приложения и управлять средами conda без использования команд командной строки в Anaconda Navigator.

Вы можете скачать и установить Anaconda здесь: https://www.anaconda.com/download

Нажмите кнопку « Запустить
Кнопка для запуска Jupyter Notebook.

Анаконда также доступна в виртуальном сарае HKUST (подробнее см. в руководстве ITSC по виртуальному сараю
).
Студенты HKUST могут быстро получить доступ к программному обеспечению компьютерного сарая из любого места в любое время, используя свои собственные устройства, или получить к нему доступ со всех компьютеров компьютерного сарая, или найти любую из виртуальных рабочих станций сарая по всему кампусу, чтобы получить к нему доступ.

2. Код В.С.

Visual Studio Code (VS Code) — это легкий бесплатный редактор исходного кода, созданный Microsoft.

После этого вы сможете запустить Jupyter Notebook в VS Code.

VS Code также доступен в HKUST Virtual Barn (более подробную информацию см. в руководстве ITSC по виртуальному сараю
).
Студенты HKUST могут быстро получить доступ к программному обеспечению компьютерного сарая из любого места в любое время, используя свои собственные устройства, или получить к нему доступ со всех компьютеров компьютерного сарая, или найти любую из виртуальных рабочих станций сарая по всему кампусу, чтобы получить к нему доступ.

Оставайтесь с нами

Скоро выйдет серия практических руководств по Python и различным инструментам DH. Следите за обновлениями!

– Автор Холли Чан
, Библиотека

2 августа 2023 г.

Есть ли способ загрузить мой код в файлы .py и импортировать его в ячейки кода Colab?

Другой способ, который я нашел, — это создать локальный блокнот Jupyter, а затем загрузить его в Colab. Это единственный способ?

17 золотых знаков
123 серебряных знака
145 бронзовых знаков

спросил 21 фев. 2018 в 11:47

Рехам М Самир
Рехам М Самир

2 золотых значка
9 серебряных знаков
11 бронзовых знаков

Вы можете сначала сохранить его, а затем импортировать.

 from google.colab import files
src = list(files.upload().values())[0]
open('mylib.py','wb').write(src)
import mylib

  

Обновление (ноябрь 2018 г.). Теперь вы можете легко загружать файлы

.

• нажмите [>], чтобы открыть левую панель
• выберите вкладку «Файл»
• нажмите [upload] и выберите свой [mylib.py]
• импортировать mylib

Обновление (октябрь 2019 г.): Если вы не хотите загружать каждый раз, вы можете сохранить его в S3 и смонтировать в Colab, как показано в этой сути

Обновление (апрель 2020 г.). Теперь вы можете автоматически подключать Google Диск. Проще просто скопировать его с Диска, чем загрузить.

• Магазин mylib.py
  на вашем Диске
• Откройте новый Колаб
• Откройте (левую) боковую панель, выберите Files
  просмотр
• Щелкните Mount Drive
  тогда Connect to Google Drive
• Скопируйте это !cp drive/MyDrive/mylib.py .
• import mylib

ответ дан 22 фев 2018 в 3:10

1) Подключите свой Google-диск в Google Colab:

 from google.colab import drive
drive.mount('/content/gdrive/')

  

2) Добавьте каталог к ​​вашему пути Python с помощью sys:

 import sys
sys.path.append('/content/gdrive/mypythondirectory')

  

Теперь вы сможете импортировать файлы из этого каталога!

ответ дан 8 авг. 2019 в 15:35

1 золотой значок
8 серебряных знаков
4 бронзовых знака

1. Вы можете загрузить локальные файлы в Google Colab, используя upload()
   функция в google.colab.files
2. Если у вас есть файлы на github, клонируйте репозиторий, используя
   !git клон https://github.com/username/repo_name.git
   . Затем, как и в блокноте Jupyter, загрузите его с помощью волшебной функции %load .
   %load filename.py
   .

ответ дан 23 мар 2018 в 15:13

Адитья Мишра

2 золотых значка
15 серебряных знаков
24 бронзовых знака

Основываясь на ответе Коракота Чаоваванича, я создал приведенную ниже функцию для загрузки всех файлов, необходимых в экземпляре Colab.

 from google.colab import files
def getLocalFiles():
    _files = files.upload()
    if len(_files) >0:
       for k,v in _files.items():
         open(k,'wb').write(v)
getLocalFiles()

  

Затем вы можете использовать обычный оператор импорта для импорта локальных файлов в Colab. Надеюсь, это поможет

ответ дан 11 мая 2018 в 11:27

Флинт Джо

1 серебряный значок
2 бронзовых знака

Мы можем это сделать.

 import sys
import os

py_file_location = "/content/drive/My Drive"
sys.path.append(os.path.abspath(py_file_location))

  

Теперь вы можете импортировать его как модуль в блокнот для этого места.

 import whatever

  

ответ дан 5 июля 2020 г., 3:05

Преимущества:

1. Просто и безопасно (нет необходимости в коде для обработки исключений файловых операций и/или дополнительной авторизации)
2. Файлы модулей, защищенные учетными данными учетной записи Google (никто другой не может их просматривать/извлекать/редактировать)
3. Вы сами контролируете, что загружать/открывать доступ (вы можете изменить/отменить доступ в любое время для каждого файла)
4. Все в одном месте (не нужно полагаться на другой файлообменник или управлять им)
5. Свобода переименовывать/перемещать файлы модулей (не на основе пути и не нарушает код вашего/чужого блокнота)

Шаги:

1. Сохраните файл модуля .py на Google Диске — он у вас должен быть, поскольку вы уже используете Colab
2. Щелкните правой кнопкой мыши по нему, «Получить ссылку для общего доступа», скопируйте часть после « id=
   » — идентификатор файла, присвоенный Google Диском
3. Добавьте и запустите следующие фрагменты кода в свой блокнот Colab:

 !pip install pydrive                             # Package to use Google Drive API - not installed in Colab VM by default
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive

  

 from google.colab import auth                    # Other necessary packages
from oauth2client.client import GoogleCredentials

  

 auth.authenticate_user()                         # Follow prompt in the authorization process
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()

  

 drive = GoogleDrive(gauth)
your_module = drive.CreateFile({"id": "your_module_file_id"})   # "your_module_file_id" is the part after "id=" in the shareable link
your_module.GetContentFile("your_module_file_name.py")          # Save the .py module file to Colab VM
import your_module_file_name                                    # Ready to import. Don't include".py" part, of course :)

  

Примечание

И последнее, но не менее важное: я должен отметить первоначального автора
этого подхода. В коде этого поста могла быть какая-то опечатка, поскольку при моей попытке это вызвало ошибку. После дополнительного чтения и устранения неполадок приведенные выше фрагменты кода заработали (на сегодняшний день в ОС Colab VM: Linux 4.14.79).

ответ дан 7 авг. 2019 в 21:23

Фрэнк Ван

4 серебряных значка
8 бронзовых знаков

Попробуйте так:

У меня есть пакет с именем plant_seedlings. Пакет хранится на Google Диске. Что мне нужно сделать, так это скопировать этот пакет в /usr/local/lib/python3.6/dist-packages/.

 !cp /content/drive/ai/plant_seedlings.tar.gz /usr/local/lib/python3.6/dist-packages/

!cd /usr/local/lib/python3.6/dist-packages/ && tar -xzf plant_seedlings.tar.gz

!cd /content

!python -m plant_seedlings

  

ответ дан 19 мар 2018 в 11:20

3 серебряных значка
8 бронзовых знаков

Ниже приведены шаги, которые сработали для меня

1. Подключите свой Google-диск в Google Colab

   с диска импорта google.colab
   привод.mount(‘/content/drive’)

2. Вставьте каталог

   импортная система
   sys.path.insert(0,’/content/drive/My Drive/ColabNotebooks’)

3. проверить текущий путь к каталогу

4. Импортируйте свой модуль или файл

5. 5.1 Загрузите my_module.ipynb из colab как файл my_module.py (файл->Загрузить .py)

   5.2 Загрузите файл *.py на диск/MyDrive/ColabNotebooks на Google диске

   5.3 импорт my_module теперь будет работать

ответ дан 23 янв. 2021 в 7:32

Вот мой процесс:

 import sys 
sys.path.insert(0, '/content/drive/MyDrive/my_folder')
%cd /content/drive/MyDrive/my_folder
%pwd

  

Теперь вы можете импортировать модуль по этому пути, используя import my_module
легко

ответ дан 8 июля 2021 в 15:45

2 серебряных значка
5 бронзовых знаков

Вот как я это делаю регулярно:

1. Сохраните мой модуль в каталоге. Произнесите MyFile.py в MyModules

2. Определите местоположение моего модуля:

   path_m = '/content/drive/MyDrive/Colab Notebooks/MyModules/'

3. Затем я добавляю путь к sys.path:

    import sys
   
   sys.path.insert(0,path_m)
   
     

4. import the module into my Jupyter/Google Colab notebook.

10 золотых значков
44 серебряных знака
49 бронзовых знаков

ответ дан 4 марта 2022 в 15:39

Вы можете загрузить эти файлы .py на диск Google и разрешить Colab использовать их:

 !mkdir -p drive
!google-drive-ocamlfuse drive

  

Все ваши файлы и папки в корневой папке будут находиться в drive
.

ответил 22 мая 2018 в 12:00

4 серебряных значка
17 бронзовых знаков

Сейчас июнь 2019 года.
Убедитесь, что в пакете Python __init__.py
все связанные файлы импортируются по порядку. Отправьте код в Git или используйте этот код
.

 from .Boxes import *
from .Circles import *
from .Rectangles import *
...


  

Не используйте имя пакета в __init__.py
file для импорта файлов.

в Google Colab,

 ! rm -rf SorghumHeadDetection
! git clone https://github.com/user/amazing-repo-name/

  

ответ дан 27 июн 2019 в 15:44

7 золотых значков
41 серебряный знак
58 бронзовых знаков

вы можете сделать это, подключив свой диск к colab и написав код, чтобы поместить идентификатор вашего файла Python
вы можете найти код здесь
импорт файла Python с диска в Colab

     # Code to read file into colaboratory:
     !pip install -U -q PyDrive
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials


#Autheticate E-Mail ID
auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)

#2.1 Get the file
your_module = drive.CreateFile({"id": 'write your file id here'})  # "your_module_file_id" is the part after "id=" in the shareable link
your_module.GetContentFile("write the file name here")          # Save the .py module file to Colab VM

import file_name   
from file_name import anything    #as classes or functions from your file

  

ответ дан 26 авг 2021 в 0:12

os.listdir
можно использовать для просмотра всех файлов в каталоге

 from google.colab import drive
drive.mount("/content/drive")

import os
path="/content/drive/My Drive/Colab Notebooks"
os.chdir(path)
os.listdir(path)`

  

ответ дан 6 сен 2021 в 19:18

В моем случае файл, который я пытался использовать, назывался client.py
. Это вызвало конфликт, поскольку уже существует библиотека под названием client
в /usr/local/lib/python3.7/dist-packages/
.

Я решил эту проблему, загрузив client.py
файл в ту же папку Google Диска, в которой сохранен блокнот Colab, и измените его имя на уникальное, которого нет в dist-packages
папка.

В моем случае я изменил имя файла на dfsclient.py
а затем просто импортировал его с помощью

Затем я реализовал ответ Камаля:

 import sys 
sys.path.insert(0, '/content/drive/MyDrive/my_folder')

  

ответ дан 16 ноя 2021 в 15:45

1 золотой значок
12 серебряных знаков
25 бронзовых знаков

Самый простой способ

1. введите
   из файлов импорта google.colab
   загружено = files.upload()
2. скопируйте код
3. вставить в ячейку колаба

ответ дан 13 мар 2020 в 15:21

Настройка проекта Clouderizer

4. Войдите в консоль Clouderizer. При первом входе вам будет предложено связать ваш Google Диск с Clouderizer. Для этого следуйте инструкциям на экране. Если ссылка не отображается, вы можете настроить свой Google Диск, перейдя в панель управления Clouderizer -> меню боковой панели -> Clouderizer Drive. Clouderizer создаст папку под названием «clouderizer» на вашем Google Диске для хранения вашего проекта ipynb (будь то машинное обучение или любой другой)
5. Вернитесь на панель управления Clouderizer. Затем нажмите «Новый проект». Следуя инструкциям, вы можете загрузить весь проект github, содержащий вашу работу с ipynb, которую вы собираетесь загрузить в Google Colab.
6. На шаге 5 вы можете включить дополнительный набор данных, над которым хотите работать, указав URL-адрес набора данных (например, из URL-адреса набора данных Kaggle). Вы также можете выбрать и указать, хотите ли вы провести рефакторинг своего проекта, создав отдельную папку для набора данных, основного кода/модулей и выходных файлов.
7. Затем перейдите в Google Colab/создайте файл Google Colab в любом месте вашего Google Диска, затем выполните: !wget NS -content disposition ‘ https://to_whatever_link_you_get_to_console
   ‘
8. Наконец, вернитесь на панель управления Clouderizer и проверьте, запущена ли среда вашего проекта и синхронизирована ли она с Google Colab. Затем щелкните значок блокнота Jupyter на этой панели управления, рядом с названием проекта, который вы указываете. Теперь вы можете начать заниматься машинным обучением или любой другой работой, как если бы вы выполняли ее на локальном компьютере, а затем немедленно синхронизировать ее с Google Colab.
9. Наконец, вы сможете проверить, будет ли работать ваш .ipynb, а также импортировать модули/наборы данных в Google Colab. Просто вернитесь на Google Диск->папка Clouderizer->ваш проект. Затем попробуйте запустить и посмотреть, все ли работает так, как в блокноте Jupyter.

ответ дан 4 янв. 2019 в 14:33

 !pip install import-ipynb
import import_ipynb
# Install the PyDrive wrapper & import libraries.
# This only needs to be done once per notebook.
!pip install -U -q PyDrive
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials

# Authenticate and create the PyDrive client.
# This only needs to be done once per notebook.
auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)

# Copy the link and remove the front part of the link (i.e. https://drive.google.com/open?id=) to get the file ID.
your_module = drive.CreateFile({'id':'eyetgd1zyxwvutsrqponmlkjihgfedcba'})
your_module.GetContentFile('myfile.ipynb')
import myfile

  

ответ дан 7 апр. 2019 в 19:25

Все, что вам нужно для запуска, это:

ответил 24 янв в 19:17

Предпосылки

1. Зарегистрируйте аккаунт Google/Gmail
2. Зарегистрируйте учетную запись Clouderizer
   [ссылка]
3. Создайте репозиторий на своем github и загрузите свой проект (все модули ipynb, py и даже набор данных (заархивируйте его, если < 1 ГБ)) в свой репозиторий.